논문 개요와 전체 구조
고객 지원 에이전트는 주문 번호를 조회하고, 누락된 정보를 묻고, 취소 API를 호출할 수 있습니다. 하네스는 이처럼 모델에 도구를 건네고, 실행 결과를 다음 단계에 돌려주는 프로그램입니다. JevAgentHarness는 하네스가 후보를 열거할 수 있는 단계에 별도의 결정 모델을 배치합니다. 결정 모델은 후보별 확률을 반환하고, 하네스는 해당 결정에 맞춰 정한 임계값으로 결과를 받아들일지 판단합니다. 주문을 조회할지 묻는 문제와 취소 사유를 고객에게 설명하는 문제에 서로 다른 호출 경로가 생깁니다. 원문 서론과 예시
Kunlun Zhu 외 7명의 2026년 10월 15일 제출본(arXiv v1)을 다룹니다. 원문은 §1–2에서 문제와 위임 방식을 정의한 뒤 §3–5에서 벤치마크, 하네스, 4B 모델을 제시합니다. §6–9는 실험 계획, 결과, 관련 연구, 결론으로 이어지며 한계, 윤리, 참고문헌이 뒤따릅니다. 부록 A–I는 이론, 벤치마크, 구현, 학습, 통계, 비용, 세부 결과, 관련 연구, 실행 궤적을 같은 순서로 보충합니다. 서지와 버전 · 부록 목차
핵심 기여와 혁신성
- 같은 모델을 세 가지 평가에서 비교합니다. 독립 문항, 기록한 상태에서의 선택, 실행 중인 에이전트의 최종 성공률을 순서대로 측정합니다. 오류가 뒤의 상태까지 바꾸는 효과는 마지막 평가에서 드러납니다. §3
- 결정마다 위임 범위를 설정합니다. 도구 선택과 인수 선택을 나누고, 각 지점의 실제 실행 기록에서 추정한 정답률과 오류 비용을 기준으로 임계값을 구합니다. 확신도가 낮거나 값을 자유 텍스트로 만들어야 하면 LLM에 맡깁니다. §2.1 · §4
- 정상 경로와 오류 뒤에 생기는 상태를 함께 학습합니다. 교사의 분포와 환경 정답으로 4B 모델을 후학습합니다. 실험은 이 지도학습의 효과와 루프 안에서 추가로 수행한 강화학습의 효과를 따로 비교합니다. §5 · Table 3
기술적 세부사항
결정 지점 $d$는 반복해서 등장하는 선택의 종류, 상태 $s$는 현재까지의 요청과 관측, $O_d(s)$는 하네스가 그 상태에서 열거한 후보입니다. 결정 모델은 $p(o\mid s)$를 반환하고, 최고 확률 후보 $\hat o$의 확률을 확신도 $c(s)=p(\hat o\mid s)$로 사용합니다. Cascade 모드에서는 이 값이 지점별 임계값 $\tau_d$ 이상일 때만 답을 받아들입니다. §2
리뷰어 작성 도식. 원문의 Cascade 정의와 도구·인수 위임 절차를 바탕으로 그렸습니다. 자유 텍스트 인수는 LLM이 작성합니다. 도구가 이미 정해졌다면 위임하지 못한 인수를 한 번의 LLM 호출로 채울 수 있습니다. 원문 Figure 3 · 원문 Figure 8과 구현 설명
부록 A는 지점별 설정을 묶은 위임 구성 $\phi$의 목표를 에피소드당 기대 비용 $C$와 성공률 $S$로 표현합니다. $\phi_\varnothing$는 LLM 단독 구성, $\delta$는 허용하는 성공률 하락 폭입니다. 예를 들어 DecisionGym의 실험은 3퍼센트포인트를 비열등성 한계로 둡니다. 부록 A · §6
특정 결정의 채택 조건은 비용을 두 갈래로 비교해 얻습니다. $g_d(c)$는 결정 모델이 확신도 $c$를 낸 사례 중 실제 정답 비율, $q_L(c)$는 그 사례에서 LLM이 맞히는 비율입니다. $V$는 오판의 비용이고 $\Delta C$는 LLM 호출을 생략할 때 절감하는 비용입니다. 이미 결정 모델을 호출했다면 그 질의 비용은 양쪽에 공통입니다. 채택 시 기대 오류 비용 $(1-g_d(c))V$와, 넘길 때 기대 비용 $(1-q_L(c))V+\Delta C$를 비교하면 식 (3)이 됩니다. $g_d(c)=c$이고 LLM의 정답률이 $c$와 무관하다는 가정 아래 식 (4)의 단일 임계값이 나옵니다. 오류의 비용이 커질수록 같은 절감액이 허용하는 정확도 격차는 작아집니다. 부록 A 식 (3)–(4)
챕터별 상세 리뷰
📖 Chapter 1: Introduction
저자들은 코딩, 컴퓨터 조작, 고객 지원에서 여러 번 호출하는 LLM이 장시간 작업의 비용과 지연을 만든다는 문제로 시작합니다. 하네스는 도구 이름과 실행 가능한 행동을 이미 알고 있으므로, 결정 모델에 요청·이력·질문·선택지를 함께 전달할 수 있습니다. Figure 1의 주문 취소는 조회, 취소, 추가 질문이라는 후보를 보여 줍니다. 논문에 기록된 한 에피소드에서 Jev 호출은 LLM 호출 시간의 28%, 가격의 2.6%였습니다. 이는 해당 궤적의 호출 단위 비교입니다. §1 및 Figure 1
고정된 객관식 데이터에서는 모델이 실수해도 다음 문항이 달라지지 않습니다. 실행 중인 에이전트에서는 잘못 취소한 주문이 환경을 바꾸고, 엉뚱한 조회는 다음 관측을 바꿉니다. 다음 단계에 어느 모델을 넣을지는 이 차이를 포함한 평가가 필요합니다. 저자들은 Figure 2에서 세 수준의 평가, 확신도에 따른 위임, 에이전트가 방문한 상태의 후학습을 하나의 실험 순서로 묶습니다. Stage 1에서 위임을 개별 평가하고, Stage 2에서 뽑힌 구성의 조합을 새 작업에서 평가합니다. Figure 2
📖 Chapter 2: Where and How to Delegate
논문은 행동에 직접 관여하는 세 지점으로 도구, 도구 인수, 도구가 없는 환경의 다음 행동을 듭니다. 루프를 제어하는 다섯 지점은 메모리 쓰기, 메모리 읽기, 실패 뒤 반성, 종료, 저렴한 LLM으로의 라우팅입니다. 같은 도구 선택 지점에도 아래와 같이 서로 다른 책임 배치가 가능합니다. Table 4는 Stage 1 구성과 후속 탐색 구성을 구분합니다. Figure 3 · Table 4
| 모드 | 결정 모델과 LLM의 역할 |
|---|---|
| Replace | 결정 모델이 항상 후보를 선택합니다. |
| Cascade | 결정 모델이 먼저 답하고, 확신도가 임계값에 못 미치면 LLM이 선택합니다. |
| Assist | 결정 모델이 후보 목록을 좁히고, LLM이 최종 선택합니다. |
| Guard | LLM이 제안하고, 결정 모델이 승인 또는 거부합니다. |
| Trigger | 결정 모델이 반성 같은 선택적 모듈을 실행할지 정합니다. |
주문 취소 예시에서 세 번째 단계의 Jev는 고객에게 질문할 확률 0.63, 취소할 확률 0.37을 반환했습니다. LLM이 결정권을 받아 고객에게 질문했습니다. 다음 단계에서는 결정 모델이 취소 도구를 채택할 만큼 확신했고, 대화에 나온 주문과 열거된 사유를 인수로 골랐습니다. 도구 자체의 선택과 각 인수의 채택 여부를 따로 결정하는 사례입니다. §2 예시 · 부록 B Figure 6
§2.1의 임계값은 에이전트 LLM당 150개의 별도 보정 작업에서 얻습니다. LLM이 실제로 행동하는 동안 결정 모델은 답만 기록하는 섀도 모드로 동작합니다. 연구진은 확신도 순서대로 최소 20개씩 구간을 만들고, 그 구간부터 더 높은 모든 구간의 추정 이점이 0 이상인 최저 확신도를 택합니다. 오판 비용은 해당 지점에서 모두 맞힌 에피소드와 한 번 틀린 에피소드의 성공률 차이를 바탕으로 추정하고, 성공한 작업 하나를 1달러로 평가합니다. 조건을 충족하는 구간이 없으면 해당 결정 지점을 LLM에 맡깁니다. Jev와 Flash의 보정값은 도구 1.00, 인수 0.99였습니다. §2.1 · 부록 A
📖 Chapter 3: AgentDecisionBench
L1은 독립 문항입니다. BFCL v4의 도구 선택 1,114개와 인수 1,949개, When2Call 928개를 객관식으로 변환합니다. L2는 기록된 실행의 중간 상태를 모델들이 공통으로 읽는 평가입니다. 예를 들어 DecisionGym의 새 작업 200개에서 나온 공통 도구 선택 상태 5,314개를 동일하게 제시합니다. 결정 모델의 답은 채점되지만 궤적에는 적용되지 않습니다. L3에서는 결정 모델이 실제 도구 선택을 모두 맡고 LLM이 인수를 작성합니다. ALFWorld에서는 결정 모델이 모든 행동을 선택합니다. 최종 성공률은 현재 선택이 다음 관측을 바꾸는 조건에서 얻습니다. §3 · 부록 B.1과 B.5
DecisionGym은 가상 상점의 고객, 주문, 재고와 작업 계획을 시드로 생성합니다. 기본 평가의 후보는 68개 도구와 종료 옵션입니다. 핵심 7개, 질문 1개, 핵심 도구를 닮은 31개, 무관한 29개가 섞여 있습니다. 여러 행동이 유효한 상태에서는 남은 계획을 진전시키는 선택을 정답으로 인정합니다. 사용자에게 물어야만 진행할 수 있는 상태를 must-ask라고 부릅니다. Strict 모드에서는 계획에 없는 데이터 변경이 실행을 즉시 종료합니다. 학습·보정·평가 시드를 분리하고 환경의 답안은 모델 입력에 넣지 않습니다. §3 DecisionGym · 부록 B.5
공개 환경도 함께 씁니다. 논문 자체 루프는 τ²-bench, ALFWorld, DecisionGym을 다루고, 기존 하네스의 훅을 이용해 SWE-bench Verified와 터미널 작업도 시험합니다. 추가로 Shift는 도구 이름, 요청 표현, 작업 형태를 바꿔 학습 분포 밖의 일반화를 보고, Hard는 여러 고객을 처리하면서 학습에서 보지 못한 취소·배송 규칙까지 따르게 합니다. 두 조건은 원래의 등록 실험에 이어 추가한 평가입니다. §3 · 부록 D.6 · 부록 G.9
📖 Chapter 4: JevAgentHarness
하네스는 상태를 텍스트로 바꾸고 열거형·예/아니오·문맥에서 복사할 값을 타입이 있는 질문으로 만듭니다. 도구 선택이 임계값에 미달하면 LLM이 전체 도구 호출을 작성합니다. 도구를 채택한 경우 각 인수의 임계값을 따로 확인하고, 확신도가 낮거나 자유 텍스트인 인수는 이미 정해진 도구를 대상으로 한 번의 LLM 호출에서 채웁니다. 원문은 기준 모델, 결정 모델, 작업 규칙이 바뀌면 임계값도 다시 적합시킵니다. §4 · 부록 C
어댑터가 가능한 위임의 범위를 정하기도 합니다. 예컨대 mini-SWE-agent에서는 다음 응답을 강한 LLM과 빠른 LLM 중 어디에 요청할지 고르고, pi에서는 훅으로 guard나 trigger를 실행할 수 있습니다. LLM을 호출하기 전에 다음 행동을 반환할 수 있는 훅이 있어야 Replace나 Cascade를 그대로 적용할 수 있습니다. 결정 모델이나 어댑터가 실패하면 기존 실행 경로로 돌아갑니다. §4 · 부록 C Table 9
📖 Chapter 5: AgentDecision-4B
연구진은 Qwen3-4B에 저랭크 어댑터(LoRA)를 붙이고 지도 미세조정(SFT)을 먼저 진행합니다. 587개 학습 작업에서 기록한 15,694개 상태 중 30.9%는 스크립트가 개발 중 관찰된 종류의 실수를 재현한 뒤의 상태입니다. 환경 정답 $a^\star$를 Jev도 1순위로 두었을 때, 목표 분포 $y_a$에는 정답 원-핫 0.3과 Jev 확률 분포 0.7을 섞습니다. Jev의 1순위가 틀리면 환경의 정답 원-핫만 사용합니다. §5 · 부록 D.1–D.2
식 (1)에서 $p_a$는 학생 모델이 상태 $s$에서 후보 $a$에 준 확률입니다. 첫 항은 목표 분포의 확률 질량을 배운 교차 엔트로피이며, 둘째 항은 출력 확률을 목표 확률과 맞추는 Brier 형태의 제곱 오차입니다. 논문 설정은 LoRA 랭크 32, 2 epoch, 학습률 $10^{-4}$입니다. 제곱 오차 항의 단독 효과는 별도로 분리하지 않았습니다. §5 식 (1) · 부록 D.1
이후 강화학습은 SFT 모델이 실제 결정을 내려 만든 궤적에서 진행합니다. 작업당 8개의 에피소드를 생성하고, 같은 작업의 보상 평균과 표준편차로 각 에피소드의 상대 이점을 계산하는 GRPO를 사용합니다. $S_i$는 작업 성공 여부, $N_i$는 LLM 호출 횟수, $E_i$는 되돌릴 수 없는 오판 여부입니다. 식 (2)의 호출 페널티는 $N_0=10$에서 포화되며, $\lambda=0.5$이므로 성공 보상 항이 절반이 됩니다. 비가역 오판은 $\eta=0.2$를 별도로 차감합니다. §5 식 (2)
각 에피소드의 결정들은 공통 이점을 받고, 그룹에서 재등장한 상태에는 단계 수준 항도 더합니다. SFT 모델과 지나치게 멀어지지 않도록 선택지 분포에 KL 페널티를 둡니다. Flash-Lite를 고정 LLM으로 두고 15번째 반복의 모델을 Stage 2의 AgentDecision-4B v1으로 고정합니다. 이후 공개 도구 사용 데이터로 추가 학습한 체크포인트와는 구분합니다. §5 · 부록 D.2와 D.9
📖 Chapter 6: Experimental Protocol
Stage 1은 한 번에 위임 하나를 켜고, 같은 작업의 LLM 단독 실행과 성공·비용을 비교합니다. 성공률 차이는 비열등성으로 평가합니다. 이는 LLM보다 사전에 정한 한계만큼 또는 그 이상 나쁘다는 귀무가설을 기각하는 검정입니다. DecisionGym 한계는 3퍼센트포인트, τ²-bench는 5퍼센트포인트입니다. Stage 1의 11개 검정에 Holm 보정을 적용해 가족별 오류율을 5%로 통제합니다. 일부 위임은 Jev와 Intern-Decision-4B 모두가 조건을 통과해야 등록된 주장이 성립하도록 설계했습니다. §6 · 부록 E와 Table 25
Stage 2는 Stage 1 결과를 읽기 전에 선정 규칙과 검정 계획을 등록했습니다. 결정 지점별로 위임이 실제 발생하고 더 저렴하며 비열등성 기준을 충족한 구성을 고릅니다. 최대 절감률과 2포인트 안에 든 후보가 여럿이면 LLM에 더 많이 남기는 쪽을 택합니다. 통과한 구성을 묶어 새 DecisionGym 작업 500개에서 LLM 단독 및 가장 좋은 단일 위임과 비교하고, Jev를 자체 학습한 4B로 바꾼 조건도 평가합니다. 선택지 정확도 검정은 동일하게 기록한 상태에서, 작업 성공률 검정은 각 구성의 실제 실행에서 수행합니다. §6 · 부록 E
📖 Chapter 7: Results
7.1 RQ1: Do isolated scores predict success?
Figure 4(b)의 세 모델은 순위가 달라지는 이유를 보여 줍니다. 독립 평가는 BFCL 도구 선택 1,114문항, 단계 평가는 Shift 작업 100개에서 기록한 상태 1,250개, 실제 실행은 별도 Shift 작업 200개입니다. 실제 실행에서 결정 모델이 모든 도구를 고르고 Flash가 인수를 작성하며, 같은 200개 작업에서 Flash 단독 성공률은 100%입니다. 아래 수치는 원문의 세 열 가운데 세 모델을 골라 정리했습니다. Figure 4(b) · 부록 G.5 · Table 39
| 결정 모델 | BFCL 도구 정확도 | Shift 기록 상태 정확도 | Shift 실제 작업 성공률 |
|---|---|---|---|
| StartLux-9B | 92.2% | 90.9% | 69.5% |
| Jev | 89.9% | 91.8% | 82.0% |
| AgentDecision-4B, 공개 데이터 추가 학습본 | 89.3% | 94.9% | 91.5% |
이 비교에서 단계 수준 순위는 작업 성공률 순위와 더 비슷했습니다. 저자들은 해당 비교의 Kendall 순위 상관을 0.84로 보고합니다. Must-ask 상태에서 AgentDecision-4B의 정확도는 67.4%, Jev는 58.3%였습니다. 주문 취소 전에 질문이 필요한 사례처럼 작은 상태 부분집합에 실패가 모이면 평균 문항 정확도로는 그 효과가 희석됩니다. §7.1 · Table 39
7.2 RQ2: Which decisions can be delegated?
Flash를 에이전트 LLM으로 두고 Jev의 도구·인수 Cascade를 적용한 조건은 도구 선택의 27.2%, 인수 선택의 20.8%를 맡겼습니다. 작업 500개에서 결과가 바뀐 작업 없이 비용이 14.2% 감소했습니다. Flash-Lite에 맞춰 구한 임계값은 도구를 한 번도 위임하지 않았습니다. 임계값 없이 도구를 모두 위임하면 성공률이 19.0포인트 하락했고, 도구 선택에 0.5를 고정한 비교에서는 최초 200개 작업의 성공률이 21.5포인트 하락했습니다. 두 하락 폭은 별개 조건입니다. §7.2 · Figure 5 · Table 2
Jev가 세 도구를 추린 뒤 LLM이 고르는 Assist는 BM25 목록보다 높은 성공률을 보였지만, LLM 단독 대비 7.8포인트 낮았습니다. 종료 Guard는 비용을 6.2% 늘렸으며, Flash-Lite가 Flash에 넘길 시점을 고르는 조건은 비용이 36.2% 증가했습니다. DecisionGym에서 통과한 구성을 τ²-bench에 맞춰 다시 보정한 실험은 성공률 차이 −8.1포인트로 전이를 확립하지 못했습니다. §7.2 · Table 24
7.3 RQ3: What changes in deployment?
결정 모델 비용을 호출 단가로만 보면 놓치는 변수가 GPU 대기 시간입니다. Table 2의 독립 GPU 조건에서 공개 데이터 추가 학습본은 해당 비교 실행 대비 비용 86.3%, 시간 60.3%를 절감했습니다. 시간 절감 60.3%는 기존 시간의 약 39.7%를 쓴 것이므로 속도로 표현하면 약 2.5배입니다. 부록 C의 별도 공유 GPU 비교에서는 비용을 줄이고도 8.70초에서 22.39초로 느려졌습니다. GPU를 약 네 에피소드가 공유할 때 결정 모델 대기가 에피소드 시간의 66.1%를 차지했습니다. Table 2 · 부록 C Table 10
ALFWorld 환경에서 별도로 지도학습한 4B 모델은 valid_seen 게임 140개에서 성공률을 90.7%에서 95.0%로 바꾸면서 비용을 89.0% 줄였습니다. 37.0초가 18.2초로 감소했습니다. 코딩 하네스에서는 자유 텍스트가 필요한 단계를 어느 LLM에 보낼지 고르는 방식으로 적용했고, 보고된 비용 절감 폭은 7.0–10.5%였습니다. Table 1 · 부록 C.2–C.3 · 부록 D.7
7.4 RQ4: Can a 4B model learn the decisions?
Qwen3-4B에 실행 상태를 지도학습시키자 Shift의 기록 상태 정확도가 52.9%에서 98.4%, 모든 도구를 선택하는 Shift 실제 작업 성공률이 13.5%에서 96.0%로 올랐습니다. SFT는 2.2 GPU·시간을 썼고, 이어 적용한 GRPO는 4.5 GPU·시간과 LLM 비용 26.53달러를 추가했습니다. GRPO 뒤 Shift 성공률은 96.0%였습니다. 이 조건에서 GRPO의 추가 향상은 확인되지 않았습니다. 그 다음 공개 도구 데이터까지 학습시키면 전체 독립 문항 정확도가 78.8%에서 85.1%로 오르는 동안 Shift 실제 작업 성공률은 96.0%에서 91.5%로 내려갔습니다. §7.4 · Table 3 · 부록 D.9
사전 등록한 같은 분포의 새 작업 500개에서는 Jev를 사용한 조합이 LLM 단독 대비 비용을 40.7% 줄였지만 성공률은 2.2포인트 낮았고 비열등성 검정을 통과하지 못했습니다. 자체 학습한 Stage 2의 AgentDecision-4B v1을 넣고 다시 보정한 조합은 성공률 +0.6포인트, 비용 −81.1%로 등록 조건을 충족했습니다. 이 구성은 도구 선택의 99.9%, 인수 선택의 75.0%를 맡아 작업당 LLM 호출 4.5회를 줄였습니다. §7.3–7.4 · Table 24
7.5 Where delegation fails
첫째, 높은 확신도의 잘못된 취소나 환불처럼 상태를 되돌릴 수 없는 결정은 한 번으로 작업을 끝낼 수 있습니다. 저자들이 추적한 Jev의 실패 34건은 모두 첫 비가역 도구 오판으로 끝났습니다. 둘째, 새로운 규칙은 익숙한 상태에서 얻은 확신도를 무력화할 수 있습니다. 고객 10명의 Hard 조건에서 새 규칙을 학습하지 않은 4B 모델이 들어간 에이전트는 LLM 단독 88.0%와 비교해 3.0%만 해결했습니다. 해당 규칙으로 재학습한 모델의 보류 상태 정확도는 76.5%에서 95.3%로 올랐습니다. 전자는 에피소드 성공률, 후자는 취소·배송 상태의 선택 정확도입니다. 셋째, LLM 호출을 그대로 남겨 두는 Guard는 추가 판단을 호출하는 만큼 절감 여지가 줄어듭니다. §7.5 · 부록 D.6 · 부록 G.7
📖 Chapter 8: Related Work
저자들은 결정 모델, 평가, 라우팅·학습의 세 흐름을 비교합니다. Jev와 공개 결정 모델들은 열거된 선택지에 점수를 매기고, REFLEX는 전역 임계값으로 LLM에 넘깁니다. JevAgentHarness는 지점마다 값을 보정합니다. 고정 문항 벤치마크와 전체 작업 벤치마크 사이에는 기록 상태를 채점하는 L2를 둡니다. 모델 라우터와 캐스케이드 연구는 호출할 모델 자체를 고르는 경우가 많습니다. 이 논문에서 주요 위임 대상은 행동 후보이고, 후학습의 대상도 생성 LLM을 고정한 상태의 결정 모델입니다. §8 · 부록 H
📖 Chapter 9: Conclusion
결론은 어떤 모델이 잘 작동하는지 실행 안에서 평가하고, 실행 기록에서 임계값을 맞추며, 그 환경의 상태를 학습에 쓰는 세 조건으로 돌아옵니다. 저자들은 고객 지원과 가정 환경의 해당 조건에서 81.1–89.0% 비용 절감 및 최대 약 2.5배 속도를 보고합니다. 이 범위는 여러 실험에서 관찰된 값으로, 하나의 배포 설정에서 모든 끝값을 동시에 얻었다는 의미는 아닙니다. §9 · Table 1–2
📖 Chapter 10: Limitations
원문은 작업과 프롬프트가 영어이고 대부분의 실행이 Gemini 계열 LLM에 집중됐다고 밝힙니다. 정해 둔 손실 폭에 대한 비열등성 검정으로 동등성을 입증할 수는 없습니다. 에이전트, 도구, 과제 유형이 바뀌면 보정과 상태 학습을 다시 해야 할 수 있습니다. 논문은 공급자 가격과 하드웨어에 따라 비용·지연이 변하고, 같은 작업의 학습형 라우터와 직접 비교하지 않았으며, 실험에서 GRPO의 추가 이득을 확인하지 못했다고 적습니다. 배포 중에는 임계값을 넘는 응답 비율을 관찰해 작업 분포 변화와 재보정 시점을 포착하는 방법을 제안합니다. 원문 Limitations
📖 Chapter 11: Ethical Considerations
DecisionGym의 고객, 주문, 이메일은 템플릿에서 생성한 값입니다. 저자들은 실제 시스템에서 가드 하나만으로 비가역 행동을 막지 말라고 명시합니다. Flash-Lite 종료 Guard는 LLM의 잘못된 종료 시도 40.7%를 승인했습니다. 어댑터에 장애가 나면 원래 경로가 실행되므로, 이 어댑터를 보안 경계로 사용하지 말라고 설명합니다. 적대적 관측이나 정책 인젝션은 검증 범위에 없으며, 교사 응답 기반 모델과 데이터의 재배포는 공급자 약관의 적용을 받습니다. 원문 Ethical Considerations · Table 7
📖 Chapter 12: References
참고문헌은 DecisionGym의 공개 비교 환경, 선택적 예측과 라우팅, 오판 후 상태를 포함한 학습의 선행 근거를 제공합니다. 관련 연구의 비교는 본문 §8과 부록 H에 배치되어 있으며, 구현과 실험 설정은 뒤의 부록에 수록됩니다. 원문 참고문헌
📖 Chapter 13: Appendix Contents
부록 목차는 A–E를 본문 §2–6의 보강으로 연결하고, F의 모델·비용, G의 결과표, H의 추가 관련 연구, I의 기록 궤적을 안내합니다. 목차에서 Stage 2 이전에 고정한 모델을 AgentDecision-4B v1으로 정의합니다. 뒤에서 공개 도구 데이터까지 학습한 모델과 비교할 때 이 구분이 필요합니다. 부록 목차
📖 Chapter 14: Compute, Data and AI Use
훈련과 서빙에는 클라우드 GPU 한 장을 사용하는 환경을 구성했습니다. 모델별 재시도·반복 횟수가 따로 기재된 표 외에는 각 조건을 온도 0에서 한 번씩 실행했다고 명시합니다. 레이블은 DecisionGym의 답안, 공개 벤치마크 채점기, 실험의 교사 모델에서 나옵니다. 저자들은 연구에서 AI를 실험 대상, 학습 데이터 생성, 코딩과 문장 검토 보조에 쓴 범위를 공개합니다. 부록의 계산·데이터·AI 사용 설명
📖 Chapter A: Delegation Theory
A는 최종 성공률 제약과 에피소드 비용 최소화라는 목표를 먼저 두고, 다섯 통합 모드를 수식으로 정의합니다. Cascade는 확신도 구간별로 두 모델의 오류 비용을 비교합니다. Trigger와 Guard에서는 행동이 필요할 때 얻는 이익, 불필요할 때 생기는 손해, 호출 비용을 함께 봅니다. 실행 빈도가 같은 무작위 트리거와 비교할 때, 참 양성률과 거짓 양성률의 차이 $J=\mathrm{TPR}-\mathrm{FPR}$가 이득을 설명하는 양으로 등장합니다. 항상 실행하지 않는 정책은 필요 상태가 드물면 표면적인 정확도가 높아도 $J=0$입니다. 부록의 사전 가설 검토는 고정값과의 비교, 온도 보정, 구성 우위가 각각 같은 결론을 내지 않았음을 보여 줍니다. 부록 A
📖 Chapter B: AgentDecisionBench
B.1–B.2는 벤치마크 구성과 개발 시드에서 가져온 예시를 보여 줍니다. 가상 상점은 고객별 주문과 재고를 초기화하며, 질문으로 누락 정보를 얻어야 하는 작업과 여러 단계의 계획을 수행하는 작업을 구분합니다. B.3–B.4는 상태와 후보를 텍스트로 바꾸는 방법을 공개합니다. 참조 루프는 최근 8단계를 남기고 각 도구 결과와 전체 상태에 길이 제한을 둡니다. 정답은 프롬프트와 분리된 로그에 남깁니다. 부록 B.1–B.4
B.5는 환경 사본에서 정답 계획이 완료되기까지 남은 단계 수를 구합니다. 행동 뒤 그 수가 줄면 진전, 동일한 수준으로 남으면 우회, 완료가 불가능해지면 치명적 행동으로 분류합니다. 다른 후보가 다음으로 나타나는 효과를 재현하기 위해 개입과 대조 재실행도 비교합니다. B.6에서는 종단 성공률이 높은 기본 설정에서 모델 간 차이를 관찰하기 위해 must-ask와 어려운 상태를 따로 봅니다. 부록 B.5 · 부록 B.6
📖 Chapter C: JevAgentHarness
하네스는 결정 지점별 모드·임계값·후보 수를 YAML에 담고 실행마다 구성 해시를 기록합니다. C.1은 독립 GPU와 공유 GPU의 성능 차이를 보여 줍니다. C.2는 mini-SWE-agent에서 Jev가 강한 모델이 필요한 단계를 분류하는 실험입니다. 300개 인스턴스에서 라우팅은 229개, 강한 LLM 단독은 232개를 해결했고, 비용은 10.5% 줄었습니다. C.3은 pi와 SWE-agent에 적용했으며 대부분의 요청이 강한 모델에 남았습니다. 읽기 전용 단계만 보내는 후속 시도도 분류 성능이 약했습니다. C.4는 호출 가능한 훅의 범위, 중간 질문의 필요성, 종료 Guard, 추가 확인 호출의 비용을 검토합니다. 부록 C
📖 Chapter D: Post-Training AgentDecision-4B
D.1–D.2는 후보 코드를 한 번의 prefill에서 읽는 방식, 정답과 교사 확률, 반사실적 롤아웃 값, 학습 단계 선택을 설명합니다. 모델이 자기 선택으로 방문하는 상태가 달라진다는 근거로, 개발 단계에서 기록 상태로 훈련한 초기 모델의 정확도가 게이트용 집합 0.995에서 실제로 방문한 상태 0.45로 떨어진 사례를 듭니다. 학습 궤적에는 섀도 실행, 오류를 주입한 실행, 도구와 종료를 검사하는 실행이 포함됩니다. 부록 D.1–D.2
D.3–D.5는 단계별 효과와 0.8B 점수 헤드 변형을 비교합니다. 오류 뒤 상태를 포함하자 개발 데이터의 해당 상태 정확도가 92.2%에서 99.8%로 올랐습니다. 상태 학습 뒤 GRPO를 추가한 모델과 온도를 조정한 SFT 모델은 유사한 보정 결과를 보였습니다. 0.8B 점수 헤드는 같은 분포의 기록 상태에서 4B 모델에 가까웠으나 이름이 바뀐 도구를 포함한 Shift에서는 성능이 낮았습니다. 부록 D.3–D.5 · Table 39
D.6–D.8은 Hard의 새 주문 규칙, ALFWorld에서 독립 학습한 4B, 공개 환경의 기록 상태 정확도를 비교합니다. DecisionGym에서 학습한 모델을 ALFWorld에 그대로 옮긴 결과와 ALFWorld 환경 정답으로 다시 학습한 결과를 구분합니다. D.9–D.10에서는 공개 도구 데이터를 추가했을 때의 득실과 평가 누출 점검을 기록합니다. DecisionGym의 학습 시드와 평가 시드 사이에 중복이 없었으며, When2Call에 대해서도 어구 중복을 검사했습니다. 이 점검은 저자들이 보고한 데이터 점검 범위입니다. 부록 D.6–D.10
📖 Chapter E: Protocol and Statistics
동일 작업의 두 실행을 짝지어, 한 조건에서만 성공한 작업이 어느 쪽에 얼마나 많은지로 비열등성을 검정합니다. 등록된 짝지은 이항 검정은 불일치 확률의 불확실성까지 고려합니다. 성공률과 비용·지연은 같은 작업에서 비교하며, τ²-bench에서는 작업당 세 번의 시도 중 다수의 성공을 기준으로 삼습니다. Stage 2의 모델과 조합 선택은 평가 출력과 분리한 사전 규칙에 따르고, Stage 1 이후 추가된 결과는 별도 탐색 결과로 표시합니다. 부록 E
📖 Chapter F: Models, Cost and Licences
비용은 측정한 입력·출력 토큰에 당시 가격을 적용하고, 자체 서빙은 GPU 요금을 완료한 에피소드에 배분합니다. 지연은 직렬 호출 시간을 더하고 동시 호출은 가장 오래 걸린 호출만 반영하는 임계 경로로 계산합니다. Table 23은 벤치마크, 모델 가중치, 서버 코드, 훅 스키마와 API 약관을 구분합니다. 저자들은 벤치마크와 구성, 학습 레시피, 시드, 평가 코드 공개 범위를 설명하고, 교사 응답에서 파생한 가중치와 데이터는 약관에 따른다고 밝힙니다. 부록 F · Table 23
📖 Chapter G: Result Tables
G.1–G.3은 등록 검정, 8개 결정 지점과 5개 모드의 지도, 단계별 추가 표를 제공합니다. 특히 Table 26의 2,091개 인수 슬롯 중 58.9%에만 정답 값이 후보에 포함됐습니다. 후보 생성의 제약 때문에 전체 슬롯 정확도와 정답이 선택지에 들어 있는 슬롯 정확도를 나눠 읽어야 합니다. G.4–G.5는 천장에 가까운 작업과 더 어려운 조건의 짝지은 결과, 그림의 모델·비용·표본 조건을 보충합니다. 부록 G.1–G.5
G.6–G.8은 평가 수준별 순위, 추가 공개 모델, 앙상블과 넘김 학습의 결과를 설명합니다. 모델들이 must-ask 상태에서 같은 종류의 오류를 내면 단순 합의 투표도 정확도를 크게 높이지 못합니다. G.9는 바꾼 도구 이름, 표현, 후보 수와 새로운 계획 형태를 포함한 Shift를 시험합니다. Table 40에서 이전 분포의 임계값을 그대로 쓴 AgentDecision-4B v1의 성공률은 94.0%, 공개 데이터 추가 학습본은 92.5%, LLM 단독은 100%였습니다. G.10은 어려운 코딩·터미널 작업에서 등록 기준을 충족한 설정이 없었다는 탐색 결과를 제공합니다. 부록 G.6–G.10 · Table 40
📖 Chapter H: Extended Related Work
H는 판정 모델과 보정, 호출 라우팅과 넘김, 단계별 평가, 에이전트 강화학습으로 범위를 넓힙니다. 논문과 가까운 선행 연구에서는 로컬 레이블로 채택 임계값을 맞추거나 전역 임계값으로 행동 결정을 넘겼습니다. 이 논문은 같은 비용 장부에서 위임 지점과 모드를 비교하고, 같은 모델의 독립 문항·기록 상태·실행 결과를 연결합니다. 부록 H
📖 Chapter I: Case Studies
첫 궤적은 결정 모델이 도구 5개와 자유 텍스트가 아닌 인수 6개 중 5개를 골라 LLM 호출을 5회에서 2회로 줄인 주문 작업입니다. 둘째는 환불 수단이 주어지지 않은 작업으로, Jev는 확신도 0.98로 환불을 실행해 실패했고 자체 학습한 모델은 먼저 질문했습니다. 셋째는 ALFWorld에서 해당 환경에 맞춰 학습한 모델이 네 행동을 모두 골라 LLM 호출 없이 완료한 사례입니다. 각 궤적은 저자가 설명한 선정 규칙의 첫 해당 사례입니다. 부록 I Figure 11–13
실험 결과 심층 분석
사전 등록된 Stage 2 결과에서 Jev 조합의 추정 차이 −2.2포인트는 3포인트 한계 안에 있지만, 짝지은 95% 구간은 −3.8에서 −0.8포인트이고 Holm 보정 후 p값은 0.356입니다. 손실이 3포인트보다 작다는 주장은 성립하지 않았습니다. 4B v1 조합의 차이는 +0.6포인트, 95% 구간은 +0.0에서 +1.4포인트, 보정 p값은 0.001 미만이며 비용 절감은 81.1%입니다. 수치상의 성공률 차이, 비열등성 결론, 비용 절감은 각각 다른 해석이 필요합니다. Table 24 · 부록 E
Figure 4의 순위 역전은 조건이 고정된 경우의 진단입니다. 그 비교는 Shift에서 모든 도구를 위임하고 인수 생성에는 Flash를 유지합니다. Stage 2의 81.1% 절감은 같은 분포에서 도구와 인수를 임계값으로 위임한 조합에 해당합니다. Table 40은 그 사이의 질문을 던집니다. 같은 분포에서 정한 임계값을 Shift에서도 쓰면 두 4B 모델이 여전히 거의 모든 도구를 받아들였고, 세 비교 구성 모두 비열등성이 확인되지 않았습니다. 높은 위임 비율과 높은 확신도가 함께 유지될 때도 성공률이 내려갈 수 있습니다. Figure 4 · Table 24 · Table 40
본문의 일부 하드웨어 비교, 더 어려운 데이터, 추가 모델의 순위는 Stage 1 뒤에 추가한 실험으로 두 주 검정군 밖에 있습니다. 논문은 대응 구간과 비열등성 통계를 제공하는 비교를 부록에서 식별합니다. 예를 들어 공유 GPU와 독립 GPU의 결과를 해석할 때는 배치와 대기 시간이 다르고, 기준 실행 시간도 각각 따로 측정했다는 점이 중요합니다. 저자들이 제공한 시드 범위, 구성 해시, 프롬프트, 가격 산식은 재현 조건을 좁혀 주며, 외부 API 버전과 서빙 조건까지 함께 고정해야 같은 비용·지연을 대조할 수 있습니다. 부록 C Table 10 · 부록 E–F
기술적 함의와 응용
도구 이름이 열거 가능한 고객 지원 시스템에서는 한 호출을 도구 선택과 인수 선택으로 쪼개 각각 다른 위임률을 적용할 수 있습니다. 명령의 내용이 자유 텍스트인 코딩 환경에서는 비슷한 장치를 모델 라우팅에 쓸 수 있지만, 논문의 비용 이득은 작았습니다. 두 예의 차이는 후보를 직접 만들고 검증할 수 있는 단계가 어디까지인가에 있습니다. §4 · 부록 C
이 결과를 실무 관점에서 읽으면 보정 데이터에는 평상시 경로뿐 아니라 사용자 확인이 필요한 상태와 잘못된 선택 뒤에 방문하는 상태도 들어가야 합니다. 온라인에서는 임계값 통과율과 함께 비가역 오판, 최종 성공률, 대기 시간을 관찰할 근거가 생깁니다. 원문이 지적한 대로 확신도 기반 위임은 비용과 속도를 조절하고, 비가역 행동의 권한 통제는 별도로 설계해야 합니다. §7.5 · 원문 Limitations 및 Ethical Considerations