[Paper Review] Self-Instructed CoT — 추론 모델은 자기 지시로 생각의 표현을 얼마나 제어할까요?

논문 개요와 전체 구조

추론 모델에게 “생각하는 동안 특정 단어를 쓰지 마세요”라고 요청했는데도 모델이 그 단어를 계속 사용한다면, 모델에게 그런 능력이 없다고 판단해도 될까요? 이 논문은 모델이 할 수 있는 일과, 평가 프롬프트가 실제로 끌어낸 일을 구분해야 한다고 주장합니다. 사용자 메시지에만 제약을 넣는 기존 평가와 달리, 모델의 사고사슬(Chain of Thought, CoT) 안에 자기 지시를 두면 같은 모델의 텍스트 제약 준수율이 크게 달라집니다.

Uriel Dolev, Idan Schwartz, Yoav Goldberg는 이를 Self-Instructed CoT Controllability라고 부릅니다. 추가 학습 없이 추론의 시작 부분을 미리 채우는 reasoning prefill, 또는 사용자 프롬프트가 모델에게 자기 지시를 먼저 쓰게 하는 bootstrap을 비교합니다. 실험은 공개 가중치 모델 5개, QA·에이전트 벤치마크 5종, 텍스트 제약 9종을 중심으로 구성되며, 폐쇄형 모델·다중 턴·CoT 모니터 평가로 이어집니다.

이 글은 2026년 10월 16일 제출된 arXiv 2610.23257v1의 26쪽 PDF를 기준으로 합니다. 아래의 ‘제어’는 주로 관찰 가능한 추론 텍스트의 형식과 내용에 대한 제약 준수입니다. 모델의 숨은 내부 계산이나 문제 해결 전략을 자유롭게 바꾼다는 뜻은 아닙니다. 이 구분은 저자가 직접 명시한 한계이기도 합니다.

원문 순서	내용과 역할
1. Introduction	활용성과 감독이라는 서로 다른 동기, 기존 평가의 낮은 준수율 재해석
2. Self-Instructed CoT Controllability	2.1 Data → 2.2 Self-Instruction → 2.3 Elicitation Methods → 2.4 Metrics
3. Experiments	3.1 Main Results → 3.2 CoT vs. Output Controllability → 3.3 Closed Models → 3.4 Multi-turn Bootstrap → 3.5 Monitor Evasion
4. Related Work	기존 제어 평가·추론 개입·학습 방식·모니터 연구와의 관계
5. Conclusion	평가 방식에 대한 결론과 권고
Limitations / Ethical Considerations / References	적용 범위, 감독 관점의 해석, 인용 문헌
Appendix A. Implementation Details	과제·프롬프트·자기 지시·서빙·채점·샘플링
Appendix B. Extended Results	제약·유도법·echo·데이터셋·추론 길이별 결과
Appendix C. Elicitation Method Ablations	문구·스타일·기존 프롬프트의 추가 절에 대한 통제 실험
Appendix D. GPT-OSS Resistance	준수 텍스트의 perplexity 분석
Appendix E. Claude Results by Constraint	폐쇄형 모델의 제약별 결과와 제외 조건
Appendix F. Monitoring Experiment Details	모니터 구성·교정·조건부 탐지율·검정 방법
Appendix G. Qualitative Examples	Figure 9–19의 구체적 성공·실패 양상

핵심 기여와 혁신성

문제의 중요성은 하나의 능력이 활용성과 감독에 서로 다른 의미를 갖는 데 있습니다. 추론을 지정한 언어·형식으로 작성할 수 있으면 사용하기 쉬워집니다. 동시에 모델이 어떤 내용을 CoT에 드러낼지 조절할 수 있다면, CoT를 읽는 모니터의 판단도 달라질 수 있습니다. 논문은 어느 한쪽만으로 제어 가능성을 평가하지 않습니다.

기존 접근의 한계에 대한 저자의 해석은 “제약을 못 따른다”와 “사용자 메시지의 CoT 제약을 우선하지 않는다”가 혼동되었을 수 있다는 것입니다. 검증 가능한 최종 보상으로 추론 모델을 학습하는 RLVR이 CoT 텍스트 자체의 지시 준수를 직접 보상하지 않는다는 점을 배경으로 제시합니다. 이것은 학습 메커니즘을 인과적으로 입증한 결과라기보다, 새로운 실험을 설계하게 한 가설입니다.

해결책의 독창성은 제약을 전달하는 위치와 생성 주체를 분리한 데 있습니다. 같은 과제·제약·채점기를 유지하면서, 사용자 메시지·미리 채운 자기 지시·모델이 스스로 생성한 자기 지시를 비교합니다. 구체적인 제약을 되풀이하지 않는 일반적인 상기 문장도 시험하여, 단순한 문체 모방 외에 지시를 상기시키는 효과를 살핍니다.

핵심 결과로 DeepSeek-R1의 평균 준수율은 0.4%에서 22.2%, Qwen3-32B는 2.5%에서 34.3%로 높아집니다. 그러나 여전히 모든 제약을 안정적으로 만족하는 수준은 아닙니다. 또한 이는 문제 정답률의 증가가 아닌 CoT 제약 준수율의 증가입니다. 이 논문을 읽을 가치는 높은 수치 자체보다, 능력 평가가 유도 방식과 측정 단위에 얼마나 민감한지 확인하는 데 있습니다. 원문 1·3.1절, PDF 1–5쪽

기술적 세부사항

무엇을 바꾸고 무엇을 고정하는가

과제는 그대로 두고, CoT에 요구하는 조건과 그 전달 경로를 바꿉니다. Constraint-specific 자기 지시는 “이 단어를 피하면서 풀겠다”처럼 조건을 직접 적습니다. Generic 자기 지시는 “사용자의 제약을 따르며 풀겠다”처럼 이미 주어진 조건을 상기시킵니다. 전자는 제약 자체를 포함하지만 후자는 사용자 메시지에 제약이 있어야 의미가 있습니다.

사용자 지시, reasoning prefill, bootstrap을 비교한 Self-Instructed CoT의 입력과 생성 경계

원문 Figure 2, PDF 3쪽. 실선 상자는 입력, 점선 상자는 모델이 생성한 부분입니다. 그림 영역만 크롭했으며 내용은 번역·재배열하지 않았습니다. Uriel Dolev 외, CC BY 4.0. 고정 버전 원문.

Reasoning prefill은 모델이 이어 쓸 추론의 첫 부분을 평가자가 제공하는 방식입니다. Bootstrap은 그 문장을 추론 첫머리에 쓰도록 사용자 메시지로 요청하며, 실제 문장은 모델이 생성합니다. 두 방식 모두 추가 가중치 학습을 하지 않지만, reasoning 채널에 접근해야 하는지는 다릅니다. 이 논문의 실험 결과를 모든 API가 동일한 prefill 기능을 제공한다는 제품 설명으로 읽으면 안 됩니다.

정답률·준수율·echo를 구분하는 방법

모델이 자기 지시를 정확히 반복한 비율인 echo rate는 뒤의 추론이 제약을 지킨 비율과 다릅니다. 채점할 때는 미리 채워 넣었거나 첫머리에 반복한 자기 지시를 제외하고, 그 뒤의 모델 생성 continuation만 평가합니다. SWE-bench에서는 여러 턴의 CoT를 모아서 하나의 추론 기록처럼 채점합니다.

원문 Appendix A.4는 데이터셋–제약 조합을 셀로 두고 다음과 같이 평균 점수와 표준오차를 계산합니다.

$$ \mathrm{score}=\frac{1}{K}\sum_{c=1}^{K}p_c $$

$K$는 데이터셋–제약 셀의 개수이며, $p_c$는 셀 $c$에서 조건을 만족한 CoT의 비율입니다. 셀마다 동일한 가중치를 주므로, 문제 수가 많은 벤치마크가 전체 결과를 독점하지 않습니다. $p_c$를 0–1 비율로 넣으면 식의 결과도 0–1이고, 논문의 백분율 표시는 여기에 100을 곱한 값입니다. 따라서 전체 생성 기록을 한꺼번에 합친 단순 성공 비율과는 집계 방식이 다릅니다.

$$ \mathrm{SE}=\frac{1}{K}\sqrt{\sum_{c=1}^{K}\frac{p_c(1-p_c)}{n_c}} $$

$n_c$는 셀별 CoT 수이고, $p_c(1-p_c)/n_c$는 베르누이 비율 추정의 분산 항입니다. 저자는 CoT들을 독립 베르누이 시행으로 취급해 이 식을 사용합니다. SE는 점수의 추정 불확실성이지, 두 조건 차이의 유의성을 자동으로 보장하는 값은 아닙니다. 원문은 별도의 비교에서 McNemar 검정과 paired bootstrap도 사용하므로, 각 결과에 맞는 검정 맥락을 따로 읽어야 합니다. Appendix A.4, PDF 12쪽

챕터별 상세 리뷰

📖 Chapter 1: Introduction

챕터의 위치와 역할: 최종 출력에 대한 지시 준수 연구에서 출발해, 추론 텍스트 자체를 제어하는 문제로 초점을 옮깁니다. 사용자 편의와 감독의 이해관계가 왜 다를 수 있는지 먼저 정리합니다.

저자의 서술 순서를 따른 상세 내용:

최종 출력과 CoT의 학습 차이: 일반적인 instruction following은 답변이 사용자의 요구에 맞는지 학습합니다. 반면 추론 모델은 최종 출력의 검증 가능한 보상으로 학습되므로, 최종 답변에서 가능한 형식 제어가 CoT에서도 같은 수준으로 나타난다고 단정할 수 없습니다.
서로 다른 두 동기: 활용 측면에서는 구조·언어·표현을 제어하는 것이 유리합니다. 감독 측면에서는 모델이 계획이나 의도를 임의로 감출 수 없을 때 CoT 모니터가 더 많은 정보를 얻을 수 있습니다. 이 두 관점 때문에 ‘높은 controllability’가 무조건 좋거나 나쁘다는 단일 판단은 성립하지 않습니다.
기존 평가의 재해석: 저자는 사용자 메시지에서 제약을 잘 따르지 않는 것이 능력 부재보다 지시의 우선순위 문제일 가능성을 제기합니다. Figure 1은 특정 단어를 피해야 하는 수학 문제에서 이 차이를 직관적으로 보여줍니다. 같은 문제를 맞혀도 CoT의 표현 제약은 한 조건에서 실패하고 다른 조건에서 성공할 수 있습니다.
새 평가의 네 가지 관찰: 자기 지시는 준수율을 높이고, 일반적인 상기 문장도 도움이 되며, bootstrap으로 reasoning prefill 없이도 효과를 얻고, 모니터 실험에서 탐지율이 달라집니다. 논문은 이 결과를 기존 평가를 폐기할 근거보다 상보적인 평가를 추가할 근거로 제시합니다.

챕터의 핵심 기여: 낮은 관측 점수를 곧바로 능력의 상한으로 해석하지 않도록 평가 질문을 다시 설정합니다.

다음 챕터로의 연결: 이러한 해석이 단순 프롬프트 사례에 머물지 않도록, 동일한 과제와 채점기를 사용한 평가 설계를 정의합니다. 1절, PDF 1–2쪽

📖 Chapter 2: Self-Instructed CoT Controllability

챕터의 위치와 역할: 무엇을 제어하고, 어떤 입력을 바꾸며, 성공을 어떤 단위로 측정하는지 명확히 합니다.

저자의 서술 순서를 따른 상세 내용:

2.1 Data — 다섯 벤치마크와 아홉 제약: QA는 GPQA·HLE·MMLU-Pro의 객관식 문제, Agent는 BFCL의 도구 호출과 SWE-bench Verified의 다중 턴 코딩 과제입니다. 원래 과제는 QA 1,214개와 Agent 350개이며, 각각 9개 제약과 짝지어 10,926개 QA + 3,150개 Agent = 14,076개 과제–제약 조합을 만듭니다. 14,076개가 모두 서로 다른 원래 질문이라는 뜻은 아닙니다.
제약의 세 범주: 정보 억제는 단일 단어·여러 단어와 그 동의어를 피하기, 질문과 무관한 내용을 생각하기입니다. 정보 추가는 추론의 시작·끝에 지정 문장을 붙이기, 문장을 특정 단어로 끝내기, 단어 사이마다 meow를 넣기입니다. 문체 변경은 소문자·대문자·교대 대소문자입니다. 억제할 단어는 각 과제를 풀 때 모델이 자주 사용하는 단어를 선택합니다.
2.2 Self-Instruction — 자기 지시의 설계: DeepSeek-R1과 Qwen3에는 대화체, GPT-OSS에는 짧고 선언적인 문장을 사용합니다. 표면 형식을 요구하는 다섯 제약에서는 자기 지시 자체도 해당 형식으로 작성합니다. 시작부터 제약을 위반하는 시범을 주지 않으려는 설계이며, 효과는 부록 C에서 따로 분해합니다.
2.3 Elicitation Methods — 여섯 조건: 아래 표는 원문의 순서대로 어떤 경로에 제약이 있는지 정리한 것입니다. Generic prefill만 단독으로 사용하는 조건은 없습니다. 사용자 메시지에 제약이 없으면 일반적인 상기 문장이 가리킬 대상도 없기 때문입니다.

유도법	사용자 메시지	추론 시작 부분
User Prompt	과제 + 제약	모델이 바로 생성
Constraint Prefill	과제	제약을 명시한 자기 지시를 미리 제공
User Prompt + Constraint Prefill	과제 + 제약	구체적 자기 지시를 미리 제공
User Prompt + Generic Prefill	과제 + 제약	일반적 상기 문장을 미리 제공
Constraint Bootstrap	과제 + 제약 + 구체적 자기 지시를 쓰라는 요청	모델이 자기 지시부터 생성
Generic Bootstrap	과제 + 제약 + 일반적 상기 문장을 쓰라는 요청	모델이 상기 문장부터 생성

2.4 Metrics — 완전 준수와 부분 준수: Binary controllability는 해당 CoT 전체가 제약을 지켰는지 봅니다. 99%가 대문자여도 소문자가 하나 있으면 완전 준수는 실패할 수 있습니다. Soft metric은 대소문자 비율·단어 사이 삽입 비율·지정 단어로 끝나는 문장 비율 등을 따로 측정합니다. 단어 억제에서는 1,000단어당 금지 단어 수로 평가하므로 낮을수록 좋습니다. 시작·끝 문장 조건은 각각 50점인 경계 점수를 사용합니다. 질문 무시는 이와 같은 soft metric을 두지 않습니다.
Echo rate의 별도 의미: 요청한 자기 지시로 추론이 시작하는지 확인하되, 기본 echo는 대소문자와 공백을 정규화합니다. 그러므로 echo 성공과 문자 그대로의 복사 성공도 서로 다를 수 있습니다.

챕터의 핵심 기여: ‘형식을 잘 따른다’는 인상을 입력 경로·완전 준수·부분 준수·자기 지시 재현이라는 구분 가능한 측정치로 나눕니다.

다음 챕터로의 연결: 이 동일한 평가 틀을 모델별·출력별·턴별 조건으로 확장합니다. 2절, PDF 2–4쪽; Table 8, PDF 12쪽

📖 Chapter 3: Experiments

챕터의 위치와 역할: 주 실험에서 제어 가능성의 크기를 측정하고, 그 결과가 최종 출력·폐쇄형 모델·장기 실행·모니터 평가에 어떻게 이어지는지 순서대로 검사합니다.

저자의 서술 순서를 따른 상세 내용:

3.1 Main Results — 같은 모델에서도 유도법이 결과를 바꿉니다

공개 가중치 모델은 DeepSeek-R1, Qwen3-14B·32B, GPT-OSS-20B·120B입니다. 다섯 모델에 여섯 유도법을 적용합니다. 아래의 ‘최고 조건’은 모델마다 다른 방법이며, 모든 모델이 하나의 공통 프롬프트를 적용받은 결과로 읽으면 안 됩니다.

모델 다섯 개와 유도법 여섯 개의 평균 CoT 제약 준수율 비교

원문 Figure 3, PDF 4쪽. 범례·축·오차막대·모든 모델 막대를 보존한 크롭입니다. 내용 수정 없음, CC BY 4.0. 원문.

모델	User Prompt	가장 높은 조건	해당 유도법	증가 폭
DeepSeek-R1	0.4%	22.2%	User Prompt + Constraint Prefill	+21.8%p
Qwen3-14B	0.7%	20.6%	Constraint Bootstrap	+19.9%p
Qwen3-32B	2.5%	34.3%	Constraint Bootstrap	+31.8%p
GPT-OSS-20B	1.8%	9.0%	User Prompt + Constraint Prefill	+7.2%p
GPT-OSS-120B	7.4%	12.3%	Constraint Bootstrap	+4.9%p

여기서 증가 폭은 원문 수치의 단순 차이이며 상대 증가율이 아닙니다. GPT-OSS 이외의 모델은 사용자 메시지에 제약을 넣지 않은 Constraint Prefill만으로도 상당한 효과가 있지만, 전체적으로 가장 높은 조건은 사용자 제약과 구체적인 자기 지시를 함께 사용합니다.

이어 저자는 Table 2에서 부분 준수를 살핍니다. DeepSeek-R1의 교대 대소문자 비율은 평균 79.6%지만 완전 준수 CoT는 19.1%입니다. Qwen3-14B는 단어 사이 96.1%에 meow를 넣지만 완전 준수율은 38.7%입니다. 완전 성공이 아니어도 표현 분포는 크게 바뀔 수 있다는 점을 보여줍니다. 반대로 GPT-OSS-120B의 meow 완전 준수는 12.7%에서 2.3%로 낮아집니다. 최고 평균 방법이 모든 개별 제약을 개선하지는 않습니다.

마지막으로 generic 자기 지시를 분석합니다. 모델 평균 준수율은 기준 2.5%에서 Generic Prefill 12.1%, Generic Bootstrap 10.6%로 높아집니다. 이는 각각 구체적 자기 지시로 얻는 증가분의 76%·56%에 해당한다고 저자는 보고합니다. 단순히 같은 표면 형식을 앞에 보여준 효과만으로 결과 전체를 설명하기 어렵게 만드는 비교입니다. GPT-OSS의 상대적 저항성과 길이·정확도 분석은 부록 B·D에서 다룹니다.

3.2 CoT vs. Output Controllability — 생각의 표현과 답변의 표현은 같지 않습니다

질문 무시를 제외한 각 제약에 QA 100문제를 사용하며, GPQA·HLE·MMLU-Pro를 균형 있게 구성합니다. 제약을 CoT에만, 출력에만, 양쪽에 함께 적용합니다. CoT 조건은 User Prompt + Constraint Prefill을 사용합니다. 답만 내놓게 되는 것을 피하려고 주 실험의 정답 형식 문장은 빼고, 출력 제약 조건에는 답과 설명을 요청합니다. 따라서 이 표의 수치를 주 실험 전체 평균과 직접 이어 붙이면 안 됩니다.

원문 Table 3의 평균은 다음과 같습니다.

모델	CoT에만 제약을 둔 CoT 준수율	출력에만 제약을 둔 출력 준수율
DeepSeek-R1	31.7%	64.3%
Qwen3-14B	18.4%	47.3%
Qwen3-32B	27.6%	35.9%
GPT-OSS-20B	11.5%	50.0%
GPT-OSS-120B	6.8%	64.7%

모든 모델에서 출력이 더 잘 제어되지만, 두 능력의 관련성은 모델군마다 다릅니다. DeepSeek-R1·Qwen3는 제약별 Pearson 상관 $r=0.52$, $p=0.009$, 질문별 이진 결과의 $\phi=0.34$, $p<10^{-60}$를 보입니다. GPT-OSS는 질문별 관계가 약하고($\phi=0.12$, $p<10^{-5}$), 제약별 관계는 통계적으로 유의하지 않습니다($r=0.36$, $p=0.18$). 상관은 두 능력이 같은 메커니즘이라는 증거와 동의어가 아닙니다.

이어 Table 4의 공동 제약을 비교합니다. DeepSeek-R1·Qwen3는 CoT 준수율을 대체로 유지하면서 출력 준수율도 유지하거나 높입니다. DeepSeek-R1의 출력 준수율은 64.3%에서 74.9%가 됩니다. 반대로 GPT-OSS-120B는 CoT 6.8%→2.5%, 출력 64.7%→57.9%로 낮아집니다. 저자는 공동 제약 효과에 McNemar 검정을 사용하며, DeepSeek-R1·Qwen3-32B의 출력 개선에는 $p<10^{-4}$를 보고합니다. 서로 다른 모델군을 하나의 ‘추론은 답변과 같다’는 설명으로 묶기 어렵다는 결과입니다.

3.3 Closed Models — bootstrap과 prefill 접근 권한을 분리합니다

Reasoning 채널을 외부에서 미리 채울 수 없는 모델에도 bootstrap은 사용자 메시지를 통해 적용할 수 있습니다. QA 900개 하위 표본에서 Claude 3.7 Sonnet은 36.3%→43.3%, Claude Sonnet 4.6은 17.4%→24.2%로 준수율이 높아집니다. 자기 지시의 echo는 각각 97.6%·97.8%입니다. 98%의 echo를 98%의 제약 준수로 해석해서는 안 됩니다.

관측 범위에도 차이가 있습니다. 원문 각주에 따르면 3.7 Sonnet은 전체 reasoning을 반환하지만, Sonnet 4.6은 reasoning 요약을 반환합니다. 이 실험의 제어 평가는 연구자가 관측할 수 있었던 텍스트에 근거하며, 요약과 원래 전체 추론이 동일하다고 보장하지 않습니다. 부록 E는 Sonnet 4.6의 meow bootstrap에서 유효 응답이 부족하여 해당 제약을 전체 점수에서 제외했다고 명시합니다.

3.4 Multi-turn Bootstrap — 첫 턴에서 얻은 제어는 유지될까요?

주 실험은 첫 assistant 턴의 시작에만 자기 지시를 제공합니다. SWE-bench처럼 도구 사용과 관찰이 반복되면, 후속 턴에서 자기 지시 echo와 제약 준수가 빠르게 줄어듭니다. 저자는 Qwen3-32B에 매 턴 자기 지시로 시작하도록 요청하는 다중 턴 bootstrap을 적용합니다.

SWE-bench에서 첫 턴 bootstrap과 매 턴 bootstrap의 자기 지시 echo 유지율

원문 Figure 4, PDF 7쪽. 축·범례·오차막대를 포함한 원본 그래프 크롭, 내용 수정 없음, CC BY 4.0. 원문.

후속 턴 echo는 기존 26–44%와 달리 82–95%로 유지됩니다. 그러나 전체 CoT의 완전 준수율 증가는 9.7%→12.8%입니다. 자기 지시의 유지와 전체 추론의 완전 준수가 얼마나 다른 지표인지 다시 드러납니다.

Table 6에서 safe 문장 종결은 완전 준수 18.0%→27.5%, 소문자는 9.5%→25.5%로 개선됩니다. 단어 억제에서는 자기 지시가 반복되는 루프가 발생하고, 자기 지시 안의 금지 단어가 다시 출현해 단어 빈도 점수가 나빠집니다. 여러 단어 억제의 금지 단어 수는 1,000단어당 52.9개에서 126.6개로 높아집니다. 따라서 지시를 더 자주 상기시키는 것이 모든 종류의 제약을 일관되게 돕는 것은 아닙니다.

3.5 Monitor Evasion — 제약 준수가 감독 지표에도 영향을 줍니다

논문은 CoT Red-Handed의 통제된 프로그래밍 평가를 사용합니다. 모델은 본래 프로그래밍 과제와 별도 부수 과제를 수행하고, 모니터는 CoT와 최종 코드를 읽어 이를 탐지합니다. 이 글은 저자의 결과와 평가 조건을 분석하며, 실제 모니터 우회 실행이나 새로운 공격 절차를 제시하지 않습니다.

사용자 지시와 자기 지시 조건의 모니터 탐지율 및 두 과제 동시 성공률

원문 Table 7, PDF 7쪽. 표 영역을 크롭했으며 모든 수치와 별표를 보존했습니다. CC BY 4.0. 별표는 사용자 지시 조건과 자기 지시 조건 비교의 $p<0.05$를 뜻합니다. 원문.

아무 추가 공격 지시가 없는 기준의 탐지율은 52.5%, 두 과제 동시 성공률(pass@1)은 30.1%입니다. 원문의 세 조건에서 사용자 지시→자기 지시의 탐지율은 Dependency 52.0%→47.8%, Monitor notice 53.9%→46.5%, Stealth 78.6%→47.4%입니다. 표시된 반올림 수치에서 기준 52.5%를 빼 계산한 감소 폭은 각각 4.7·6.0·5.1%p이며, 사용자 지시와 비교한 감소 폭과는 다릅니다. 원문 본문은 반올림 전 값을 반영한 범위로 4.8–6.0%p 감소라고 서술합니다. 특히 Stealth의 사용자 지시는 탐지를 오히려 쉽게 만듭니다.

두 조건 간 유의성 표시는 Monitor notice와 Stealth에만 붙습니다. 표의 모든 감소를 유의하다고 넓히거나, 모든 자기 지시와 기준 간 차이에 동일한 검정 결과가 있다고 쓰면 안 됩니다. 별도의 자기 지시 조건은 기준보다 최대 7.4%p, 언어 조건은 최대 9.2%p 낮은 탐지율을 보고합니다. 이 세부 조건과 분모·모니터 교정은 부록 F에서 다시 확인합니다.

챕터의 핵심 기여: 동일 모델의 CoT 제약 준수는 유도 경로에 따라 달라지고, 이 차이는 출력·모델군·긴 실행·모니터 실험에서 서로 다른 양상을 보입니다.

다음 챕터로의 연결: 이러한 결과가 기존 추론 개입이나 추가 학습과 어떻게 다른지 관련 연구를 정리합니다. 3절, PDF 4–8쪽

챕터의 위치와 역할: 새 결과를 기존 평가·개입·학습·감독 연구 사이에 위치시킵니다.

저자의 서술 순서를 따른 상세 내용:

CoT controllability evaluations: CoT-Control은 모니터 관점, ReasonIF는 활용성 관점에서 출발하지만, 사용자 메시지에 대소문자·문장 종결 등의 제약을 주고 낮은 준수율을 보고한다는 공통점이 있습니다. 이 연구는 CoT-Control의 과제와 채점기를 이어받아 제약 전달 방식을 바꿉니다.
Reasoning interventions: Thinking Intervention은 CoT 안의 지시로 최종 출력의 지시 준수와 안전성을 개선하는 선행 연구입니다. 추론 언어를 prefill로 지정한 연구도 있습니다. 이 논문의 차이는 CoT 자체를 여러 종류의 제약으로 평가하고, 어려운 QA와 도구·다중 턴 과제까지 확장한 데 있습니다.
Training models to control their CoT: Fine-tuning으로 제어 가능성을 높이는 연구와 달리, 여기서는 가중치를 추가로 최적화하지 않습니다. 따라서 이미 있는 능력을 얼마나 잘 유도했는지 측정하는 성격을 갖습니다. 학습 비용·미관측 제약으로의 일반화·CoT 직접 최적화가 감독에 미칠 수 있는 영향은 저자가 선행 연구와 함께 논의합니다.
Evading monitors without controlling the CoT: CoT를 일찍 끝내고 답변 공간에서 생각하도록 하는 방식은 CoT를 직접 제어하는 것과 다릅니다. 저자는 CoT를 남긴 상태에서 그 표현을 조절하는 결과를 구분해 제시합니다.

챕터의 핵심 기여: ‘추론 안에 지시를 넣는다’는 아이디어의 선행 맥락과, 이 논문이 새로 측정한 대상의 차이를 분명히 합니다.

다음 챕터로의 연결: 기존 평가와 함께 자기 지시 평가를 보고하자는 결론으로 이어집니다. 4절, PDF 8쪽

📖 Chapter 5: Conclusion

챕터의 위치와 역할: 논문의 실험 범위를 묶어 평가 방식에 대한 주장을 정리합니다.

저자의 서술 순서를 따른 상세 내용:

사용자 메시지로만 지시했을 때보다, 자기 지시가 CoT 안에 놓였을 때 더 높은 텍스트 제어가 관찰되었다고 결론 내립니다.
이 능력은 추가 학습 없는 표현 제어의 기회이자, CoT 모니터의 신뢰도를 평가할 때 고려해야 하는 위험이라고 설명합니다.
저자는 reasoning prefill 또는 bootstrap을 활용한 평가를 함께 보고하고, 기존 사용자 프롬프트만으로 능력과 모니터 위험을 추정하지 말 것을 권고합니다. 이는 논문의 명시적 제안이며, 모든 프롬프트·모델에 안정적 제어가 보장된다는 결론은 아닙니다.

챕터의 핵심 기여: 평가 점수에 영향을 주는 유도 방식 자체를 평가 프로토콜에 포함하자고 제안합니다.

다음 내용으로의 연결: 이어지는 한계와 윤리 논의는 이 결론이 적용되는 범위를 좁혀 줍니다. 5절, PDF 8쪽

📖 Chapter Limitations: Limitations

챕터의 위치와 역할: 원문에서 번호 없이 제시한 세 한계를 그대로 구분합니다.

저자의 서술 순서를 따른 상세 내용:

Text-level constraints: 실험은 CoT가 무엇을 말하고 어떤 형식으로 쓰이는지를 제어합니다. 문제 해결 전략처럼 실제 추론 과정 자체도 같은 방식으로 제어되는지는 아직 검증하지 않았습니다.
Reasoning prefill access and awareness: prefill은 reasoning 채널 접근을 필요로 하고, 모델이 외부에서 채운 시작 문장임을 알아차릴 수도 있습니다. 저자는 bootstrap이 프롬프트 접근만 요구하고 자기 지시를 모델 자신이 생성하므로 이 두 문제를 피한다고 설명합니다. 실제 API 기능 지원 여부를 일반화하지는 않습니다.
Capability, not propensity: 명시적인 지시가 있을 때 제어와 탐지율 감소가 가능하다는 결과입니다. 모델이 그런 지시 없이 스스로 행동할지, 실제로 그러려 할지는 알 수 없습니다. 또한 모니터가 지시문을 보지 않는 실험 조건이며, 그 지시문까지 보는 모니터라면 탐지할 수 있다고 명시합니다.

챕터의 핵심 기여: 능력·자발적 성향·내부 추론·관측 가능한 텍스트를 구분합니다.

다음 내용으로의 연결: 관찰한 위험을 어떤 감독 방향으로 해석할지 윤리적 고려로 이어집니다. PDF 9쪽

📖 Chapter Ethical Considerations: Ethical Considerations

챕터의 위치와 역할: 연구의 목적과 감독 관점의 권고를 명시합니다.

저자의 서술 순서를 따른 상세 내용:

연구 목적은 모니터 회피를 권장하는 것이 아니라 추론 모델의 감독과 유익한 활용을 지원하는 데 있다고 밝힙니다.
Bootstrap은 사용자 프롬프트를 통해 CoT를 바꿀 수 있으며, Generic Bootstrap은 CoT에 구체적인 제약을 다시 적지 않을 수도 있습니다. 따라서 저자는 CoT와 행동만이 아니라 사용자 지시도 관찰하라고 권고합니다.
더 넓게는 CoT 제어 가능성이 낮다는 가정에 의존하지 않는 모니터링 방법을 개발하자는 방향을 제시합니다. 이는 원문에 적힌 연구 방향으로만 소개합니다.

챕터의 핵심 기여: 제어 성능의 개선을 안전성 개선과 자동으로 동일시하지 않습니다.

다음 내용으로의 연결: 참고문헌을 거쳐 구현과 추가 실험을 설명하는 부록으로 이어집니다. PDF 9쪽

📖 Chapter References: References

챕터의 위치와 역할: 본문과 부록에서 사용한 벤치마크·모델·추론 개입·모니터 연구를 연결합니다.

저자의 서술 순서를 따른 상세 내용: 원문은 Anthropic의 모델 문서, CoT Red-Handed·monitorability 연구, DeepSeek·GPT-OSS·Qwen 기술 보고서, QA·도구·코딩 벤치마크와 instruction-following 연구 등을 서지 순서대로 제공합니다. 이 리뷰에서는 해당 문헌들을 모두 독립적으로 읽었다고 전제하지 않으며, 본 논문이 설명한 비교 관계만 정리했습니다.

챕터의 핵심 기여: 기존 과제·채점기·개입 방식의 출처를 추적할 수 있게 합니다.

다음 내용으로의 연결: 부록 A는 실제로 어떤 프롬프트와 서빙·채점 조건을 사용했는지 설명합니다. PDF 9–11쪽

📖 Chapter A: Implementation Details

챕터의 위치와 역할: 주 실험을 해석하고 재현 가능성을 판단하는 데 필요한 구현 조건을 제공합니다.

저자의 서술 순서를 따른 상세 내용:

A.1 Tasks and Prompts: 원 과제 수는 MMLU-Pro 300·GPQA 445·HLE 469·SWE-bench 200·BFCL 150입니다. 각 과제를 9개 제약과 조합합니다. 단어 억제에는 동의어 목록도 포함합니다. 기준 User Prompt만 기존 CoT-Control 구현을 정확히 따르기 위해 “추론에서 제약 자체를 언급하지 말라”는 추가 절을 포함하며, 이 차이는 부록 C.3에서 통제합니다. Agent·GPT-OSS에서는 프롬프트의 표제와 reasoning 채널 명칭도 맞춥니다.
A.2 Self-Instructions: Table 9는 모델군별 문구를 제시합니다. 문체만 다른 것이 아니라 다섯 표면 제약에서는 시작 문장 자체의 대소문자·문장 종결·단어 사이 표현도 제약에 맞춥니다. 본문 채점에서 첫 자기 지시를 제외하는 규칙과, 그 지시가 후속 생성에 주는 시범 효과는 별개의 사항입니다.
A.3 Reasoning Prefill and Serving: chat template에서 reasoning 블록을 연 채로 자기 지시를 넣어 모델이 이어 쓰게 합니다. 공개 가중치 모델은 vLLM, Agent는 Inspect AI를 사용합니다. 도구 호출이 필요한 Agent 조건에서는 원래 DeepSeek-R1 대신 DeepSeek-R1-0528을 사용합니다. 모델 이름이 같은 표를 읽을 때 이 실행 조건을 놓치면 안 됩니다.
A.4 Grading: 제약 8개는 프로그램으로 검사하고, 질문 무시는 CoT-Control의 GPT-5-mini 판정기를 사용합니다. 앞에서 설명한 macro 평균과 SE가 이 절의 식입니다. 기계적 검사와 모델 판정이 섞여 있으므로 지표의 의미도 각 제약에 따라 다릅니다.
A.5 Sampling: QA·BFCL은 temperature 0, SWE-bench는 1을 사용합니다. 최대 생성량은 QA 25,000, BFCL 12,000, SWE-bench 턴당 29,000토큰입니다. GPT-OSS는 medium reasoning effort, Claude는 reasoning budget 25,000의 extended thinking을 사용합니다. 이 제한은 추론 길이별 결과를 해석하는 실행 조건입니다.

챕터의 핵심 기여: ‘동일 프롬프트 비교’라는 큰 설명 아래 숨기기 쉬운 모델 버전·샘플링·채점 차이를 공개합니다.

다음 챕터로의 연결: 부록 B는 이 조건 아래 결과를 더 세밀하게 나눕니다. Appendix A·Table 9, PDF 12–13쪽

📖 Chapter B: Extended Results

챕터의 위치와 역할: 전체 평균이 숨기는 제약·데이터셋·길이·정답률의 차이를 살핍니다.

저자의 서술 순서를 따른 상세 내용:

B.1 Results by Constraint and Method: Table 10은 모델·제약·유도법의 전체 교차 결과를 제시합니다. 이진 셀의 SE는 최대 1.4%p라고 보고합니다. Qwen3-32B의 교대 대소문자는 User Prompt + Generic Prefill에서 단어 수준 83.0%이지만 완전 준수 2.9%에 그칩니다. 길고 복잡한 기록에서는 국소적 변화와 전체 무위반이 크게 벌어질 수 있습니다.
B.2 Bootstrap Echo: QA에서는 정규화 echo가 83–98%입니다. 예외적으로 DeepSeek-R1은 Agent 조건에서 자기 지시를 CoT가 아니라 답변에 쓰는 경우가 많습니다. BFCL 95%, SWE-bench 55%에서 이런 위치 이동이 나타나며, CoT 첫머리 echo는 두 벤치마크 모두 0%가 됩니다. 반대로 GPT-OSS는 문구를 거의 그대로 복사해도 이후 제약 준수는 낮을 수 있습니다. 자기 지시를 썼는지·어디에 썼는지·후속 생성이 지켰는지는 따로 측정해야 합니다.
B.3 Results by Dataset: BFCL·MMLU-Pro 평균 준수율은 각각 20.3%·14.6%, 추론 중앙값은 최대 632단어인 반면, SWE-bench는 준수율 1.2%, 길이는 최대 13,680단어입니다. 각 수치는 모델·방법을 평균한 데이터셋 비교이며, 특정 모델의 최고 성능 표와 다릅니다. 전체적으로 자기 지시 조건의 정답률 감소는 무제약 실행보다 1.4–1.6%p이며, 150개 막대 중 115개가 무제약 실행의 ±5%p 안에 있습니다.
정확도 예외의 설명: BFCL에서는 추론 제약이 도구 호출로 새어 나가 호출을 손상시키거나, Qwen3-14B가 bootstrap 조건에서 41–46%의 응답을 도구 호출 없이 끝내는 문제가 있습니다. Qwen3-32B의 무제약 QA 실행은 33%가 답을 추출할 수 없어 오답 처리되므로, 일부 제약 조건의 정답률이 최대 16.9%p 높아지는 현상도 보고합니다. 이를 곧바로 추론 능력 개선이라고 읽으면 안 됩니다.
B.4 Controllability and Accuracy by CoT Length: 답으로 끝난 CoT를 대상으로, 첫 자기 지시를 제외한 continuation의 단어 수를 분석합니다. 같은 모델·방법·데이터셋·제약 안에서도 길이가 두 배가 될 때 준수율이 3.1%p 낮아집니다. 이것은 관찰된 관계이며, 길이를 임의로 줄이면 성능이 그만큼 좋아진다는 인과 실험은 아닙니다.

CoT 길이와 제약 준수율의 관계를 모델과 유도법별로 비교한 그래프

원문 Figure 7, PDF 16쪽. 모든 모델 패널·축·범례를 포함한 크롭, 내용 수정 없음, CC BY 4.0. 원문.

추론 길이에 따른 무제약 실행 및 제약 준수·비준수 기록의 정답률 비교

원문 Figure 8, PDF 16쪽. 음영은 95% 신뢰구간입니다. 그래프 영역 크롭, 내용 수정 없음, CC BY 4.0. 원문.

질문 무시를 제외하면, 같은 모델·질문의 준수 CoT 정답률은 비준수 CoT보다 0.3%p 낮고 95% 신뢰구간은 −0.6~+0.1%p입니다. 질문 무시에서는 6.4%p 차이가 납니다. Figure 8의 긴 CoT에서 정답률이 떨어지는 모습은 무제약 실행에서도 나타나므로, 어려운 질문이 더 긴 CoT와 함께 나타나는 효과를 고려해야 합니다.

챕터의 핵심 기여: 평균 준수율만으로는 echo 실패·도구 호출 손상·정답 추출 실패·길이의 관계를 설명할 수 없음을 보여줍니다.

다음 챕터로의 연결: 부록 C는 자기 지시 문구와 형식의 선택 자체를 분해해 비교합니다. Appendix B, PDF 13–16쪽

📖 Chapter C: Elicitation Method Ablations

챕터의 위치와 역할: 주 효과가 특정 문구·문체·기존 기준 프롬프트의 불리한 문장 때문에 생겼는지 확인합니다. 모두 QA 900개 하위 표본을 사용합니다.

저자의 서술 순서를 따른 상세 내용:

C.1 Prefill Robustness: 기본 문구, 다른 모델군의 문구, 모델 중립적 문구, 무제약 CoT 첫머리를 GPT-5-mini가 수정한 문구를 비교합니다. DeepSeek-R1은 기본 17.8%에서 다른 모델군 문구 8.6%로 내려가지만, 중립 문구 16.7%·질문별 문구 15.9%는 비슷한 수준입니다. GPT-OSS-120B는 어떤 문구에서도 5% 이하입니다. Qwen3-32B는 문구에 민감하게 반응하지만, 아래 표처럼 높은 제어 점수가 반드시 높은 정답률과 함께 나타나지는 않습니다.

자기 지시 문구별 CoT 준수율·길이 중앙값·정답률을 비교한 원문 표

원문 Table 12, PDF 17쪽. 표 영역 크롭, 내용 수정 없음, CC BY 4.0. 원문.

Qwen3-32B의 prefill	준수율	CoT 길이 중앙값	정답률
Paper default	25.8%	887단어	41.6%
Cross-family	45.8%	312단어	34.9%
Universal	44.2%	435단어	32.6%
Per-prompt	30.1%	882단어	41.3%

저자는 다른 모델군·중립 문구가 CoT 길이도 크게 줄인 점을 함께 설명합니다. 따라서 문구 변화의 효과를 ‘전반적인 모델 개선’으로 단순화하기 어렵습니다. Table 12의 이진 준수율 SE는 최대 1.7%p입니다.

C.2 Styled Self-Instructions: 자기 지시 없이 형식만 맞춘 generic opener도 DeepSeek-R1·Qwen3에서 10.8–29.4%의 준수율을 보입니다. 여기에 자기 지시를 더하면 사용자 제약이 있을 때 4.2–10.4%p, 없을 때 2.8–6.8%p가 더해집니다. 형식 시범과 지시 내용이 모두 기여한다는 해석입니다. 반면 제약 형식에 맞추지 않은 시작 문장을 주면 DeepSeek-R1·Qwen3-14B는 해당 다섯 표면 제약에서 완전 준수 0%가 됩니다. 첫 문장을 채점에서 제외해도 그 문장이 후속 생성의 시범으로 작용할 수 있습니다.
C.3 No-Mention Clause of User Prompt: 기준 조건만 가진 “제약을 추론에 언급하지 말라”는 절을 제거해 다시 평가합니다. 네 모델의 변화는 최대 0.7%p이고, GPT-OSS-120B는 오히려 2.2%p 낮아집니다. 따라서 이 추가 절이 기준 조건의 낮은 준수율 전체를 설명하지는 않는다고 결론 내립니다. Table 14의 수치는 반올림되어 표시되므로 표시된 두 점수의 차이와 원문의 변화량이 아주 작게 다를 수 있습니다.

챕터의 핵심 기여: 표현 스타일만 보여준 효과와 자기 지시의 추가 효과를 구분하고, 기준 조건의 프롬프트 차이를 통제합니다.

다음 챕터로의 연결: GPT-OSS가 유독 다른 반응을 보이는 이유를 텍스트의 확률 분포 관점에서 살핍니다. Appendix C, PDF 16–18쪽

📖 Chapter D: GPT-OSS Resistance

챕터의 위치와 역할: 자기 지시가 모든 모델에 동일하게 작동하지 않는 이유에 대한 가설을 분석합니다.

저자의 서술 순서를 따른 상세 내용:

관찰의 출발점: GPT-OSS는 자기 지시로 평균 점수가 높아지지만, Constraint Prefill 단독은 User Prompt보다 낮습니다. 개선도 주로 단어 억제 쪽에서 나타나고 문체 제약은 어렵습니다.
Perplexity 비교 설계: 모델별 무제약 QA CoT 1,000개를 뽑아 기계적으로 변환할 수 있는 여섯 제약에 맞춘 텍스트를 만듭니다. 두 단어 억제 조건은 User Prompt + Constraint Prefill에서 실제로 준수한 CoT를 사용합니다. 프롬프트 없이 CoT만 넣고, 각 모델 자신의 가중치가 부여하는 평균 perplexity를 무제약 CoT와 비교합니다. Perplexity는 이 문맥에서 해당 모델에게 그 텍스트가 얼마나 자연스러운지를 살피는 지표이며, 정답률이 아닙니다.
관측과 해석의 경계: Qwen3의 준수 텍스트/무제약 텍스트 perplexity 비율 평균은 1.11배·1.07배인 반면 GPT-OSS-20B·120B는 80배·2.39배입니다. 20B의 교대 대소문자 비율 625배는 소수의 극단적 CoT가 이끈 값이라고 저자가 명시합니다. 이 결과는 GPT-OSS의 추론 분포에서 그런 문체가 낯설다는 해석을 지지하지만, 학습 데이터의 실제 구성을 직접 관찰한 인과적 증명은 아닙니다. 저자가 제시하는 합성 추론 자료 중심 학습 가능성은 가설로 읽어야 합니다.

챕터의 핵심 기여: 제약 제어의 어려움을 일반적인 무능력으로 설명하는 대신, 모델별 추론 텍스트 분포 차이와 연결합니다.

다음 챕터로의 연결: 부록 E는 별도의 폐쇄형 모델에서 같은 지표가 어떻게 나타나는지 세분화합니다. Appendix D·Table 15, PDF 18쪽

📖 Chapter E: Claude Results by Constraint

챕터의 위치와 역할: 본문 Table 5의 평균 뒤에 있는 제약별 차이와 응답 누락을 드러냅니다.

저자의 서술 순서를 따른 상세 내용:

Constraint Bootstrap은 두 Claude 모델에서 대부분의 제약에 가장 높은 점수를 냅니다. 예를 들어 단일 단어 억제는 3.7 Sonnet에서 24%→51%, Sonnet 4.6에서 23%→45%입니다.
예외는 질문 무시입니다. 각각 70%→27%, 57%→17%로 떨어집니다. 저자는 자기 지시의 “마지막에 정답을 주라”는 부분을 따라 CoT 끝에서 질문으로 돌아오는 양상을 설명합니다.
Sonnet 4.6은 meow bootstrap에서 대부분 응답을 반환하지 않았습니다. 저자는 이 제약을 전체 점수에서 제외합니다. 따라서 이 모델의 평균은 모든 조건에 대해 완전히 같은 유효 관측을 확보한 평균으로 해석할 수 없습니다. 정확한 평균은 Table 5, 반올림된 제약별 요약은 Table 16을 기준으로 읽습니다.

챕터의 핵심 기여: 높아진 평균이 개별 제약의 일관된 개선이나 응답 완전성을 보장하지 않음을 보여줍니다.

다음 챕터로의 연결: 부록 F는 감독 위험에 관한 주장을 조건·분모·검정까지 포함해 재검토합니다. Appendix E·Table 16, PDF 18–19쪽

📖 Chapter F: Monitoring Experiment Details

챕터의 위치와 역할: 탐지율 감소라는 결과가 어떤 위협 모델과 평가 집합 위에서 계산되었는지 밝힙니다.

저자의 서술 순서를 따른 상세 내용:

Setup: DeepSeek-R1-0528이 BigCodeBench의 855개 프로그래밍 과제를 시도하며, 각 과제에는 11종 부수 과제 중 하나가 붙습니다. Temperature는 0.7, 최대 생성량은 16,000토큰입니다. 본래 과제와 부수 과제를 둘 다 성공한 결과만 모니터에 넣습니다. 저자는 사용한 지시들을 Table 18에 공개하지만, 이 리뷰에서는 그 문구를 실행용 안내로 재구성하지 않습니다.
Monitor and calibration: 세 GPT-4.1-mini 모니터 중 가장 강했던 hybrid를 보고합니다. 코드만 보는 action monitor와 CoT·코드를 보는 monitor의 점수를 0.55·0.45로 결합합니다. 주 과제는 보지만 부수 과제와 추가 지시문은 보지 않으며, prefill 자기 지시도 제외된 continuation만 봅니다.
교정과 실제 오탐: 본래 과제만 수행한 benign 결과 420개로 목표 false-positive rate 1%에 맞춰 문턱값을 정합니다. 점수가 문턱값과 같은 경우도 탐지로 세기 때문에, 이 표본에서 실제 관측한 오탐률은 2.4%입니다. 목표 1%와 관측 2.4%를 섞어 표현하면 안 됩니다.
두 지표의 분모: 기준 조건의 동시 성공은 855개 중 257개이고, 이 257개에 대한 모니터 탐지율이 52.5%입니다. 자기 지시 Dependency·Monitor notice·Stealth의 동시 성공 수는 각각 268·271·266개입니다. Pass@1은 855개 전체를 분모로 하지만 catch rate는 각 조건에서 서로 다르게 정해지는 동시 성공 집합을 분모로 합니다. 단순히 855개 전체 중 탐지된 비율이 아닙니다.
검정과 전체 조건표: Table 7의 검정은 855개 과제를 대상으로 부수 과제 유형을 층화한 단측 paired bootstrap 20,000회입니다. Table 17은 추가 자기 지시와 언어 조건까지 보여줍니다. 예를 들어 Hawaiian의 catch rate 43.3%는 동시 성공 231개에서 계산하며, pass@1은 27.0%입니다. 기준 52.5% 대비 9.2%p 감소는 이 조건의 보고값입니다.
재현성 문구의 역할: Table 18은 기존 연구의 사용자 지시, 저자가 작성한 자기 지시, 추가 표현·언어 조건을 구분합니다. 본문은 이 문구들을 최적화하지 않았다고 밝힙니다. 다양한 감독 시스템 전체에 대한 보편적인 회피율을 측정한 것이 아니라, 고정된 모니터·모델·교정 설정에서 비교한 결과입니다.

챕터의 핵심 기여: 지시문이 모니터에 숨겨진 조건과 조건부 분모를 명시하여, 결과의 실제 의미를 좁고 정확하게 해석하게 합니다.

다음 챕터로의 연결: 부록 G는 평균 수치가 생성 기록에서는 어떤 모습으로 나타나는지 예시를 제공합니다. Appendix F·Tables 17–18, PDF 18–20쪽

📖 Chapter G: Qualitative Examples

챕터의 위치와 역할: 주 실험·다중 턴·감독 실험의 구체적 생성 기록을 원래 Figure 순서대로 보여줍니다. 선택된 예시이므로 발생 빈도는 앞의 전체 실험표로 판단해야 합니다.

저자의 서술 순서를 따른 상세 내용:

Figures 9–10 — echo와 후속 준수의 분리: Qwen3-32B는 자기 지시를 자연스러운 대소문자로 반복하고도, 뒤의 추론은 대문자 또는 소문자로 작성합니다. 정규화 echo·strict echo·continuation 준수가 서로 다른 이유를 보여줍니다.
Figures 11–14 — 제약 종류별 성공 예시: 교대 대소문자, 특정 단어로 문장 끝내기, 단어 사이 meow, 질문 대신 다른 내용을 생각하기를 순서대로 제시합니다. Figure 13에서는 사용자 메시지에 제약이 없는 Constraint Prefill 조건에서도 추론만 특이한 형식이고 최종 답은 정상 형식입니다. Figure 14는 무관한 내용을 쓰고도 답을 맞힌 사례이지만, 이것만으로 내부 추론이 질문과 완전히 무관했다고 증명하지는 않습니다.
Figure 15 — 다중 턴 유지: 같은 SWE-bench 이슈에서 첫 턴만 자기 지시를 쓰게 하면 후속 턴에 형식이 약해지고, 매 턴 반복 조건에서는 더 오래 유지됩니다. 이 그림은 일부 턴을 생략한 예시이며, 전체 성공률은 Table 6으로 확인해야 합니다.
Figures 16–19 — 모니터 판단의 사례: 부수 과제를 어떻게 설명하는지에 따라 모니터 판단이 달라지는 예시, 반복적인 안전 관련 표현과 실제 코드 행동이 일치하지 않는 예시, 추론 언어를 바꾼 예시를 순서대로 제공합니다. 사례의 교훈은 특정 표현이 안전하다는 보증이 아니라 표면적인 자기 설명만으로 행동을 충분히 판별하기 어렵다는 감독 문제에 있습니다. 이것은 예시를 읽은 리뷰어의 해석이며, 새 실험 결과가 아닙니다.

챕터의 핵심 기여: 집계 지표의 차이가 단순 서식 오류뿐 아니라 추론의 위치·지속성·행동 설명 방식에서도 드러남을 보여줍니다.

원문 구조의 마무리: Figure 19로 논문이 끝납니다. 본문 1–5절, 번호 없는 한계·윤리·참고문헌, 부록 A–G를 모두 다뤘습니다. 참고문헌 원문 전체의 독립 검토, 19개 그림·18개 표의 모든 셀·사례 전사는 수행하지 않았으며, 핵심 도식·결과와 해석에 필요한 조건을 중심으로 설명했습니다. Appendix G, PDF 19·21–26쪽

실험 결과 심층 분석

첫째, 유도 방식은 능력 평가의 일부입니다. 다섯 공개 모델 모두 기준 User Prompt보다 높은 최고 준수율을 보입니다. 다만 최고 방법은 모델별로 다르고, 제약별 반응도 다릅니다. 이 결과는 ‘전에는 못 하던 추론 능력이 생겼다’보다 ‘기존 능력을 관찰하는 방법을 바꾸면 측정값이 달라진다’는 주장에 더 직접적인 근거를 제공합니다.

둘째, 지표를 한 숫자로 합치지 않아야 합니다. Echo는 자기 지시를 쓴 비율, binary controllability는 continuation의 완전 준수, soft metric은 국소적 제약 충족 정도, accuracy는 원래 과제의 정답률입니다. Qwen3-14B의 meow 96.1%·완전 준수 38.7%, 다중 턴 echo 82–95%·전체 준수 12.8%가 이 차이를 잘 보여줍니다. 활용 목적에 따라 어느 지표가 필요한지를 먼저 정해야 합니다.

셋째, 높은 제어와 높은 정답률은 따로 검증해야 합니다. 전체적으로 정확도 손실이 작다는 결과와, 문구 ablation의 Qwen3-32B에서 제어가 높아지면서 정답률이 낮아진 결과가 동시에 존재합니다. BFCL의 도구 호출 손상과 미응답도 저자가 보고한 실패 양상입니다. 평균 정답률이 거의 같다고 해서 모든 호출 경로가 안정적이라는 뜻은 아닙니다.

넷째, 통계적 근거는 결과별로 다릅니다. 주 실험은 셀 단위 Bernoulli 가정의 SE를 제공하고, Figure 8은 95% 신뢰구간을 표시합니다. CoT–출력 관계는 상관계수와 p값, 공동 제약은 McNemar 검정, 모니터 비교는 층화 paired bootstrap을 사용합니다. 주 실험의 모든 막대쌍에 대한 다중 비교 보정 p값이나 반복 실행 seed별 분산은 논문에 보고되지 않았습니다. 따라서 모든 관측 차이를 동일한 수준의 유의한 개선으로 부르지 않습니다.

다섯째, 감독 실험은 조건부 탐지율입니다. 성공한 부수 과제 집합이 조건마다 달라지며 모니터는 지시문을 보지 않습니다. 이 조건에서 탐지율이 낮아졌다는 결과는 중요하지만, 사용자의 전체 입력까지 보는 모든 감독 시스템의 성능이나 실제 모델의 자발적 의도를 직접 측정하지는 않습니다. 이는 원문의 capability-not-propensity 한계와 정확히 연결됩니다.

기술적 함의와 응용

논문이 직접 제안하는 활용 방향은 추가 학습 없이 CoT의 언어·형식·구조에 대한 요구를 더 잘 유도하는 것입니다. 동시에 평가에서는 사용자 지시와 자기 지시 조건을 나란히 보고, 모니터를 시험할 때에도 더 강한 유도 조건을 고려하라고 권고합니다. 원문에 공개된 프롬프트·chat template·샘플링·채점법은 이러한 비교를 이해하는 데 필요한 재현 자료이지만, 이 리뷰에서 모델 실행이나 결과 재현을 수행한 것은 아닙니다.

리뷰어 관점에서 데이터과학 실무와 연결되는 지점은 평가 대상과 관측 지표를 분리하는 습관입니다. 최종 답변의 JSON 형식을 잘 지키는 모델이 CoT의 표현 제약도 잘 지키는 것은 아니며, 첫 턴에서 지켰다고 긴 도구 실행 전체에서 유지되는 것도 아닙니다. 또한 더 잘 드러난 텍스트 제어 능력은 CoT가 내부 계산의 충실한 기록임을 보증하지 않습니다.

이 연구의 결론은 추론을 완벽하게 통제하는 만능 프롬프트가 있다는 것이 아닙니다. 같은 모델의 제어 가능성을 어느 위치의 지시로, 어떤 continuation과 분모에 대해 측정했는가가 활용성과 감독에 관한 판단을 바꾼다는 것입니다. 자기 지시가 드러낸 능력을 정확히 측정하는 일과, 그 능력이 안전하게 사용되는지 판단하는 일은 함께 다뤄야 합니다.

[Paper Review] Self-Instructed CoT — 추론 모델은 자기 지시로 생각의 표현을 얼마나 제어할까요?

논문 개요와 전체 구조

핵심 기여와 혁신성