[Paper Review] How Depth Growth and Looping Shape In-Context Learning in Language Models
๋
ผ๋ฌธ ๊ฐ์์ ์ ์ฒด ๊ตฌ์กฐ
๋ฌธ์ ๋ถ๋ฅ ๋ชจ๋ธ์๊ฒ ๋น์ทํ ๊ธ์ ๋ ์ข
๋ฅ์ ๊ทธ๋ ์ ํ ๋ฒํธ๋ฅผ ๋ณด์ฌ ์ฃผ๊ณ , ์ธ ๋ฒ์งธ ๊ธ์์ ๋ฒํธ๋ฅผ ๋ฌป๋๋ค๊ณ ํด ๋ณด๊ฒ ์ต๋๋ค. ๋ชจ๋ธ์ ์ง๊ธ ๋ฐ์ ์์์์ ๊ท์น์ ์ฝ์ ์ ์์ต๋๋ค. ๊ฐ์ ๊ธ์์ ์ธ์ ๋ ๊ฐ์ ๋ฒํธ๊ฐ ๋ถ๋ ํ๊ฒฝ์ด๋ผ๋ฉด ํ์ต ์ค ๊ฐ์ค์น์ ์ ์ฅํ ๋์๋ ์ธ ์ ์์ต๋๋ค. Ferdinand Kapl, Kaitlin Maile,...