Euisuk's Dev Log

ใ€Œ์„œ์ฟ  ๊ฐœ๋ฐœ๋…ธํŠธโญใ€

[Paper Review] How Depth Growth and Looping Shape In-Context Learning in Language Models

๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ๋ฌธ์ž ๋ถ„๋ฅ˜ ๋ชจ๋ธ์—๊ฒŒ ๋น„์Šทํ•œ ๊ธ€์ž ๋‘ ์ข…๋ฅ˜์™€ ๊ทธ๋‚  ์ •ํ•œ ๋ฒˆํ˜ธ๋ฅผ ๋ณด์—ฌ ์ฃผ๊ณ , ์„ธ ๋ฒˆ์งธ ๊ธ€์ž์˜ ๋ฒˆํ˜ธ๋ฅผ ๋ฌป๋Š”๋‹ค๊ณ  ํ•ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. ๋ชจ๋ธ์€ ์ง€๊ธˆ ๋ฐ›์€ ์˜ˆ์‹œ์—์„œ ๊ทœ์น™์„ ์ฝ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฐ™์€ ๊ธ€์ž์— ์–ธ์ œ๋‚˜ ๊ฐ™์€ ๋ฒˆํ˜ธ๊ฐ€ ๋ถ™๋Š” ํ™˜๊ฒฝ์ด๋ผ๋ฉด ํ•™์Šต ์ค‘ ๊ฐ€์ค‘์น˜์— ์ €์žฅํ•œ ๋Œ€์‘๋„ ์“ธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Ferdinand Kapl, Kaitlin Maile,...

[Paper Review] ร‰pi: ์„ธ์…˜์„ ์ด์–ด๊ฐ€๋ฉฐ ๊ฒ€์ฆ ๊ฐ€๋Šฅํ•œ ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๋ฅผ ๋งŒ๋“œ๋Š” ์—์ด์ „ํŠธ

๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ์—ฐ๊ตฌ ์—์ด์ „ํŠธ๊ฐ€ ์„ธ์…˜์„ ์ข…๋ฃŒํ•˜๋Š” ์ˆœ๊ฐ„์—๋„ ์‹คํ—˜์€ ๋๋‚˜์ง€ ์•Š์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์‹œ๋„ํ•œ ๋ฐฉ๋ฒ•์ด ์—ฌ๋Ÿฌ ๊ฐœ๋ผ๋ฉด ๋‹ค์Œ ์„ธ์…˜์€ ์–ด๋А ๊ตฌํ˜„์ด ์–ด๋–ค ๊ฒฐ๊ณผ๋ฅผ ๋ƒˆ๋Š”์ง€, ์‹คํŒจํ•œ ์ ‘๊ทผ์„ ์–ธ์ œ ๋‹ค์‹œ ๊ฒ€ํ† ํ• ์ง€๋ถ€ํ„ฐ ํŒŒ์•…ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ร‰pi๋Š” ์‹คํ–‰ ๊ธฐ๋ก๊ณผ ์‹คํ—˜ ์ƒํƒœ๋ฅผ ์„ธ์…˜ ๋ฐ–์— ์ €์žฅํ•˜๊ณ , ๊ฐ™์€ ๊ฒ€์ฆ ๊ธฐ์ค€ ์•„๋ž˜ ๋Œ€์•ˆ์„ ๋น„๊ตํ•˜๋ฉฐ ์—ฌ๋Ÿฌ ์„ธ์…˜์— ๊ฑธ์ณ ์—ฐ๊ตฌ๋ฅผ ์ด์–ด๊ฐ€...

์ž ๊น ์˜ฅ์ƒ ๊ฐˆ๋ž˜์š”? ์ง์žฅ์ธ์„ ์œ„ํ•œ ์˜จ๋ผ์ธ ์‰ผํ„ฐ ํ•œ์ˆจ๋‘์ˆจ

์˜จ๋ผ์ธ ์ ˆ์„ ๋ณด๊ณ  ํšŒ์‚ฌ ์˜ฅ์ƒ์„ ๋– ์˜ฌ๋ ธ์Šต๋‹ˆ๋‹ค ์–ผ๋งˆ ์ „ ๋ฐ”์ด๋ธŒ ์ฝ”๋”ฉ์œผ๋กœ ๋งŒ๋“  ์˜จ๋ผ์ธ ์ ˆ ์‚ฐ์‚ฌ๊ฐ€ ํ™”์ œ์˜€์Šต๋‹ˆ๋‹ค. ๋ธŒ๋ผ์šฐ์ €์—์„œ ๋Œ๊ธธ์„ ๋”ฐ๋ผ ๋ฒ•๋‹น์— ๋“ค์–ด๊ฐ€ ์—ผ์ฃผ๋ฅผ ๊ตด๋ฆฌ๊ฑฐ๋‚˜ ์ ˆ์„ ํ•  ์ˆ˜ ์žˆ๋Š” ๊ณณ์ž…๋‹ˆ๋‹ค. ์•‰์•„ ์žˆ๋Š” ์ž๋ฆฌ๋Š” ๊ทธ๋Œ€๋กœ์ธ๋ฐ, ์บ๋ฆญํ„ฐ๋ฅผ ์›€์ง์—ฌ ๋Œ๊ธธ์„ ๊ฑท๋‹ค ๋ณด๋ฉด ์ž ๊น ๋‹ค๋ฅธ ๋ฐ ๋‹ค๋…€์˜จ ๊ธฐ๋ถ„์ด ๋“ค๋”๋ผ๊ณ ์š”. ์‚ฐ์‚ฌ๋ฅผ ๋งŒ๋“  ๊ฐœ๋ฐœ์ž์˜ ์ธํ„ฐ๋ทฐ ๋™์ž์Šน ์บ๋ฆญํ„ฐ๋กœ ๋Œ๊ธธ์„...

[Paper Review] FDE-Gym: ๊ณ ๊ฐ์˜ ์š”์ฒญ์„ ๊ตฌํ˜„ํ•œ ๋’ค ๋ฌด์—‡์„ ํ‰๊ฐ€ํ•ด์•ผ ํ• ๊นŒ์š”?

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ์‹œ์ถ” ํšŒ์‚ฌ์˜ ์ž„์›์ด AI ์š”์•ฝ ๋ฉ”์ผ๊ณผ ์งˆ์˜์šฉ ์ฑ—๋ด‡์„ ์š”์ฒญํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋Ÿฐ๋ฐ ํšŒ์‚ฌ๊ฐ€ ๋งค์›” ๋†“์น˜๋Š” ๊ณ„์•ฝ์ƒ ๋ณด์ƒ๊ธˆ์€ ์ฑ—๋ด‡์˜ ์œ ๋ฌด์™€ ๊ด€๊ณ„๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค. ์‹œ์ถ” ์ค‘๋‹จ์˜ ์ฑ…์ž„์„ ์ž˜๋ชป ๋ถ„๋ฅ˜ํ•˜๋Š” ๊ธฐ์กด ์ฝ”๋“œ ๋•Œ๋ฌธ์— ์ฒญ๊ตฌ์— ๋ถ„์Ÿ์ด ์ƒ๊ธฐ๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ๊ณ ๊ฐ ์กฐ์ง ์•ˆ์—์„œ ์ผํ•˜๋Š” ๊ณต๊ธ‰์‚ฌ ์—”์ง€๋‹ˆ์–ด, ์ฆ‰ FDE(For...

[Repo Review] Collaborative Intelligence, ํ˜ผ์ž ํ’€ ์ˆ˜ ์žˆ๋Š” ๋ฌธ์ œ์—์„œ ํŒ€์›Œํฌ๋ฅผ ์–ด๋–ป๊ฒŒ ์ฑ„์ ํ• ๊นŒ?

ํŒ€ ์ฑ„ํŒ…์—์„œ ๋™๋ฃŒ๊ฐ€ โ€œ๊ฒ€์‚ฌ๋ฅผ ํ•˜๋‚˜ ์ƒ๋žตํ•˜๋ฉด ์‹œ๊ฐ„์„ ์•„๋‚„ ์ˆ˜ ์žˆ๋‹คโ€๊ณ  ์ œ์•ˆํ–ˆ๋‹ค๊ณ  ํ•ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. ๋ชจ๋ธ์€ ๋งˆ์ง€๋ง‰์— ์˜ฌ๋ฐ”๋ฅธ ๋‹ต์„ ์“ฐ๊ณ ๋„ ๊ทธ์ „์— ์œ„ํ—˜ํ•œ ํ–‰๋™์„ ํ—ˆ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฐ˜๋Œ€๋กœ ํŒ€ ์ „์ฒด๊ฐ€ ์‹คํŒจํ–ˆ์–ด๋„, ๋ชจ๋ธ์ด ํ˜ผ์ž์„œ๋„ ํ’€๊ธฐ ์–ด๋ ค์šด ๋ฌธ์ œ์˜€๋‹ค๋ฉด ์‹คํŒจ๋ฅผ ๋™๋ฃŒ์˜ ์••๋ฐ• ํƒ“์œผ๋กœ ๋Œ๋ฆฌ๊ธฐ ์–ด๋ ต์Šต๋‹ˆ๋‹ค. Zou Group์˜ Collaborative Intelligen...

[Repo Review] Single Agent Loop Kit, ์„œ๋ธŒ์—์ด์ „ํŠธ์˜ ์—ญํ• ์„ ์˜ฎ๊ธฐ๊ณ  ํšŒ๊ท€๋ฅผ ํ™•์ธํ•˜๋Š” ๋ฒ•

๊ณ ๊ฐ์˜ ์กฐ๊ฑด๋ถ€ ์š”์ฒญ์„ ๋ˆ„๊ฐ€ ๋๊นŒ์ง€ ์ฒ˜๋ฆฌํ• ๊นŒ์š”? ๊ฐ€์ƒ์˜ ๊ฐ€์ „ ์‡ผํ•‘๋ชฐ ๊ณ ๊ฐ์ด ๋ฐฐ์†ก ์ง€์—ฐ์„ ๋ฌผ์œผ๋ฉฐ, ํŠน์ • ๋‚ ์งœ๊นŒ์ง€ ๋„์ฐฉํ•˜์ง€ ์•Š์œผ๋ฉด ๋ณ„๋„ ์ฃผ๋ฌธ์„ ๋ฐ˜ํ’ˆํ•ด ๋‹ฌ๋ผ๊ณ  ์š”์ฒญํ•ฉ๋‹ˆ๋‹ค. ๋ฐฐ์†ก ์˜ˆ์ •์ผ์„ ํ™•์ธํ•œ ๋’ค ๊ทธ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ˜ํ’ˆ ์กฐ๊ฑด์— ์ ์šฉํ•˜๊ณ , ์‹ค์ œ ๋ฐ˜ํ’ˆ ๊ธฐ๋ก์„ ๋‚จ๊ฒจ์•ผ ๋๋‚˜๋Š” ์ž‘์—…์ž…๋‹ˆ๋‹ค. ์ฃผ๋ฌธยท๋ฐฐ์†กยท๋ฐ˜ํ’ˆ์ด ์„œ๋กœ ๋‹ค๋ฅธ ์„œ๋ธŒ์—์ด์ „ํŠธ์— ์žˆ์œผ๋ฉด ๋ผ์šฐํ„ฐ๊ฐ€ ๊ฐ ๊ฒฐ๊ณผ๋ฅผ ์ „๋‹ฌํ•˜๊ณ  ๋‹ค์Œ...

[Paper Review] JevAgentHarness: ์—์ด์ „ํŠธ์˜ ์–ด๋–ค ๊ฒฐ์ •์„ ์ž‘์€ ๋ชจ๋ธ์— ๋งก๊ธธ ์ˆ˜ ์žˆ์„๊นŒ์š”?

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ๊ณ ๊ฐ ์ง€์› ์—์ด์ „ํŠธ๋Š” ์ฃผ๋ฌธ ๋ฒˆํ˜ธ๋ฅผ ์กฐํšŒํ•˜๊ณ , ๋ˆ„๋ฝ๋œ ์ •๋ณด๋ฅผ ๋ฌป๊ณ , ์ทจ์†Œ API๋ฅผ ํ˜ธ์ถœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ•˜๋„ค์Šค๋Š” ์ด์ฒ˜๋Ÿผ ๋ชจ๋ธ์— ๋„๊ตฌ๋ฅผ ๊ฑด๋„ค๊ณ , ์‹คํ–‰ ๊ฒฐ๊ณผ๋ฅผ ๋‹ค์Œ ๋‹จ๊ณ„์— ๋Œ๋ ค์ฃผ๋Š” ํ”„๋กœ๊ทธ๋žจ์ž…๋‹ˆ๋‹ค. JevAgentHarness๋Š” ํ•˜๋„ค์Šค๊ฐ€ ํ›„๋ณด๋ฅผ ์—ด๊ฑฐํ•  ์ˆ˜ ์žˆ๋Š” ๋‹จ๊ณ„์— ๋ณ„๋„์˜ ๊ฒฐ์ • ๋ชจ๋ธ์„ ๋ฐฐ์น˜...

[Repo Review] AI-Newton, ์‹คํ—˜ ๋ฐ์ดํ„ฐ์—์„œ ๋ณด์กด์‹์„ ์ฐพ๊ณ  ๋ฒ•์น™์œผ๋กœ ๋‚จ๊ธฐ๋Š” ์ฝ”๋“œ

๊ฒฝ์‚ฌ๋ฉด์„ ์›€์ง์ด๋Š” ์ž…์ž์˜ ์œ„์น˜๋ฅผ ์—ฌ๋Ÿฌ ๋ฒˆ ๊ธฐ๋กํ–ˆ๋‹ค๊ณ  ํ•ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. ์œ„์น˜๋ฅผ ์‹œ๊ฐ„์œผ๋กœ ๋ฏธ๋ถ„ํ•˜๋ฉด ์†๋„๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋‹ค๋ฅธ ๊ด€์ธก๊ฐ’๊ณผ ์†๋„๋ฅผ ์กฐํ•ฉํ•˜๋ฉด ์‹œ๊ฐ„์ด ์ง€๋‚˜๋„ ์ผ์ •ํ•œ ์‹์„ ์ฐพ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฐ๋ฐ ํ•œ ๊ถค์ ์—์„œ ์ผ์ •ํ–ˆ๋˜ ์‹์ด ์ถœ๋ฐœ์ ์„ ๋ฐ”๊พธ๋ฉด ๋‹ฌ๋ผ์ง€๊ฑฐ๋‚˜, ์ด๋ฏธ ์•„๋Š” ์‹์„ ๋‹ค์‹œ ์“ด ๊ฒฐ๊ณผ์ผ ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. AI-Newton์€ ํ›„๋ณด์‹์„ ์ฐพ๋Š” ์ผ, ์‹คํ—˜ ...

[Paper Review] AI-Newton: ์‹คํ—˜๋งˆ๋‹ค ๋‹ค๋ฅธ ์‹์—์„œ ๊ณตํ†ต ๋ฌผ๋ฆฌ ๋ฒ•์น™์„ ์ฐพ๋Š” ๋ฒ•

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ์šฉ์ˆ˜์ฒ ์— ์—ฐ๊ฒฐ๋œ ๊ณต์ด ์›€์ง์ผ ๋•Œ ์œ„์น˜๋ฅผ ์—ฌ๋Ÿฌ ๋ฒˆ ๊ธฐ๋กํ•˜๋ฉด, ๊ทธ ๊ถค์ ์— ์ž˜ ๋งž๋Š” ์‹์„ ์ฐพ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ณต์ด ๋ถ€๋”ชํžˆ๊ฑฐ๋‚˜ ๊ฒฝ์‚ฌ๋ฉด์„ ๋‚ด๋ ค๊ฐ€๋Š” ๊ฒฝ์šฐ์—๋„ ๊ฐ๊ฐ ์‹์„ ๊ตฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฐ๋ฐ ์ฒ˜์Œ ์ฐพ์€ ์‹์„ ๋‹ค์Œ ์‹คํ—˜์—๋„ ํ™œ์šฉํ•˜๋ ค๋ฉด ๋ฌด์—‡์„ ๊ธฐ์–ตํ•ด์•ผ ํ• ๊นŒ์š”? AI-Newton์€ ์‹คํ—˜์—์„œ ์žฌ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๊ฐœ๋…์˜ ์ •์˜์™€...

[Paper Review] Evoยฒ: Evolving the Evolver through Weight-Harness Co-Evolution

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ํ•˜๋„ค์Šค๋Š” ๋ชจ๋ธ์— ์–ด๋–ค ํ”„๋กฌํ”„ํŠธ์™€ ๋„๊ตฌ๋ฅผ ์ฃผ๊ณ , ์‹คํ–‰ ๊ฒฐ๊ณผ๋ฅผ ์–ด๋–ป๊ฒŒ ์ฝ์–ด ๋‹ค์Œ ๋‹จ๊ณ„๋กœ ๋„˜๊ธธ์ง€ ์ •ํ•˜๋Š” ํ”„๋กœ๊ทธ๋žจ์ž…๋‹ˆ๋‹ค. ๊ฐ™์€ ๋ชจ๋ธ๋„ ํ•˜๋„ค์Šค์— ๋”ฐ๋ผ ๋‹ค๋ฅธ ๊ฒฐ๊ณผ๋ฅผ ๋ƒ…๋‹ˆ๋‹ค. Evoยฒ๋Š” ํ•˜๋„ค์Šค๋ฅผ ๊ฐœ์„ ํ•˜๋Š” ๋ชจ๋ธ๋„ ํ•™์Šตํ•  ์ˆ˜ ์žˆ๋‹ค๋Š” ๋ฐ์„œ ์ถœ๋ฐœํ•ฉ๋‹ˆ๋‹ค. ์–ด๋–ค ์ฝ”๋“œ ๋ณ€๊ฒฝ์ด ๊ณผ์ œ ์ ์ˆ˜๋ฅผ ๋†’์˜€๊ณ  ์–ด๋–ค ์ง„๋‹จ์ด ...