Euisuk's Dev Log

ใ€Œ์„œ์ฟ  ๊ฐœ๋ฐœ๋…ธํŠธโญใ€

[Paper Review] MMAudio โ€” ์˜์ƒ์—์„œ ์–ด๋–ค ์†Œ๋ฆฌ๊ฐ€ ์–ธ์ œ ๋‚˜์•ผ ํ•˜๋Š”์ง€ ๋ฐฐ์šฐ๊ธฐ

๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ๋ฌด์Œ ์˜์ƒ์—์„œ ๋“œ๋Ÿฌ๋จธ๊ฐ€ ๋ถ์„ ๋„ค ๋ฒˆ ์นฉ๋‹ˆ๋‹ค. ๋ถ์†Œ๋ฆฌ๋ฅผ ๋งŒ๋“ค์–ด๋„ ์ฑ„๊ฐ€ ๋‹ฟ๋Š” ์ˆœ๊ฐ„๋ณด๋‹ค ๋จผ์ € ๋“ค๋ฆฌ๊ฑฐ๋‚˜, ์—ฐ์ฃผ๊ฐ€ ๋ฉˆ์ถ˜ ๋’ค ๊ณ„์† ์šธ๋ฆฌ๋ฉด ์žฅ๋ฉด๊ณผ ์–ด๊ธ‹๋‚ฉ๋‹ˆ๋‹ค. MMAudio๋Š” ์ด์ฒ˜๋Ÿผ ์˜์ƒ์— ๋งž๋Š” ์†Œ๋ฆฌ์˜ ์ข…๋ฅ˜์™€ ์†Œ๋ฆฌ๊ฐ€ ๋‚˜๋Š” ์‹œ์ ์„ ํ•จ๊ป˜ ํ•™์Šตํ•ฉ๋‹ˆ๋‹ค. ์—ฐ๊ตฌ ๋Œ€์ƒ์€ ์˜์ƒ์— ๋ถ™์ด๋Š” ํ™˜๊ฒฝ์Œ๊ณผ ํšจ๊ณผ์Œ, ์ฆ‰ ์ด ๋…ผ๋ฌธ์—์„œ ๋งํ•˜๋Š” ํด๋ฆฌ(Foley)์ž…๋‹ˆ๋‹ค. ...

[Paper Review] GitSwarm โ€” Git์œผ๋กœ ์—์ด์ „ํŠธ์˜ ์ถ”๋ก ์„ ๋ˆ„์ ํ•˜๋Š” ๋ฐฉ๋ฒ•

๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ํ”„๋กœ๊ทธ๋žจ ๋ณต์›์— ์‹คํŒจํ•œ ์—์ด์ „ํŠธ๋ผ๋„ ์žฌํ˜„์šฉ ํ…Œ์ŠคํŠธ๋‚˜ ๋ฐ˜๋ก€๋ฅผ ๋‚จ๊ธธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋‹ค์Œ ์—์ด์ „ํŠธ๊ฐ€ ๊ทธ ๊ธฐ๋ก์„ ์ฝ๊ณ  ๋ฌธ์ œ์˜ ๋ฒ”์œ„๋ฅผ ์ขํžŒ๋‹ค๋ฉด, ๋‘ ๋ฒˆ์˜ ์‹คํ–‰์€ ๊ฐ™์€ ๋ฌธ์ œ๋ฅผ ์ฒ˜์Œ๋ถ€ํ„ฐ ํ‘ผ ๋‘ ๋ฒˆ์˜ ์‹œ๋„์™€ ๋‹ฌ๋ผ์ง‘๋‹ˆ๋‹ค. GitSwarm์˜ ์ €์ž๋“ค์€ ์ด๋ ‡๊ฒŒ ์ค‘๊ฐ„ ์ž‘์—…์„ ๋‚จ๊ฒจ ๋‹ค์Œ ์ถ”๋ก ์—์„œ ํ™•์ธํ•˜๊ณ , ์ˆ˜์ •ํ•˜๊ณ , ํ•ฉ์น  ์ˆ˜ ์žˆ๊ฒŒ ํ•˜๋Š” ๋ฐฉ์‹์„ ๋ˆ„์  ์ถ”...

[Paper Review] Agent Harness Engineering: A Survey โ€” ์—์ด์ „ํŠธ ์‹คํ–‰์„ ๊ตฌ์„ฑํ•˜๋Š” ์ผ๊ณฑ ๊ณ„์ธต

๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ์ฝ”๋”ฉ ์—์ด์ „ํŠธ๊ฐ€ ๊ฐ™์€ ๋ชจ๋ธ๋กœ ๊ฐ™์€ ์ด์Šˆ๋ฅผ ๋ฐ›์•„๋„ ๊ฒฐ๊ณผ๋Š” ๋‹ฌ๋ผ์งˆ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ•œ ์‹คํ–‰์—์„œ๋Š” ์˜์กด์„ฑ์ด ์ค€๋น„๋œ ์ž‘์—…๊ณต๊ฐ„์—์„œ ํŒจ์น˜๋ฅผ ์ž‘์„ฑํ•˜๊ณ  ํ…Œ์ŠคํŠธ๊นŒ์ง€ ํ†ต๊ณผํ•ฉ๋‹ˆ๋‹ค. ๋‹ค๋ฅธ ์‹คํ–‰์—์„œ๋Š” ํ…Œ์ŠคํŠธ ๋„๊ตฌ๋ฅผ ์ฐพ์ง€ ๋ชปํ•˜๊ฑฐ๋‚˜, ์žฌ์‹œ์ž‘ ํ›„ ์–ด๋””๊นŒ์ง€ ์ž‘์—…ํ–ˆ๋Š”์ง€ ์žŠ๊ฑฐ๋‚˜, ์‹คํŒจํ•œ ํ…Œ์ŠคํŠธ๋ฅผ ํ†ต๊ณผ๋กœ ํ‘œ์‹œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Li ์™ธ์˜ Agent Harness E...

[Paper Review] Unbundling Multimodal Vision Encoding โ€” ์‹œ๊ฐ ์ „์šฉ ์—ฐ์‚ฐ์€ ์–ด๋””์— ๋‘˜๊นŒ

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ์ด๋ฏธ์ง€ ์† ๋ง‰๋Œ€๊ทธ๋ž˜ํ”„์— ์งˆ๋ฌธํ•˜๋ฉด ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ๋ชจ๋ธ์€ ํ”ฝ์…€์„ ํ† ํฐ์œผ๋กœ ๋ฐ”๊พธ๊ณ , ๊ทธ ํ† ํฐ์—์„œ ์ˆซ์ž์™€ ๋ˆˆ๊ธˆ์˜ ๊ด€๊ณ„๋ฅผ ์ฝ์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ํ”ํ•œ ์„ค๊ณ„๋Š” ์ด ๊ณผ์ •์˜ ์ผ๋ถ€๋ฅผ ๋ณ„๋„๋กœ ์‚ฌ์ „ํ•™์Šตํ•œ ๋น„์ „ ํŠธ๋žœ์Šคํฌ๋จธ์— ๋งก๊น๋‹ˆ๋‹ค. ๊ทธ๋Ÿฐ๋ฐ ์ด ์ธ์ฝ”๋”๋ฅผ ๋ถ™์ด๋Š” ์ˆœ๊ฐ„ ์„ธ ๊ฐ€์ง€๊ฐ€ ํ•จ๊ป˜ ๋ฐ”๋€๋‹ˆ๋‹ค. ์ด๋ฏธ์ง€์— ๊ด€ํ•œ ์ง€์‹์„ ๋ฏธ๋ฆฌ...

[Paper Review] ํ™•์‹ ์ด ์ปค์งˆ ๋•Œ ์‚ฌ๋ผ์ง€๋Š” ๊ธฐ์šธ๊ธฐ โ€” Softmax์™€ Cross-Entropy์˜ ์ˆ˜์น˜ ์˜ค๋ฅ˜

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ๋ถ„๋ฅ˜ ๋ชจ๋ธ์ด ์ •๋‹ต์— ๊ฑฐ์˜ 100%์˜ ํ™•๋ฅ ์„ ์ค„ ๋•Œ๋„ ๊ต์ฐจ ์—”ํŠธ๋กœํ”ผ๊ฐ€ ๋Œ๋ ค์ค˜์•ผ ํ•  ๊ธฐ์šธ๊ธฐ๋Š” ์ž‘์ง€๋งŒ ๋‚จ์•„ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฌธ์ œ๋Š” ์ปดํ“จํ„ฐ์— ์ €์žฅ๋œ ์ •๋‹ต ํ™•๋ฅ ์ด ์ •ํ™•ํžˆ 1๋กœ ๋ฐ˜์˜ฌ๋ฆผ๋˜๋ฉด, ๋‹ค๋ฅธ ํด๋ž˜์Šค์˜ ๊ธฐ์šธ๊ธฐ๊ฐ€ ๋‚จ์•„ ์žˆ๋Š” ๋™์•ˆ ์ •๋‹ต ์ชฝ ๊ธฐ์šธ๊ธฐ๋งŒ 0์ด ๋  ์ˆ˜ ์žˆ๋‹ค๋Š” ์ ์ž…๋‹ˆ๋‹ค. ๊ต์‚ฌ ๋ชจ๋ธ์˜ ํ™•๋ฅ ์„ ๋”ฐ๋ผ...

[Paper Review] Universal Manipulation Interface โ€” ์†์— ๋“  ๊ทธ๋ฆฌํผ์˜ ์‹œ์—ฐ์„ ๋กœ๋ด‡์—๊ฒŒ ์˜ฎ๊ธฐ๋Š” ๋ฒ•

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ๋กœ๋ด‡์—๊ฒŒ ๊ณต ๋˜์ง€๊ธฐ๋ฅผ ๊ฐ€๋ฅด์น˜๋ ค๋ฉด ํŒ”์„ ์–ด๋–ค ๊ถค์ ์œผ๋กœ ์›€์ง์˜€๋Š”์ง€์™€ ์†์„ ์ •ํ™•ํžˆ ์–ธ์ œ ์—ด์—ˆ๋Š”์ง€๊ฐ€ ํ•จ๊ป˜ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ์‚ฌ๋žŒ์ด ์นด๋ฉ”๋ผ ์•ž์—์„œ ๊ณต์„ ๋˜์ง€๋Š” ์˜์ƒ๋งŒ ์žˆ๋‹ค๋ฉด ์ด ๋™์ž‘์„ ๋กœ๋ด‡ ๋ช…๋ น์œผ๋กœ ๋ฐ”๊พธ๊ธฐ ์–ด๋ ต์Šต๋‹ˆ๋‹ค. ๋กœ๋ด‡์„ ์ง์ ‘ ์›๊ฒฉ ์กฐ์ž‘ํ•˜๋ฉด ๋ช…๋ น์„ ๋‚จ๊ธธ ์ˆ˜ ์žˆ์ง€๋งŒ, ์—ฌ๋Ÿฌ ๊ฐ€์ •๊ณผ ์‹๋‹น์— ๋กœ๋ด‡์„ ์˜ฎ...

๊ด€์‹ฌ ์žˆ๋Š” ๊ธฐ์—…์ธ์˜ ์‚ฌ์ฃผ๋ฅผ ์ฐพ์•„๋ณด๋Š” ์„œ๋น„์Šค, ์‚ฌ์ฃผ ์˜ค๋น—

์‚ฌ์ฃผ ์˜ค๋น—(Saju Orbit)์„ ๋งŒ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค. ๋ฏธ๊ตญ๊ณผ ํ•œ๊ตญ ์ƒ์žฅ์‚ฌ์˜ ์ž„์›์„ ์ฐพ์•„๋ณด๊ณ , ๊ณต๊ฐœ๋œ ์ถœ์ƒ์ผ์„ ๋ฐ”ํƒ•์œผ๋กœ ์ด๋ฒˆ ๋‹ฌ์ด๋‚˜ ์˜ฌํ•ด์˜ ์‚ฌ์ฃผ ํ’€์ด๋ฅผ ์ฝ๋Š” ์„œ๋น„์Šค์ž…๋‹ˆ๋‹ค. ๊ธฐ๊ฐ„๋ณ„ ํ’€์ด์—์„œ๋Š” ๋‹ค์Œ ํ•ด๋ถ€ํ„ฐ 3๋…„์น˜๋„ ํŽผ์ณ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์‚ฌ์ฃผ ์˜ค๋น— ๋‘˜๋Ÿฌ๋ณด๊ธฐ ์™œ ๊ธฐ์—…์ธ์˜ ์‚ฌ์ฃผ๋ฅผ ์ฐพ์•„๋ณด๋Š” ์„œ๋น„์Šค๋ฅผ ๋งŒ๋“ค์—ˆ๋‚˜ ์ฒ˜์Œ์—๋Š” ์  ์Šจ ํ™ฉ์˜ ์˜ฌํ•ด์™€ ๋‚ด๋…„ ํ๋ฆ„์ด ์‰ฝ์ง€ ์•Š๋‹ค๋Š” ์‚ฌ์ฃผ...

[Paper Review] Flash ALOHA โ€” ์‚ฌ๋žŒ ์†์œผ๋กœ ๊ฐ€๋ฅด์นœ ์†๋„๋ฅผ ๋กœ๋ด‡์ด ๋”ฐ๋ผ๊ฐ€๋Š” ๋ฒ•

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ํ•œ์ชฝ ๋กœ๋ด‡ ํŒ”์ด ๋˜์ง„ ๊ณต์„ ๋‹ค๋ฅธ ์ชฝ ํŒ”์ด ๋ฐ›์œผ๋ ค๋ฉด ์†์„ ๋ฒŒ๋ฆฌ๋Š” ํƒ€์ด๋ฐ๊ณผ ๊ณต์„ ํ–ฅํ•ด ์›€์ง์ด๋Š” ์†๋„๊ฐ€ ๋ชจ๋‘ ๋งž์•„์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์›๊ฒฉ ์กฐ์ž‘์œผ๋กœ ์ด๋Ÿฐ ์‹œ์—ฐ์„ ๋ชจ์œผ๋Š” ์‚ฌ๋žŒ์€ ํ™”๋ฉด ๋„ˆ๋จธ์—์„œ ๋กœ๋ด‡์„ ์ œ์–ดํ•˜๋ฉฐ, ์กฐ์ž‘ ์žฅ์น˜๊ฐ€ ์ œ๊ณตํ•˜๋Š” ์‹œ์•ผ์™€ ๊ฐ๊ฐ์— ๋งž์ถฐ ์›€์ง์ž…๋‹ˆ๋‹ค. Flash ALOHA์˜ ์ €์ž๋“ค์€ ์‹ค์ œ๋กœ...

[Paper Review] How Depth Growth and Looping Shape In-Context Learning in Language Models

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ๋ฌธ์ž ๋ถ„๋ฅ˜ ๋ชจ๋ธ์—๊ฒŒ ๋น„์Šทํ•œ ๊ธ€์ž ๋‘ ์ข…๋ฅ˜์™€ ๊ทธ๋‚  ์ •ํ•œ ๋ฒˆํ˜ธ๋ฅผ ๋ณด์—ฌ ์ฃผ๊ณ , ์„ธ ๋ฒˆ์งธ ๊ธ€์ž์˜ ๋ฒˆํ˜ธ๋ฅผ ๋ฌป๋Š”๋‹ค๊ณ  ํ•ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. ๋ชจ๋ธ์€ ์ง€๊ธˆ ๋ฐ›์€ ์˜ˆ์‹œ์—์„œ ๊ทœ์น™์„ ์ฝ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฐ™์€ ๊ธ€์ž์— ์–ธ์ œ๋‚˜ ๊ฐ™์€ ๋ฒˆํ˜ธ๊ฐ€ ๋ถ™๋Š” ํ™˜๊ฒฝ์ด๋ผ๋ฉด ํ•™์Šต ์ค‘ ๊ฐ€์ค‘์น˜์— ์ €์žฅํ•œ ๋Œ€์‘๋„ ์“ธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Ferdin...

[Paper Review] ร‰pi: ์„ธ์…˜์„ ์ด์–ด๊ฐ€๋ฉฐ ๊ฒ€์ฆ ๊ฐ€๋Šฅํ•œ ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๋ฅผ ๋งŒ๋“œ๋Š” ์—์ด์ „ํŠธ

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ์—ฐ๊ตฌ ์—์ด์ „ํŠธ๊ฐ€ ์„ธ์…˜์„ ์ข…๋ฃŒํ•˜๋Š” ์ˆœ๊ฐ„์—๋„ ์‹คํ—˜์€ ๋๋‚˜์ง€ ์•Š์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์‹œ๋„ํ•œ ๋ฐฉ๋ฒ•์ด ์—ฌ๋Ÿฌ ๊ฐœ๋ผ๋ฉด ๋‹ค์Œ ์„ธ์…˜์€ ์–ด๋А ๊ตฌํ˜„์ด ์–ด๋–ค ๊ฒฐ๊ณผ๋ฅผ ๋ƒˆ๋Š”์ง€, ์‹คํŒจํ•œ ์ ‘๊ทผ์„ ์–ธ์ œ ๋‹ค์‹œ ๊ฒ€ํ† ํ• ์ง€๋ถ€ํ„ฐ ํŒŒ์•…ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ร‰pi๋Š” ์‹คํ–‰ ๊ธฐ๋ก๊ณผ ์‹คํ—˜ ์ƒํƒœ๋ฅผ ์„ธ์…˜ ๋ฐ–์— ์ €์žฅํ•˜๊ณ , ๊ฐ™์€ ๊ฒ€์ฆ ๊ธฐ์ค€ ์•„๋ž˜ ๋Œ€์•ˆ...