Euisuk's Dev Log

ใ€Œ์„œ์ฟ  ๊ฐœ๋ฐœ๋…ธํŠธโญใ€

[Paper Review] GroupKV: ์žฅ๋ฌธ๋งฅ ํ™•์‚ฐ ์–ธ์–ด ๋ชจ๋ธ์˜ ๊ณ„์ธต์  KV ์บ์‹œ ๊ด€๋ฆฌ

๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ GroupKV๋Š” ๊ธด ๋ฌธ๋งฅ์„ ์ฒ˜๋ฆฌํ•˜๋Š” ํ™•์‚ฐ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(diffusion large language model, dLLM)์˜ Keyโ€“Value(KV) ์บ์‹œ๋ฅผ CPU์™€ GPU ์‚ฌ์ด์—์„œ ํšจ์œจ์ ์œผ๋กœ ๊ด€๋ฆฌํ•˜๋Š” ์ถ”๋ก  ์‹œ์Šคํ…œ์ž…๋‹ˆ๋‹ค. ํ™•์‚ฐ ์–ธ์–ด ๋ชจ๋ธ์€ ๋งˆ์Šคํฌ๊ฐ€ ํฌํ•จ๋œ ํ† ํฐ๋“ค์„ ๋ฐ˜๋ณต์ ์œผ๋กœ ๊ฐฑ์‹ ํ•˜๋ฉด์„œ ๋ฌธ์žฅ์„ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ ํ† ํฐ์„ ํ•จ๊ป˜ ...

[Paper Review] Is Bash All You Need? ๊ธฐ์—… ์—…๋ฌด ์—์ด์ „ํŠธ์˜ ๋‹ค์„ฏ ๋„๊ตฌ ์ธํ„ฐํŽ˜์ด์Šค ๋น„๊ต

๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ๊ธฐ์—… ์—…๋ฌด์šฉ AI Agent์— ๋„๊ตฌ๋ฅผ ์—ฐ๊ฒฐํ•  ๋•Œ๋Š” ํ”ํžˆ ๋ฌธ์„œ ์ฝ๊ธฐ, ํŒŒ์ผ ๊ฒ€์ƒ‰, ๋ฉ”์‹œ์ง€ ์ „์†ก๊ณผ ๊ฐ™์€ ๊ธฐ๋Šฅ์„ ๊ฐ๊ฐ์˜ ํ•จ์ˆ˜๋กœ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋Ÿฐ๋ฐ ๋ชจ๋ธ์ด ์ด๋ฏธ ์…ธ ๋ช…๋ น๊ณผ ํ”„๋กœ๊ทธ๋žจ ์ž‘์„ฑ์— ์ต์ˆ™ํ•˜๋‹ค๋ฉด, ์ด๋Ÿฐ ๊ฐœ๋ณ„ ๋„๊ตฌ ๋Œ€์‹  ์…ธ ํ•˜๋‚˜๋ฅผ ์ฃผ๋Š” ํŽธ์ด ๋” ํšจ๊ณผ์ ์ผ ์ˆ˜ ์žˆ์„๊นŒ์š”? Is Bash All You Need?๋Š” ๊ฐ™์€ ๋ชจ๋ธ๊ณผ ์—…๋ฌด๋ฅผ ์œ ์ง€...

[Paper Review] GPU-CFR: ๊ฒŒ์ž„์„ ์ •์  ๋ฐ์ดํ„ฐ ํ๋ฆ„์œผ๋กœ ์ปดํŒŒ์ผํ•˜๋Š” ๊ท ํ˜• ๊ณ„์‚ฐ

๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ GPU-CFR๋Š” ๋ถˆ์™„์ „์ •๋ณด ๊ฒŒ์ž„์˜ ๊ท ํ˜• ์ „๋žต์„ ๊ณ„์‚ฐํ•˜๋Š” Counterfactual Regret Minimization(CFR)์˜ ์‹คํ–‰ ๋ฐฉ์‹์„ ๋ฐ”๊พธ๋Š” ์‹œ์Šคํ…œ ์—ฐ๊ตฌ์ž…๋‹ˆ๋‹ค. ํฌ์ปค์ฒ˜๋Ÿผ ์ƒ๋Œ€์˜ ์ •๋ณด๋ฅผ ์•Œ ์ˆ˜ ์—†๋Š” ๊ฒŒ์ž„์—์„œ๋Š” ํ•˜๋‚˜์˜ ๊ด€์ธก์— ์—ฌ๋Ÿฌ ์‹ค์ œ ์ƒํƒœ๊ฐ€ ๋Œ€์‘ํ•ฉ๋‹ˆ๋‹ค. CFR๋Š” ์ด ์ƒํƒœ๋“ค์„ ๋ฐ˜๋ณตํ•ด์„œ ์ˆœํšŒํ•˜๋ฉฐ ํ–‰๋™๋ณ„ ํ›„ํšŒ๊ฐ’์„ ๋ˆ„์ ํ•ฉ๋‹ˆ๋‹ค. ...

[Paper Review] SenseNova-U1.5: ๊ณต๊ฐ„ ๋ณต์›๊ณผ ์ „๋ฌธ๊ฐ€ ์ฆ๋ฅ˜๋กœ ํ†ตํ•ฉํ•˜๋Š” ์‹œ๊ฐ ์ง€๋Šฅ

๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ SenseNova-U1.5๋Š” ์ด๋ฏธ์ง€๋ฅผ ์ดํ•ดํ•˜๋Š” ๋ชจ๋ธ๊ณผ ์ด๋ฏธ์ง€๋ฅผ ๋งŒ๋“œ๋Š” ๋ชจ๋ธ์„ ํ•˜๋‚˜์˜ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ๊ณ„์‚ฐ ๊ตฌ์กฐ ์•ˆ์—์„œ ํ•™์Šตํ•˜๋Š” ์—ฐ๊ตฌ์ž…๋‹ˆ๋‹ค. ๊ธฐ์กด ์‹œ๊ฐ ์ธ์ฝ”๋”์™€ Variational Autoencoder(VAE)๋ฅผ ์—ฐ๊ฒฐํ•˜๋Š” ๋Œ€์‹ , RGB ํ”ฝ์…€๊ณผ ํ…์ŠคํŠธ์—์„œ ์ง์ ‘ ์ถœ๋ฐœํ•ฉ๋‹ˆ๋‹ค. ํ•ต์‹ฌ์€ ๋ชจ๋“  ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ๊ณต์œ ํ•˜๋Š” ๋ฐ ์žˆ์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ดํ•ด์™€ ์ƒ์„ฑ...

[Repo Review] Superpowers ์ฝ”๋“œ ๋ฆฌ๋ทฐ: ์ฝ”๋”ฉ ์—์ด์ „ํŠธ์˜ ๊ฐœ๋ฐœ ์ ˆ์ฐจ๋ฅผ ์Šคํ‚ฌ๊ณผ ํŒŒ์ผ๋กœ ๊ตฌ์„ฑํ•˜๋Š” ๋ฐฉ๋ฒ•

๋“ค์–ด๊ฐ€๋ฉฐ ์ฝ”๋”ฉ ์—์ด์ „ํŠธ์—๊ฒŒ ๊ธฐ๋Šฅ ๊ตฌํ˜„์„ ๋งก๊ธฐ๋ฉด ์ฝ”๋“œ๋ฅผ ์ƒ์„ฑํ•˜๋Š” ๋Šฅ๋ ฅ๋งŒํผ์ด๋‚˜ ์–ธ์ œ ์„ค๊ณ„๋ฅผ ํ™•์ธํ•˜๊ณ , ์–ด๋–ค ๋ฒ”์œ„๋กœ ์ž‘์—…์„ ๋‚˜๋ˆ„๋ฉฐ, ๋ฌด์—‡์„ ๊ทผ๊ฑฐ๋กœ ์™„๋ฃŒ๋ฅผ ์„ ์–ธํ• ์ง€๊ฐ€ ์ค‘์š”ํ•ด์ง‘๋‹ˆ๋‹ค. Superpowers๋Š” ์ด๋Ÿฌํ•œ ๊ฐœ๋ฐœ ์ ˆ์ฐจ๋ฅผ ์žฌ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ์Šคํ‚ฌ๋กœ ๊ตฌ์„ฑํ•œ ํ”„๋กœ์ ํŠธ์ž…๋‹ˆ๋‹ค. README๋Š” ์„ค๊ณ„ ํ•ฉ์˜, ๊ตฌํ˜„ ๊ณ„ํš, ์ž‘์—…๋ณ„ ์—์ด์ „ํŠธ ์‹คํ–‰, ํ…Œ์ŠคํŠธ์™€ ๋ฆฌ๋ทฐ๋ฅผ ์—ฐ๊ฒฐํ•˜๋Š” ์†Œ...

[Paper Review] Programmable World Model: ์‹คํ–‰ ๊ฐ€๋Šฅํ•œ ์ƒํƒœ์™€ ์˜์ƒ ์ƒ์„ฑ์„ ๋ถ„๋ฆฌํ•œ ์„ธ๊ณ„ ๋ชจ๋ธ

๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ์˜์ƒ ์„ธ๊ณ„ ๋ชจ๋ธ์€ ์‚ฌ์šฉ์ž ํ–‰๋™์— ๋ฐ˜์‘ํ•˜๋Š” ๊ทธ๋Ÿด๋“ฏํ•œ ์žฅ๋ฉด์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์žฅ๋ฉด ๋ฐ–์œผ๋กœ ์‚ฌ๋ผ์ง„ ์ธ๋ฌผ์ด ์—ฌ์ „ํžˆ ์กด์žฌํ•˜๋Š”์ง€, ๊ณต๊ฒฉ ์ดํ›„ ์ฒด๋ ฅ์ด ์–ผ๋งˆ๋‚˜ ๋‚จ์•˜๋Š”์ง€, ์ด๋ฏธ ๋ฐœ์ƒํ•œ ์‚ฌ๊ฑด์ด ์ดํ›„์—๋„ ์œ ํšจํ•œ์ง€๋Š” ์˜์ƒ๋งŒ์œผ๋กœ ๊ด€๋ฆฌํ•˜๊ธฐ ์–ด๋ ต์Šต๋‹ˆ๋‹ค. Programmable World Model(PWM)์€ ์ด๋Ÿฌํ•œ ์„ธ๊ณ„์˜ ์‚ฌ์‹ค์„ ๋ช…์‹œ์  ์—”์ง„์ด...

[Repo Review] OpenClaw โ€” ๋ฉ”์‹œ์ง€ ํ•œ ๊ฑด์ด ์—์ด์ „ํŠธ ์‹คํ–‰๊ณผ ์‘๋‹ต์œผ๋กœ ์ด์–ด์ง€๋Š” ๊ตฌ์กฐ

๋“ค์–ด๊ฐ€๋ฉฐ ๋ฉ”์‹ ์ €์— ์—ฐ๊ฒฐ๋œ AI ๋น„์„œ๋ฅผ ๋งŒ๋“ค ๋•Œ ๋ชจ๋ธ ํ˜ธ์ถœ๋งŒ์œผ๋กœ ํ•ด๊ฒฐ๋˜์ง€ ์•Š๋Š” ๋ฌธ์ œ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฐ™์€ ๋Œ€ํ™”๋ฅผ ์–ด๋–ค ๊ธฐ๋ก์— ์—ฐ๊ฒฐํ• ์ง€, ์‚ฌ์šฉ์ž๊ฐ€ ์ „์†ก ๋ฒ„ํŠผ์„ ๋‹ค์‹œ ๋ˆŒ๋ €์„ ๋•Œ ์–ด๋–ป๊ฒŒ ์ฒ˜๋ฆฌํ• ์ง€, ์‹คํ–‰ ์ค‘ ๋„์ฐฉํ•œ ๋ฉ”์‹œ์ง€๋ฅผ ์–ด๋–ป๊ฒŒ ๋‹ค๋ฃฐ์ง€, ๋„๊ตฌ ๊ฒฐ๊ณผ์™€ ์ตœ์ข… ๋‹ต๋ณ€์„ ์–ด๋–ค ํ™”๋ฉด์œผ๋กœ ๋Œ๋ ค๋ณด๋‚ผ์ง€๋ฅผ ํ•จ๊ป˜ ์„ค๊ณ„ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. OpenClaw๋Š” ์ด๋Ÿฌํ•œ ์—ฐ๊ฒฐ์„ ๋‹ด๋‹นํ•˜๋Š” ์ž์ฒด ...

[Repo Review] Hermes Agent: ๋„๊ตฌ ์‹คํ–‰๊ณผ ๊ธฐ์–ต์„ ์—ฐ๊ฒฐํ•˜๋Š” ์—์ด์ „ํŠธ ๋Ÿฐํƒ€์ž„

๋“ค์–ด๊ฐ€๋ฉฐ: ๋‹ต๋ณ€ ์ดํ›„์—๋„ ๋‚จ์•„์•ผ ํ•˜๋Š” ๊ฒƒ ๋„๊ตฌ๋ฅผ ํ˜ธ์ถœํ•˜๋Š” AI ์—์ด์ „ํŠธ๋Š” ํ•˜๋‚˜์˜ ์งˆ๋ฌธ์—๋„ ์—ฌ๋Ÿฌ ๋ฒˆ ๋ชจ๋ธ๊ณผ ํ†ต์‹ ํ•ฉ๋‹ˆ๋‹ค. ํŒŒ์ผ์„ ์ฝ๊ณ , ๋ช…๋ น์„ ์‹คํ–‰ํ•˜๊ณ , ๊ฒฐ๊ณผ๋ฅผ ๋‹ค์‹œ ๋ชจ๋ธ์— ์ „๋‹ฌํ•˜๋Š” ๋™์•ˆ ๋Œ€ํ™” ๊ธฐ๋ก์€ ๊ณ„์† ๋Š˜์–ด๋‚ฉ๋‹ˆ๋‹ค. ํ”„๋กœ์„ธ์Šค๊ฐ€ ์ค‘๋‹จ๋˜์—ˆ์„ ๋•Œ ์–ด๋””๊นŒ์ง€ ์‹คํ–‰ํ–ˆ๋Š”์ง€ ๋‚จ์•„ ์žˆ์–ด์•ผ ํ•˜๊ณ , ๋‹ค์Œ ๋Œ€ํ™”์—์„œ๋Š” ์ด์ „์— ์ตํžŒ ์ž‘์—… ์ ˆ์ฐจ๋ฅผ ๋‹ค์‹œ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค....

[Paper Review] Show-Harness ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ: ์˜๋ฏธ ๊ธฐ๋ฐ˜ ํ–‰๋™ ์ธํ„ฐํŽ˜์ด์Šค๋กœ VLM๊ณผ ๋กœ๋ด‡์„ ์—ฐ๊ฒฐํ•˜๊ธฐ

1. ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ Show-Harness: Just a VLM Agent Can Play Robots๋Š” ์‹œ๊ฐ๊ณผ ์–ธ์–ด๋ฅผ ํ•จ๊ป˜ ์ฒ˜๋ฆฌํ•˜๋Š” Visionโ€“Language Model(VLM)์ด ๋กœ๋ด‡์„ ์กฐ์ž‘ํ•  ๋•Œ, ๋ชจ๋ธ๊ณผ ๋กœ๋ด‡ ์‚ฌ์ด์— ์–ด๋–ค ํ–‰๋™ ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ๋‘์–ด์•ผ ํ•˜๋Š”์ง€ ์—ฐ๊ตฌํ•ฉ๋‹ˆ๋‹ค. Show Lab์˜ Yanzhe Chen ๋“ฑ์€ ๋ฐฉํ–ฅ ์ด๋™ยทํšŒ์ „ยท์žก๊ธฐ์ฒ˜๋Ÿผ...

[Repo Review] llmfit ์ฝ”๋“œ ๋ฆฌ๋ทฐ: ๋‚ด ํ•˜๋“œ์›จ์–ด์— ๋งž๋Š” ๋กœ์ปฌ LLM์„ ์–ด๋–ป๊ฒŒ ์ถ”์ฒœํ• ๊นŒ

๋“ค์–ด๊ฐ€๋ฉฐ ๋กœ์ปฌ์—์„œ Large Language Model(LLM)์„ ์‹คํ–‰ํ•  ๋•Œ ๋ชจ๋ธ์˜ ํŒŒ๋ผ๋ฏธํ„ฐ ์ˆ˜๋งŒ์œผ๋กœ๋Š” ์ ํ•ฉ์„ฑ์„ ํŒ๋‹จํ•˜๊ธฐ ์–ด๋ ต์Šต๋‹ˆ๋‹ค. ๊ฐ™์€ ๋ชจ๋ธ๋„ ์–‘์žํ™” ๋ฐฉ์‹, GPU ๋ฉ”๋ชจ๋ฆฌ, ์‹คํ–‰ runtime, context ๊ธธ์ด์— ๋”ฐ๋ผ ํ•„์š”ํ•œ ๋ฉ”๋ชจ๋ฆฌ์™€ ์ƒ์„ฑ ์†๋„๊ฐ€ ๋‹ฌ๋ผ์ง‘๋‹ˆ๋‹ค. ๋ชจ๋ธ์„ ๋‚ด๋ ค๋ฐ›์€ ๋’ค์—์•ผ ์ด๋Ÿฌํ•œ ์ฐจ์ด๋ฅผ ๋ฐœ๊ฒฌํ•˜๋ฉด ์ƒ๋‹นํ•œ ์‹œ๊ฐ„๊ณผ ์ €์žฅ ๊ณต๊ฐ„์„ ์†Œ๋น„ํ•˜๊ฒŒ ๋ฉ...