Euisuk's Dev Log

ใ€Œ์„œ์ฟ  ๊ฐœ๋ฐœ๋…ธํŠธโญใ€

[๊ฐ€์ด๋“œ] RAG ํ‰๊ฐ€์ง€ํ‘œ ์ž…๋ฌธ: RAGASยทTruLensยทDeepEval๋กœ ๊ฒ€์ƒ‰๊ณผ ๋‹ต๋ณ€ ๋‚˜๋ˆ„์–ด ๋ณด๊ธฐ

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ RAG๋Š” ์ž๋ฃŒ๋ฅผ ๋ณด๊ณ  ๋‹ตํ•˜๋Š” AI์ž…๋‹ˆ๋‹ค ์‚ฌ๋‚ด ์ฑ—๋ด‡์— โ€œ์—ฐ๊ฐ„ ๊ต์œก๋น„ ํ•œ๋„๋Š” ์–ผ๋งˆ์ด๊ณ , ์‹ ์ฒญ ์ „์— ๋ˆ„๊ตฌ์˜ ์Šน์ธ์„ ๋ฐ›์•„์•ผ ํ•˜๋‚˜์š”?โ€๋ผ๊ณ  ๋ฌผ์—ˆ๋‹ค๊ณ  ์ƒ๊ฐํ•ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. ๋‹ต๋ณ€์€ ๋งค๋„๋Ÿฝ์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฐ๋ฐ ํ•œ๋„๋Š” ๋งž๊ณ  ์Šน์ธ์ž๋Š” ํ‹€๋ ธ๋‹ค๋ฉด, ์ด ์ฑ—๋ด‡์„ ์ž˜ ๋งŒ๋“ค์—ˆ๋‹ค๊ณ  ํ•  ์ˆ˜ ์žˆ์„๊นŒ์š”? RAG ํ‰๊ฐ€๋Š” ๋‹ต๋ณ€์ด ๊ทธ๋Ÿด๋“ฏํ•œ์ง€๋ฅผ ๋„˜์–ด, ํ•„...

[Paper Review] MIMESIS: ์‚ฌ๋žŒ ๊ฐ™์€ ์‚ฌ์šฉ์ž๋ฅผ ํ•™์Šตํ•ด ์—์ด์ „ํŠธ์˜ ํ›ˆ๋ จ ํ™˜๊ฒฝ์œผ๋กœ ๋งŒ๋“ค๊ธฐ

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ LLM ์—์ด์ „ํŠธ๊ฐ€ ์‚ฌ๋žŒ๊ณผ ์ผ์„ ์ž˜ํ•˜๋ ค๋ฉด ์ •๋‹ต์„ ํ•œ ๋ฒˆ ๋งํ•˜๋Š” ๋Šฅ๋ ฅ๋งŒ์œผ๋กœ๋Š” ๋ถ€์กฑํ•ฉ๋‹ˆ๋‹ค. ์‚ฌ์šฉ์ž๊ฐ€ ํ•„์š”ํ•œ ์ •๋ณด๋ฅผ ์กฐ๊ธˆ์”ฉ ์•Œ๋ ค ์ฃผ๊ฑฐ๋‚˜, ์ด๋ฏธ ์ง„ํ–‰ํ•œ ๋’ค ์š”๊ตฌ์‚ฌํ•ญ์„ ๋ฐ”๊พธ๊ฑฐ๋‚˜, ๋ช…ํ™•ํ™” ์งˆ๋ฌธ์— ์ œ๋Œ€๋กœ ๋‹ตํ•˜์ง€ ์•Š๋Š” ์ƒํ™ฉ์—์„œ๋„ ๋Œ€ํ™”๋ฅผ ์ด์–ด ๊ฐ€์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋Ÿฐ๋ฐ ์—์ด์ „ํŠธ ํ›ˆ๋ จ์— ์‚ฌ์šฉํ•˜๋Š” ๊ฐ€์ƒ ์‚ฌ์šฉ์ž๋ฅผ...

[Repo Review] LLM Council โ€” ์—ฌ๋Ÿฌ ๋ชจ๋ธ์˜ ๋‹ต๋ณ€๊ณผ ์ƒํ˜ธ ํ‰๊ฐ€๋ฅผ ํ•จ๊ป˜ ์ฝ๋Š” ๋ฐฉ๋ฒ•

ํ•œ ๋ชจ๋ธ์˜ ๋‹ต๋ณ€๋ณด๋‹ค, ๋‹ต๋ณ€๋“ค์ด ๊ฐˆ๋ฆฌ๋Š” ์ง€์ ์„ ์ฝ๋Š” ๋„๊ตฌ์ž…๋‹ˆ๋‹ค ๊ฐ™์€ ์งˆ๋ฌธ์„ ์—ฌ๋Ÿฌ LLM์— ์ž…๋ ฅํ•˜๋ฉด ์„œ๋กœ ๋‹ค๋ฅธ ์„ค๋ช…๊ณผ ๊ทผ๊ฑฐ๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ๋‹ต๋ณ€์„ ํƒญ๋งˆ๋‹ค ๋ณต์‚ฌํ•˜๊ณ , ์–ด๋А ๋ถ€๋ถ„์ด ๊ฒน์น˜๊ณ  ์ถฉ๋Œํ•˜๋Š”์ง€ ๋น„๊ตํ•˜๋Š” ์ผ์€ ์‚ฌ์šฉ์ž์˜ ๋ชซ์œผ๋กœ ๋‚จ์Šต๋‹ˆ๋‹ค. LLM Council์€ ์งˆ๋ฌธ์˜ ๋ณ‘๋ ฌ ์‘๋‹ต ์ˆ˜์ง‘ โ†’ ์‘๋‹ต์— ๋Œ€ํ•œ ์ƒํ˜ธ ํ‰๊ฐ€ โ†’ ์˜์žฅ ๋ชจ๋ธ์˜ ์ข…ํ•ฉ์„ ํ•˜๋‚˜์˜ ํ™”...

[Paper Review] Harness-Aware Distillation โ€” ์ž‘์€ ์—์ด์ „ํŠธ์—๊ฒŒ ํ•˜๋„ค์Šค๋ฅผ ์ฝ๊ณ  ํ–‰๋™ํ•˜๋Š” ๋ฒ•์„ ๊ฐ€๋ฅด์น˜๊ธฐ

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ์ž‘์€ ์–ธ์–ด ๋ชจ๋ธ ์—์ด์ „ํŠธ์—๊ฒŒ ํฐ ๋ชจ๋ธ์˜ ํ–‰๋™์„ ๊ฐ€๋ฅด์น  ๋•Œ, ๋ชจ๋ธ ๋ฐ”๊นฅ์˜ ์†Œํ”„ํŠธ์›จ์–ด๊ฐ€ ์ด๋ฏธ ์ œ๊ณตํ•˜๋Š” ์ •๋ณด๊นŒ์ง€ ๋‹ค์‹œ ํ•™์Šต์‹œ์ผœ์•ผ ํ• ๊นŒ์š”? Harness-Aware Distillation(HAD)์€ ์ด ์งˆ๋ฌธ์—์„œ ์ถœ๋ฐœํ•ฉ๋‹ˆ๋‹ค. ํ•˜๋„ค์Šค(harness)๋Š” ํ˜„์žฌ ์œ„์น˜์™€ ์†Œ์ง€ํ’ˆ์„ ๊ธฐ๋กํ•˜๊ณ , ์‚ฌ์šฉํ•  ์ˆ˜ ...

[Repo Review] AKV โ€” ์—์ด์ „ํŠธ๊ฐ€ KV ์บ์‹œ๋ฅผ ์ง์ ‘ ๊ด€๋ฆฌํ•˜๋Š” ๊ตฌ์กฐ์™€ SGLang ์‹คํ–‰ ๊ฒฝ๋กœ

๊ธด ์—์ด์ „ํŠธ ์‹คํ–‰์—์„œ, ๋ฌด์—‡์„ ๊ธฐ์–ตํ• ์ง€ ๊ฒฐ์ •ํ•˜๋Š” ๊ณ„์ธต ๋„๊ตฌ๋ฅผ ์—ฌ๋Ÿฌ ๋ฒˆ ํ˜ธ์ถœํ•˜๋Š” LLM ์—์ด์ „ํŠธ๋Š” ๋Œ€ํ™” ์ด๋ ฅ์— ๊ฒ€์ƒ‰ ๊ฒฐ๊ณผ, ํŒŒ์ผ ๋‚ด์šฉ, ์‹คํ–‰ ๋กœ๊ทธ๋ฅผ ๊ณ„์† ๋ง๋ถ™์ž…๋‹ˆ๋‹ค. ์˜ˆ์ „์— ์ฝ์€ ๊ธฐ๋ก์˜ ์„ธ๋ถ€ ๋‚ด์šฉ์ด ๋”๋Š” ํ•„์š”ํ•˜์ง€ ์•Š์•„๋„, ๋‹ค์Œ ๋ชจ๋ธ ํ˜ธ์ถœ์—์„œ ๊ฐ™์€ ์ด๋ ฅ์ด ๋‹ค์‹œ ๋ฌธ๋งฅ์œผ๋กœ ๋“ค์–ด๊ฐ‘๋‹ˆ๋‹ค. Transformer๊ฐ€ ํ† ํฐ๋งˆ๋‹ค ์ €์žฅํ•˜๋Š” KV ์บ์‹œ(KeyยทValue c...

[Paper Review] Mid-Harness: ์‹คํ–‰ ์ „ ํ–‰๋™ ๊ฒ€์ฆ์œผ๋กœ ํ„ฐ๋ฏธ๋„ ์—์ด์ „ํŠธ ๊ฐœ์„ ํ•˜๊ธฐ

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ํ„ฐ๋ฏธ๋„ ์—์ด์ „ํŠธ๋Š” ๋ช…๋ น์„ ํ•˜๋‚˜ ์‹คํ–‰ํ•  ๋•Œ๋งˆ๋‹ค ๋‹ค์Œ์— ๋งˆ์ฃผํ•  ํ™˜๊ฒฝ์„ ๋ฐ”๊ฟ‰๋‹ˆ๋‹ค. ์ž˜๋ชป๋œ ํŒจํ‚ค์ง€๋ฅผ ์„ค์น˜ํ•˜๊ฑฐ๋‚˜ ์—‰๋šฑํ•œ ํŒŒ์ผ์„ ์ˆ˜์ •ํ•˜๋ฉด, ์ดํ›„ ํŒ๋‹จ์ด ์ถœ๋ฐœํ•˜๋Š” ์ƒํƒœ ์ž์ฒด๊ฐ€ ๋‚˜๋น ์ง‘๋‹ˆ๋‹ค. ๋ชจ๋ธ์ด ์ข‹์€ ๋Œ€์•ˆ์„ ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ์–ด๋„ ์ฒซ ๋ฒˆ์งธ ํ–‰๋™์„ ๊ทธ๋Œ€๋กœ ์‹คํ–‰ํ•˜๋Š” ๊ตฌ์กฐ์—์„œ๋Š” ๊ทธ ๋Šฅ๋ ฅ์„ ํ™œ์šฉํ•˜์ง€ ๋ชปํ•  ์ˆ˜ ...

[Paper Review] SelfSearch: ์ •๋‹ต ๋ณด์ƒ ์—†์ด ์ž๊ธฐ ์ˆ˜์ • ๊ฒฝํ—˜์œผ๋กœ ์—์ด์ „ํŠธ ํ•˜๋„ค์Šค ๊ฐœ์„ ํ•˜๊ธฐ

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ์—์ด์ „ํŠธ๊ฐ€ ์ฝ”๋“œ๋ฅผ ์ˆ˜์ •ํ•  ์ˆ˜ ์žˆ๋‹ค๋ฉด ์ž์‹ ์„ ์‹คํ–‰ํ•˜๋Š” ๋„๊ตฌ์™€ ์ง€์นจ๋„ ๋ฐ”๊ฟ€ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฌธ์ œ๋Š” ์–ด๋–ค ์ˆ˜์ •์ด ์ข‹์€์ง€ ์•Œ์•„๋‚ด๋Š” ๋น„์šฉ์ž…๋‹ˆ๋‹ค. ํ›„๋ณด๋ฅผ ๋งŒ๋“ค ๋•Œ๋งˆ๋‹ค ์‹ค์ œ ๋ฌธ์ œ๋ฅผ ํ’€๊ฒŒ ํ•˜๊ณ  ์ ์ˆ˜๋ฅผ ํ™•์ธํ•˜๋ฉด, ํ‰๊ฐ€ ๋ฌธ์ œ ์ˆ˜์™€ ๋ฐ˜๋ณต ํšŸ์ˆ˜์— ๋”ฐ๋ผ ํƒ์ƒ‰ ๋น„์šฉ์ด ๋ˆ„์ ๋ฉ๋‹ˆ๋‹ค. SelfSearch๋Š” ์ž๊ธฐ ์ˆ˜์ •...

[Paper Review] VeriHarness: ๊ฐ™์€ ๋ชจ๋ธ๋กœ ๋ถˆ์ผ์น˜๋ฅผ ํ•ด๊ฒฐํ•˜๊ณ  ํ•ฉ์˜๋ฅผ ์˜์‹ฌํ•˜๋Š” ๊ฒ€์ฆ ํ•˜๋„ค์Šค

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ๋ณด๊ณ ์„œ์— ์ ํžŒ ๋งค์ถœ์ด ๋งž๋Š”์ง€ ํ™•์ธํ•˜๋ ค๋ฉด ๋ฌธ์žฅ์˜ ์ž์—ฐ์Šค๋Ÿฌ์›€๋ณด๋‹ค ์›๋ณธ ํŒŒ์ผ์˜ ๋ฒ„์ „, ํ†ตํ™” ๋‹จ์œ„, ๊ณ„์‚ฐ ๋ฒ”์œ„๋ฅผ ์‚ดํŽด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ ์—์ด์ „ํŠธ๊ฐ€ ๊ฐ™์€ ๋‹ต์„ ๋‚ด๋†“์•„๋„ ๋ชจ๋‘ ์˜ค๋ž˜๋œ ์ž๋ฃŒ๋ฅผ ์ฝ์—ˆ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. VeriHarness๋Š” ์ƒ์„ฑ์— ์‚ฌ์šฉํ•œ ๋ชจ๋ธ์„ ๊ทธ๋Œ€๋กœ ๊ฒ€์ฆ์—๋„ ์‚ฌ์šฉํ•˜๋˜, ์—ฌ๋Ÿฌ ์‹คํ–‰ ๊ฒฐ๊ณผ...

[Paper Review] ScholarEvolve: ์—ฐ๊ตฌ ๋ฌธํ—Œ์œผ๋กœ ๊ณ ์ • ๋ชจ๋ธ์˜ ์—์ด์ „ํŠธ ํ•˜๋„ค์Šค๋ฅผ ์ง„ํ™”์‹œํ‚ค๊ธฐ

YouTube์—์„œ ์˜์ƒ ๋ณด๊ธฐ ๋…ผ๋ฌธ ๊ฐœ์š”์™€ ์ „์ฒด ๊ตฌ์กฐ ์–ธ์–ด ๋ชจ๋ธ ์—์ด์ „ํŠธ์˜ ์„ฑ๋Šฅ์€ ๋ชจ๋ธ ๊ฐ€์ค‘์น˜๋ฟ ์•„๋‹ˆ๋ผ ๋„๊ตฌ๋ฅผ ํ˜ธ์ถœํ•˜๊ณ , ๊ณผ๊ฑฐ ๊ด€์ธก์„ ๋ณด์กดํ•˜๋ฉฐ, ๋‹ค์Œ ํ–‰๋™์„ ๊ฒฐ์ •ํ•˜๋Š” ์‹คํ–‰ ์†Œํ”„ํŠธ์›จ์–ด์—๋„ ์ขŒ์šฐ๋ฉ๋‹ˆ๋‹ค. ์ด ์‹คํ–‰ ์†Œํ”„ํŠธ์›จ์–ด๋ฅผ ํ•˜๋„ค์Šค(harness)๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค. Jingbo Yang ์™ธ์˜ ใ€ŒLearning from Research: Toward...

[Repo Review] MIMESIS: ์‚ฌ์šฉ์ž ์‹œ๋ฎฌ๋ ˆ์ดํ„ฐ ํ•™์Šต์—์„œ GRPO์™€ CSD๊นŒ์ง€ ์ฝ”๋“œ๋กœ ๋”ฐ๋ผ๊ฐ€๊ธฐ

๋“ค์–ด๊ฐ€๋ฉฐ ๋Œ€ํ™”ํ˜• ์—์ด์ „ํŠธ๋Š” ์งˆ๋ฌธ์„ ์ž˜ํ•˜๋Š” ๋Šฅ๋ ฅ๋„ ๋ฐฐ์›Œ์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋Ÿฐ๋ฐ ํ•™์Šต ์ƒ๋Œ€๊ฐ€ ๋Š˜ ์š”๊ตฌ๋ฅผ ๋ช…ํ™•ํžˆ ๋งํ•˜๊ณ  ์นœ์ ˆํ•˜๊ฒŒ ํ˜‘๋ ฅํ•œ๋‹ค๋ฉด, ์‹ค์ œ ์‚ฌ์šฉ์ž๊ฐ€ ์ •๋ณด๋ฅผ ๋น ๋œจ๋ฆฌ๊ฑฐ๋‚˜ ์š”๊ตฌ๋ฅผ ๋ฐ”๊พธ๋Š” ์ƒํ™ฉ์„ ์ถฉ๋ถ„ํžˆ ๊ฒฝํ—˜ํ•˜๊ธฐ ์–ด๋ ต์Šต๋‹ˆ๋‹ค. MIMESIS๋Š” ์ด๋Ÿฐ ๋ฌธ์ œ๋ฅผ ์‚ฌ์šฉ์ž ์—ญํ• ์„ ๋งก๋Š” ๋ชจ๋ธ ์ž์ฒด๋ฅผ ํ•™์Šตํ•˜๋Š” ๋ฌธ์ œ๋กœ ๋‹ค๋ฃน๋‹ˆ๋‹ค. ์‚ฌ๋žŒ ๋Œ€ํ™”๋กœ ์‚ฌ์šฉ์ž ์‹œ๋ฎฌ๋ ˆ์ดํ„ฐ๋ฅผ ํ•™์Šตํ•œ ๋‹ค์Œ, ๊ทธ ...