Euisuk's Dev Log

ใ€Œ์„œ์ฟ  ๊ฐœ๋ฐœ๋…ธํŠธโญใ€

[๊ฐ•์˜๋…ธํŠธ] RAG From Scratch : Overview

[๊ฐ•์˜๋…ธํŠธ] RAG From Scratch : Overview ํ•ด๋‹น ๋ธ”๋กœ๊ทธ ํฌ์ŠคํŠธ๋Š” RAG From Scratch : Coursework ๊ฐ•์˜ ํŒŒํŠธ 1 - 4 ๋‚ด์šฉ์„ ๋‹ค๋ฃจ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋น„๋””์˜ค ์š”์•ฝ ๊ฐ•์˜ ๋งํฌ ์Šฌ๋ผ์ด๋“œ Part 1 (๊ฐœ์š”) ...

[๊ฐ•์˜๋…ธํŠธ] RAG From Scratch : Coursework

[๊ฐ•์˜๋…ธํŠธ] RAG From Scratch : Coursework ์†Œ๊ฐœ ์˜ค๋Š˜๋‚ ์˜ Generative AI๋Š” ๊ธฐ๋ณธ์ ์ธ ๋Œ€ํ˜• ์–ธ์–ด ๋ชจ๋ธ(LLM)์„ ๋„˜์–ด, ์ •๋ณด ํ™œ์šฉ์˜ ๋ฐฉ์‹์„ ํš๊ธฐ์ ์œผ๋กœ ๋ณ€ํ™”์‹œํ‚ค๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ ์ค‘์—์„œ๋„ RAG, Retrieval-Augmented Generation์€ ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ ์†Œ์Šค๋ฅผ ํ™œ์šฉํ•˜์—ฌ ๋”์šฑ ์ •๊ตํ•˜๊ณ  ๋„๋ฉ”์ธ์— ํŠนํ™”๋œ ์ •๋ณด...

[OpenAI] GPT-4o ๋‹ค์Œ ๋ฒ„์ „ ๋–ด๋‚˜!?

[OpenAI] GPT-4o ๋‹ค์Œ ๋ฒ„์ „ ๋–ด๋‚˜!? ์ตœ๊ทผ AI์˜ ๋ฐœ์ „ ์†๋„๋Š” ๊ฐ€ํžˆ ๋†€๋ผ์šธ ์ •๋„์ž…๋‹ˆ๋‹ค. ํŠนํžˆ OpenAI์˜ ์ƒˆ๋กœ์šด ๋ชจ๋ธ GPT-o1์€ ๊ธฐ์กด ๋ชจ๋ธ์ธ GPT-4o์— ๋น„ํ•ด ๊ด„๋ชฉํ•  ๋งŒํ•œ ์„ฑ๋Šฅ ํ–ฅ์ƒ์„ ๋ณด์—ฌ์ฃผ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. GPT-o1์€ ๋ณต์žกํ•œ ์ถ”๋ก ์„ ๋” ์ž˜ ์ˆ˜ํ–‰ํ•˜๊ณ , ๋‹ค์–‘ํ•œ ๋ฌธ์ œ ํ•ด๊ฒฐ ๋Šฅ๋ ฅ์—์„œ ์‚ฌ๋žŒ ์ˆ˜์ค€์˜ ์„ฑ๊ณผ๋ฅผ ๋ณด์—ฌ์ฃผ๋ฉฐ, ์•ˆ์ „์„ฑ ๋ฉด์—์„œ๋„ ๋›ฐ์–ด๋‚œ...

[GPU] nvidia-smi์˜ ์‹œ๋Œ€๋Š” ๊ฐ”๋‹ค?

[GPU] nvidia-smi์˜ ์‹œ๋Œ€๋Š” ๊ฐ”๋‹ค? ์•ˆ๋…•ํ•˜์„ธ์š”! ๋ฆฌ๋ˆ…์Šค ์‚ฌ์šฉ์ž์ด์ž GPU ํ™œ์šฉ์— ๊ด€์‹ฌ์ด ๋งŽ์€ ๋ถ„๋“ค์„ ์œ„ํ•œ ํฅ๋ฏธ๋กœ์šด ๋‚ด์šฉ์„ ์†Œ๊ฐœํ•ด ๋“œ๋ฆฌ๋ ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ์˜ค๋Š˜์€ NVIDIA GPU ๋ชจ๋‹ˆํ„ฐ๋ง ๋„๊ตฌ๋กœ ํฐ ์ธ๊ธฐ๋ฅผ ๋Œ๊ณ  ์žˆ๋Š” nvtop๊ณผ ํ•จ๊ป˜, ๊ทธ๋ณด๋‹ค ๋” ๋งŽ์€ ๊ธฐ๋Šฅ์„ ์ œ๊ณตํ•˜๋Š” nvitop์— ๋Œ€ํ•ด ์•Œ์•„๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. ๋Œ€๋ถ€๋ถ„์˜ ๋ถ„๋“ค์ด nvidia-smi๋ฅผ ํ†ต...

[ํŒŒ์ด์ฌ] ์ •๊ทœํ‘œํ˜„์‹ ํ™œ์šฉ ๋ฐฉ๋ฒ•

[ํŒŒ์ด์ฌ] ์ •๊ทœํ‘œํ˜„์‹ ํ™œ์šฉ ๋ฐฉ๋ฒ• ์ •๊ทœํ‘œํ˜„์‹(Regular Expression, RegEx)์€ ๋ฌธ์ž์—ด์„ ์ฒ˜๋ฆฌํ•˜๊ณ  ํŒจํ„ด์„ ๊ฒ€์ƒ‰ํ•˜๊ฑฐ๋‚˜ ๋ณ€ํ˜•ํ•  ๋•Œ ๋งค์šฐ ์œ ์šฉํ•œ ๋„๊ตฌ์ž…๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ๊ณผํ•™๊ณผ ์›น ์Šคํฌ๋ž˜ํ•‘, ํ…์ŠคํŠธ ์ฒ˜๋ฆฌ ๋“ฑ ๋‹ค์–‘ํ•œ ์ž‘์—…์—์„œ ๋ฌธ์ž์—ด์„ ๋‹ค๋ฃฐ ๋•Œ ์ •๊ทœํ‘œํ˜„์‹์€ ํ•„์ˆ˜์ ์œผ๋กœ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. ์ด๋ฒˆ ํฌ์ŠคํŠธ์—์„œ๋Š” ํŒŒ์ด์ฌ์—์„œ re ๋ชจ๋“ˆ์„ ์‚ฌ์šฉํ•ด ์ •๊ทœํ‘œํ˜„์‹์„ ์–ด๋–ป...

[Pandas] ์‹ค๋ฌด์—์„œ ์“ฐ๋ ค๊ณ  ์ •๋ฆฌํ•ด๋‘” Code Snippet

[Pandas] ์‹ค๋ฌด์—์„œ ์“ฐ๋ ค๊ณ  ์ •๋ฆฌํ•ด๋‘” Code Snippet ํŒŒ์ด์ฌ์˜ Pandas ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” ๋ฐ์ดํ„ฐ ๋ถ„์„ ๋ฐ ์กฐ์ž‘์„ ์œ„ํ•œ ํ•„์ˆ˜ ๋„๊ตฌ์ž…๋‹ˆ๋‹ค. ํŠนํžˆ, ๋ฐ์ดํ„ฐ๋ฅผ ํšจ๊ณผ์ ์œผ๋กœ ์ •๋ ฌํ•˜๊ณ  ๋ถ„์„ํ•˜๋Š” ๊ฒƒ์€ ๋ฐ์ดํ„ฐ ๊ณผํ•™์ž์˜ ์ค‘์š”ํ•œ ๊ณผ์ œ ์ค‘ ํ•˜๋‚˜์ž…๋‹ˆ๋‹ค. ์ด์ „ ํฌ์ŠคํŠธ๋“ค์—์„œ๋„ ๋ช‡ ๋ฒˆ ๊ฐœ๋… ๋ฐ ์ฃผ์š” ํ•จ์ˆ˜๋“ค์„ ์†Œ๊ฐœํ•ด๋“œ๋ ธ๋Š”๋ฐ์š”. ์ด ๊ธ€์—์„œ๋Š” ์ฃผ๋กœ ์‚ฌ์šฉํ•˜๋Š” Pandas์˜ ...

[๊ฐœ๋…] ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์˜์‚ฌ๊ฒฐ์ • ๋ฐฉ๋ฒ•

[๊ฐœ๋…] ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์˜์‚ฌ๊ฒฐ์ • ๋ฐฉ๋ฒ• ๋””์ง€ํ„ธ ์‹œ๋Œ€์˜ ๊ฒฝ์Ÿ ํ™˜๊ฒฝ์—์„œ ๊ธฐ์—…์˜ ์„ฑ๊ณต์€ ์–ผ๋งˆ๋‚˜ ํšจ๊ณผ์ ์œผ๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ํ™œ์šฉํ•˜์—ฌ ๊ณ ๊ฐ์˜ ์š”๊ตฌ๋ฅผ ์ดํ•ดํ•˜๊ณ , ์ด์— ๋งž์ถฐ ์ œํ’ˆ๊ณผ ์„œ๋น„์Šค๋ฅผ ๊ฐœ์„ ํ•˜๋Š”์ง€์— ๋‹ฌ๋ ค ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ๋ถ„์„ ๋ฐ ์˜์‚ฌ๊ฒฐ์ •(Data-Driven Analysis and Decision Making)์€ ์ด๋Ÿฌํ•œ ๋ชฉํ‘œ๋ฅผ ๋‹ฌ์„ฑํ•˜๊ธฐ ์œ„ํ•œ ํ•ต์‹ฌ ๋ฐฉ๋ฒ•๋ก ์œผ๋กœ ์ž๋ฆฌ...

[Paper Review] ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ = ๋ชจ๋ธ ๋ถ•๊ดด?

[Paper Review] ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ = ๋ชจ๋ธ ๋ถ•๊ดด? ๋“ค์–ด๊ฐ€๋ฉฐ ์ตœ๊ทผ ์ธ๊ณต์ง€๋Šฅ(AI) ๋ถ„์•ผ์—์„œ ๋งค์šฐ ํฅ๋ฏธ๋กœ์šด ๋‘ ๋…ผ๋ฌธ์ด Nature์— ๊ฒŒ์žฌ๋˜์–ด ํฐ ํ™”์ œ๋ฅผ ๋ชจ์œผ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์•„๋ž˜ ๋‘ ๋…ผ๋ฌธ์€ ๊ณตํ†ต์ ์œผ๋กœ AI ๋ชจ๋ธ์˜ ๋ฐœ์ „๊ณผ ๊ด€๋ จ๋œ ์ค‘๋Œ€ํ•œ ๋ฌธ์ œ๋ฅผ ๋‹ค๋ฃจ๊ณ  ์žˆ์œผ๋ฉฐ, AI ๊ธฐ์ˆ ์˜ ์žฅ๊ธฐ์ ์ธ ์œ„ํ—˜์„ฑ์„ ๊ฒฝ๊ณ ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. AI models collapse w...

[๊ฟ€ํŒ] ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง (๊ฐ•์˜ ์š”์•ฝ)

[๊ฟ€ํŒ] ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง (๊ฐ•์˜ ์š”์•ฝ) ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง: ํ™˜๊ฐ ์ค„์ด๊ณ , ํšจ์œจ์ ์ธ SW ์„œ๋น„์Šค๊นŒ์ง€ ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง ๋ถ„์•ผ์—์„œ ์ตœ๊ทผ ๋งŽ์€ ๊ด€์‹ฌ์„ ๋ฐ›๊ณ  ์žˆ๋Š” ์ฃผ์ œ๋Š” ๋ฐ”๋กœ โ€œAI ๋ชจ๋ธ์˜ ํ™˜๊ฐ(Hallucination) ํ˜„์ƒ์„ ์ค„์ด๊ณ , ๋ณด๋‹ค ์‹ ๋ขฐ์„ฑ ์žˆ๋Š” ๊ฒฐ๊ณผ๋ฅผ ์–ป๋Š” ๋ฐฉ๋ฒ•โ€์ž…๋‹ˆ๋‹ค. AI ๋ชจ๋ธ์˜ ํ™˜๊ฐ(Hallucination) ํ˜„์ƒ์ด๋ž€? AI ...

[CV Notes] Lecture 18 - Videos

[CV Notes] Lecture 18 - Videos ๋‹ค์Œ์€ ์•„๋ž˜ โ€œLecture 18. Videosโ€์— ๋Œ€ํ•œ ์š”์•ฝ ๋ฐ ํ•„๊ธฐ ๋‚ด์šฉ์„ ์ •๋ฆฌํ•œ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ํ‹€๋ฆฐ ๋‚ด์šฉ์ด ์žˆ๋‹ค๋ฉด ๋Œ“๊ธ€ ๋ถ€ํƒ๋“œ๋ฆฝ๋‹ˆ๋‹ค ๐Ÿ™Œ Course Website: https://web.eecs.umich.edu/~justincj/teaching/eecs498/ Instructor:...