Euisuk's Dev Log

ใ€Œ์„œ์ฟ  ๊ฐœ๋ฐœ๋…ธํŠธโญใ€

[Paper Review] A COMPREHENSIVE REVIEW OF YOLO ARCHITECTURES IN COMPUTER VISION: FROM YOLOV1 TO YOLOV8 AND YOLO-NAS

YOLO ๋ชจ๋ธ ์„œ๋ฒ ์ด ํŽ˜์ดํผ ๋งํฌ : https://www.mdpi.com/2504-4990/5/4/83 ๐Ÿ“– (์ฐธ๊ณ ) YOLO ๋ฒ„์ „์˜ ๋ฐœ์ „ ๐Ÿ’ก ๊ณต์‹ ๋ฒ„์ „: YOLO์˜ ์› ๊ฐœ๋ฐœ์ž์ธ Joseph Redmon์€ YOLOv3๊นŒ์ง€ ๊ฐœ๋ฐœํ–ˆ์Šต๋‹ˆ๋‹ค. ์ดํ›„ ๊ทธ๋Š” ์œค๋ฆฌ์  ์ด์œ ๋กœ ๊ฐ์ฒด ํƒ์ง€ ์—ฐ๊ตฌ๋ฅผ ์ค‘๋‹จํ–ˆ์Šต๋‹ˆ๋‹ค. Joseph Redmon์ด ๊ฐ์ฒด ํƒ...

[Paper Review] Mamba: Linear-Time Sequence Modeling with Selective State Spaces

์ตœ๊ทผ ๋”ฅ๋Ÿฌ๋‹ ์•„ํ‚คํ…์ฒ˜์˜ ์ค‘์‹ฌ์—๋Š” ํŠธ๋žœ์Šคํฌ๋จธ๊ฐ€ ์ž๋ฆฌ ์žก๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM)๋ฟ๋งŒ ์•„๋‹ˆ๋ผ, ๊ทธ๋ฆผ์„ ์ƒ์„ฑํ•˜๋Š” ๋ฐ ์“ฐ์ด๋Š” ๋””ํ“จ์ „ ๋ชจ๋ธ ๋˜ํ•œ ํŠธ๋žœ์Šคํฌ๋จธ ๊ตฌ์กฐ๋ฅผ ํ™œ์šฉํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ด์™ธ์—๋„ ์‹œ๊ณ„์—ด ๋ถ„์„์ด๋‚˜ ์ถ”์ฒœ ์‹œ์Šคํ…œ๊ณผ ๊ฐ™์€ ๋‹ค์–‘ํ•œ ๋ถ„์•ผ์—์„œ ํŠธ๋žœ์Šคํฌ๋จธ๊ฐ€ ํ•ต์‹ฌ์ ์ธ ์—ญํ• ์„ ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ํŠธ๋žœ์Šคํฌ๋จธ๋ฅผ ๋Œ€์ฒดํ•  ์ˆ˜ ์žˆ๋Š” ์ƒˆ๋กœ์šด ์•„ํ‚คํ…์ฒ˜๋ฅผ ๋ชจ์ƒ‰...

[Paper Review] Structured State Space Models for Deep Sequence Modeling

์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ๋ฅผ ํšจ์œจ์ ์œผ๋กœ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฐฉ๋ฒ•์€ ์ง€๋‚œ ๋ช‡ ๋…„ ๋™์•ˆ ๋น ๋ฅด๊ฒŒ ๋ฐœ์ „ํ–ˆ์Šต๋‹ˆ๋‹ค. ํŠนํžˆ, CMU์— ๊ณ„์‹  Albert Gu ๊ต์ˆ˜๋‹˜์€ ๊ธด ์‹œ๊ณ„์—ด ์˜์กด์„ฑ(Long-Range Dependencies, LRDs)์„ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฐ ์ง‘์ค‘ํ•œ HiPPO(2020), LSSL(2021), ๊ทธ๋ฆฌ๊ณ  S4(2022)์™€ ๊ฐ™์€ ์—ฐ๊ตฌ๋“ค์„ ํ•˜๊ณ  ๊ณ„์‹ญ๋‹ˆ๋‹ค. ์ด๋ฒˆ ๊ธ€์—์„œ๋Š” ์—ฐ๊ตฌ์˜ ํ๋ฆ„...

[๊ฐœ๋…] ์ธ๊ณต์ง€๋Šฅ์„ ์œ„ํ•œ ์„ ํ˜•๋Œ€์ˆ˜ : ํ–‰๋ ฌํŽธ

1. ํ–‰๋ ฌ(Matrix)์˜ ์ •์˜ ์ธ๊ณต์ง€๋Šฅ ๋ฐ ๊ธฐ๊ณ„ ํ•™์Šต์—์„œ ํ–‰๋ ฌ(matrix)์€ ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๊ณ  ํ‘œํ˜„ํ•˜๋Š” ์ค‘์š”ํ•œ ๋„๊ตฌ์ž…๋‹ˆ๋‹ค. ํ–‰๋ ฌ์€ ์ˆ˜๋ฅผ ์ง์‚ฌ๊ฐํ˜• ํ˜•ํƒœ๋กœ ๋ฐฐ์—ดํ•œ ๊ฒƒ์œผ๋กœ, ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜ํ•™์ ์œผ๋กœ ๋‹ค๋ฃจ๊ธฐ ์œ„ํ•ด ํ•„์ˆ˜์ ์ž…๋‹ˆ๋‹ค. ํ–‰๋ ฌ์„ ์‚ฌ์šฉํ•˜๋ฉด ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ๋ฅผ ํšจ์œจ์ ์œผ๋กœ ๊ด€๋ฆฌํ•˜๊ณ  ๊ณ„์‚ฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์˜ˆ์‹œ: ์šฐ๋ฆฌ๊ฐ€ ์ด๋ฏธ ์ต์ˆ™ํ•œ ๋ฐ์ดํ„ฐ ํ…Œ์ด๋ธ”์„ ์ƒ๊ฐํ•ด๋ด…์‹œ๋‹ค....

[Paper Review] Resurrecting Recurrent Neural Networks for Long Sequences

๋…ผ๋ฌธ โ€œResurrecting Recurrent Neural Networks for Long Sequencesโ€๋Š” 25 Apr 2023์— publish๋˜์—ˆ์œผ๋ฉฐ, ICML 2023 OralPoster์— ๋ฐœํ‘œ๋œ ๋…ผ๋ฌธ์ž…๋‹ˆ๋‹ค. ํ•ด๋‹น ๋…ผ๋ฌธ์€ โ€œRecurrent Neural Networks (RNN)์˜ ์„ฑ๋Šฅ์„ ๋ณต์›ํ•˜์—ฌ ๊ธด ์‹œํ€€์Šค์—์„œ์˜ ํšจ์œจ์ ์ธ ํ•™์Šต๊ณผ ์ถ”๋ก โ€์„ ...

[๊ฐœ๋…] ์‹œ์Šคํ…œ, ๋ฏธ๋ถ„๋ฐฉ์ •์‹, ๊ทธ๋ฆฌ๊ณ  ์ƒํƒœ ๊ณต๊ฐ„ ๋ชจ๋ธ

์šฐ๋ฆฌ๋Š” ์ผ์ƒ์ƒํ™œ์—์„œ ๋‹ค์–‘ํ•œ ์‹œ์Šคํ…œ๊ณผ ์ƒํ˜ธ์ž‘์šฉํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋™์  ์‹œ์Šคํ…œ์€ ๊ทธ์ค‘ ํ•˜๋‚˜๋กœ, ์‹œ๊ฐ„์ด ์ง€๋‚จ์— ๋”ฐ๋ผ ์ƒํƒœ๊ฐ€ ๋ณ€ํ™”ํ•˜๋Š” ์‹œ์Šคํ…œ์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค. ์ƒํƒœ ๊ณต๊ฐ„(State Space) ๋ชจ๋ธ์€ ๋ณต์žกํ•œ ๋™์  ์‹œ์Šคํ…œ์„ ์ดํ•ดํ•˜๊ณ  ๋ถ„์„ํ•˜๋Š”๋ฐ ์ค‘์š”ํ•œ ๋„๊ตฌ์ž…๋‹ˆ๋‹ค. ์ด ๋ชจ๋ธ์€ ์‹œ์Šคํ…œ์„ ์ƒํƒœ(state)๋ผ๋Š” ๊ฐœ๋…์œผ๋กœ ํ‘œํ˜„ํ•˜๋ฉฐ, ์ด๋ฅผ ํ†ตํ•ด ์‹œ๊ฐ„์— ๋”ฐ๋ฅธ ์‹œ์Šคํ…œ์˜ ๋ณ€ํ™”๋ฅผ ํ–‰๋ ฌ๋กœ...

[์ •๋ฆฌ] OpenAI API Document

OpenAI๋Š” ์ตœ์‹  ์ธ๊ณต์ง€๋Šฅ(AI) ๋ชจ๋ธ๊ณผ API๋ฅผ ์ œ๊ณตํ•˜์—ฌ ๊ฐœ๋ฐœ์ž๋“ค์ด ๋‹ค์–‘ํ•œ AI ๊ธฐ๋Šฅ์„ ์‰ฝ๊ฒŒ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์— ํ†ตํ•ฉํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ๋‹ค์Œ์€ ์•„๋ž˜ platform.openai.com์—์„œ ์ œ๊ณตํ•˜๋Š” ๋ฌธ์„œ๋ฅผ ํ›‘์–ด๋ณด๋ฉด์„œ ์ •๋ฆฌํ•œ ๋‚ด์šฉ์ž…๋‹ˆ๋‹ค. ์ฐธ๊ณ  ๋ฌธ์„œ: https://platform.openai.com/docs/overview 1. ์†Œ๊ฐœ O...

[IT] LLMOps์™€ RAG

์ตœ๊ทผ ๋ช‡ ๋…„๊ฐ„ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM)์˜ ๋ฐœ์ „์€ ๋‹ค์–‘ํ•œ ์‚ฐ์—…์—์„œ ํฐ ๋ณ€ํ™”๋ฅผ ์ผ์œผํ‚ค๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. LLM์€ ์‚ฌ๋žŒ๊ณผ ์œ ์‚ฌํ•œ ๋ฐฉ์‹์œผ๋กœ ํ…์ŠคํŠธ๋ฅผ ์ƒ์„ฑํ•˜๊ฑฐ๋‚˜ ์งˆ๋ฌธ์— ๋‹ต๋ณ€ํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๊ณ ๊ฐ ์ง€์›, ์˜๋ฃŒ, ๋ฒ•๋ฅ , ์ฝ˜ํ…์ธ  ์ƒ์„ฑ ๋“ฑ ์ˆ˜๋งŽ์€ ๋ถ„์•ผ์—์„œ ๋„๋ฆฌ ํ™œ์šฉ๋˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ LLM์˜ ์„ฑ๋Šฅ์„ ๊ทน๋Œ€ํ™”ํ•˜๊ณ  ์ง€์†์ ์œผ๋กœ ๊ฐœ์„ ํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” LLMOps์™€ ๊ฐ™์€ ์ฒด๊ณ„์ ์ธ ์šด...

[๊ฐ•์˜๋…ธํŠธ] Text Splitting For Retrieval

Introduction ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM, Large Language Model)์„ ์ด์šฉํ•œ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์˜ ์„ฑ๋Šฅ์„ ํ–ฅ์ƒ์‹œํ‚ค๋Š” ๊ฐ€์žฅ ํšจ๊ณผ์ ์ธ ์ „๋žต ์ค‘ ํ•˜๋‚˜๋Š” ํฐ ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ๋” ์ž‘์€ ์กฐ๊ฐ์œผ๋กœ ๋ถ„ํ• ํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. LLM์—๊ฒŒ ํ•„์š”ํ•œ ์ •๋ณด๋งŒ์„ ์ œ๊ณตํ•จ์œผ๋กœ์จ ๋ชจ๋ธ์˜ ์ž‘์—… ํšจ์œจ์„ฑ์„ ๊ทน๋Œ€ํ™”ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ํ…์ŠคํŠธ ๋ถ„ํ•  ๊ธฐ์ˆ ์€ ๋‹จ์ˆœํ•œ ๋ฐฉ๋ฒ• ๊ฐ™์ง€๋งŒ...

[๊ฐ•์˜๋…ธํŠธ] RAG From Scratch : RAG for long context LLMs

RAG for long context LLMs Introduction ์ตœ๊ทผ LLM(Long Large Models)์˜ ๊ธ‰๊ฒฉํ•œ ๋ฐœ์ „์œผ๋กœ ์ธํ•ด ๊ฑฐ๋Œ€ํ•œ ์–‘์˜ ๋ฐ์ดํ„ฐ๋ฅผ ํ•œ ๋ฒˆ์— ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ๋Š” ๊ฐ€๋Šฅ์„ฑ์ด ์—ด๋ฆฌ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ํŠนํžˆ, 100๋งŒ ํ† ํฐ ์ด์ƒ์˜ ์ •๋ณด๋ฅผ ํ•œ ๋ฒˆ์— ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ๋Š” ๋ชจ๋ธ๋“ค์ด ๋“ฑ์žฅํ•˜๋ฉด์„œ, ๊ณผ์—ฐ RAG(Retrieval-Augmented G...