Euisuk's Dev Log

ใ€Œ์„œ์ฟ  ๊ฐœ๋ฐœ๋…ธํŠธโญใ€

[CS294] Deep Unsupervised Learning: Introduction

๋‹ค์Œ์€ ์•„๋ž˜ โ€œBerkeley CS294 ๊ฐ•์˜โ€์— ๋Œ€ํ•œ ์š”์•ฝ ๋ฐ ํ•„๊ธฐ ๋‚ด์šฉ์„ ์ •๋ฆฌํ•œ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ํ‹€๋ฆฐ ๋‚ด์šฉ์ด ์žˆ๋‹ค๋ฉด ๋Œ“๊ธ€ ๋ถ€ํƒ๋“œ๋ฆฝ๋‹ˆ๋‹ค ๐Ÿ™Œ Course : CS294-158 SP24 Deep Unsupervised Learning Instructor: Pieter Abbeel Lecture # : L1. Introduction ๋ณธ ๊ฐ•์˜๋Š”...

[NLP] 4. Natural Language Embeddings

Natural Language Embeddings ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ(NLP)์—์„œ ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ํšจ์œจ์ ์œผ๋กœ ๋‹ค๋ฃจ๊ธฐ ์œ„ํ•ด ๋‹ค์–‘ํ•œ ์ž์—ฐ์–ด ์ž„๋ฒ ๋”ฉ ๊ธฐ๋ฒ•(Natural Language Embedding)์ด ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. ์ด๋ฒˆ ํฌ์ŠคํŠธ์—์„œ๋Š” ์ด๋Ÿฌํ•œ ๊ธฐ๋ฒ•๋“ค์„ ์ž์„ธํžˆ ์„ค๋ช…ํ•˜๊ณ , ๊ฐ ๊ธฐ๋ฒ•์˜ ์˜ˆ์‹œ๋ฅผ ํ†ตํ•ด ์ดํ•ด๋ฅผ ๋•๊ณ ์ž ํ•ฉ๋‹ˆ๋‹ค. ๐Ÿ”Ž Text Representatio...

[NLP] 3. Natural Language Preprocessing

1. ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ(NLP) ๊ฐœ์š” ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ์˜ ์ผ๋ฐ˜์ ์ธ ์ˆœ์„œ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ๋Š” ์Œ์„ฑ์„ ํ…์ŠคํŠธ๋กœ ๋ณ€ํ™˜ํ•˜๊ณ , ํ•ด๋‹น ํ…์ŠคํŠธ๋ฅผ ๋ถ„์„ ๋ฐ ์˜๋ฏธ๋ฅผ ์ถ”์ถœํ•œ ๋’ค, ์ด๋ฅผ ๋‹ค์‹œ ์Œ์„ฑ์œผ๋กœ ๋ณ€ํ™˜ํ•˜๋Š” ๊ณผ์ •์„ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค. (์•„๋ž˜ ๊ทธ๋ฆผ ์ฐธ๊ณ ) ์ด ๊ณผ์ •์€ ํฌ๊ฒŒ STT(Speech to Text)์™€ TTS(Text to Speech)๋กœ ๋‚˜๋‰ฉ๋‹ˆ๋‹ค. 1.1 ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ...

[NLP] 2. Steps of Text Analytics

Steps of Text Analytics ํ…์ŠคํŠธ ๋ถ„์„์€ ๋น„์ •ํ˜• ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ๊ตฌ์กฐํ™”ํ•˜๊ณ  ์œ ์˜๋ฏธํ•œ ์ •๋ณด๋ฅผ ์ถ”์ถœํ•˜๊ธฐ ์œ„ํ•œ ์ผ๋ จ์˜ ๊ณผ์ •์ž…๋‹ˆ๋‹ค. ํ•ด๋‹น ํฌ์ŠคํŠธ์—์„œ๋Š” ํ…์ŠคํŠธ ๋ถ„์„์˜ ์ฃผ์š” ๋‹จ๊ณ„๋ฅผ ์ˆœ์ฐจ์ ์œผ๋กœ ์†Œ๊ฐœํ•˜์—ฌ, ๊ฐ ๋‹จ๊ณ„์—์„œ ์ˆ˜ํ–‰๋˜๋Š” ์ž‘์—…๊ณผ ๊ทธ ์ค‘์š”์„ฑ์„ ์„ค๋ช…ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. โ‘  STEP 1. ์ •์˜ ๋ฐ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘(Define & Collect) ...

[NLP] 1. Introduction to Text Analytics

Introduction to Text Analytics Text Analytics๋Š” ๋ฌธ์„œ(text)์™€ ๊ฐ™์€ ๋น„์ •ํ˜• ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•˜์—ฌ ๊ทธ ์†์— ํฌํ•จ๋œ ์˜๋ฏธ ์žˆ๋Š” ์ •๋ณด๋ฅผ ์ถ”์ถœํ•˜๋Š” ๊ณผ์ •์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค. ์ด๋Š” ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ(Natural Language Processing, NLP) ๊ธฐ์ˆ ์„ ํ™œ์šฉํ•˜์—ฌ ๋‹ค์–‘ํ•œ ํ˜•ํƒœ์˜ ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๊ณ  ๋ถ„์„ํ•จ์œผ๋กœ์จ ...

[๊ธฐ์—…] NVIDIA์™€ GPU ์ด์•ผ๊ธฐ

NVIDIA์™€ GPU ์ด์•ผ๊ธฐ ๋”ฅ๋Ÿฌ๋‹, LLM, ChatGPT ๋“ฑ ์ด์ œ๋Š” ์ธ๊ณต์ง€๋Šฅ ํ•˜๋ฉด GPU๋ฅผ ๋นผ๋†“๊ณ  ์–˜๊ธฐํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ ์ˆœ์œ„๊ถŒ์—์„œ ์ข€ ๋ฐ€๋ ค๋‚œ ๋ชจ๋ธ๋“ค์ด๊ธดํ•˜์ง€๋งŒ, ์ด๋Ÿฌํ•œ LM(๋Œ€ํ˜•์–ธ์–ด๋ชจ๋ธ, Language Model) ์—ญ์‹œ GPU (Graphics Processing Unit)๋กœ ํ•™์Šต๋œ ๊ฒƒ์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. GPU๋ž€, ์›๋ž˜ ๊ทธ๋ž˜...

[Graph] 4์žฅ. Graph Neural Networks: Algorithms

1. Introduction ๊ทธ๋ž˜ํ”„ ๊ตฌ์กฐ ๋ฐ์ดํ„ฐ๋Š” ๋ณต์žกํ•œ ๊ด€๊ณ„์™€ ์ƒํ˜ธ์ž‘์šฉ์„ ๋ชจ๋ธ๋งํ•˜๋Š” ๋ฐ ๋งค์šฐ ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ํšจ๊ณผ์ ์œผ๋กœ ๋ถ„์„ํ•˜๊ณ  ํ•™์Šตํ•˜๊ธฐ ์œ„ํ•ด ๊ทธ๋ž˜ํ”„ ์‹ ๊ฒฝ๋ง(Graph Neural Networks, GNN)๊ณผ ๊ทธ๋ž˜ํ”„ ์ž„๋ฒ ๋”ฉ(Graph Embedding) ๊ธฐ๋ฒ•์ด ๊ฐœ๋ฐœ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. 1.1 ๊ทธ๋ž˜ํ”„ ์‹ ๊ฒฝ๋ง ๋ชจ๋ธ vs ๊ทธ๋ž˜ํ”„ ์ž„๋ฒ ๋”ฉ ๊ทธ๋ž˜...

[Graph] 3์žฅ. Graph Node Embedding Methods

1. ๊ทธ๋ž˜ํ”„ ๋…ธ๋“œ ์ž„๋ฒ ๋”ฉ์˜ ํ•„์š”์„ฑ ๊ทธ๋ž˜ํ”„ ๋…ธ๋“œ ์ž„๋ฒ ๋”ฉ์€ ๊ทธ๋ž˜ํ”„์˜ ๊ฐ ๋…ธ๋“œ๋ฅผ ์ €์ฐจ์› ๋ฒกํ„ฐ ๊ณต๊ฐ„์œผ๋กœ ๋งคํ•‘ํ•˜๋Š” ๊ณผ์ •์ž…๋‹ˆ๋‹ค. ์ด๋Š” ๊ทธ๋ž˜ํ”„ ๋ฐ์ดํ„ฐ๋ฅผ ๊ธฐ๊ณ„ ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜์— ์ ์šฉํ•˜๊ธฐ ์‰ฝ๊ฒŒ ๋งŒ๋“ค์–ด์ค๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์„œ ์ค‘์š”ํ•œ ์งˆ๋ฌธ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค. ์–ด๋–ค ์ •๋ณด(WHAT)๋ฅผ ์šฐ๋ฆฌ๋Š” ๋ณด์กด(preserve, e...

[Graph] 2์žฅ. Graph Neural Networks

1. GNN ๊ฐœ์š” GNN(Graph Neural Networks)์€ ๊ทธ๋ž˜ํ”„ ๊ตฌ์กฐ์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๊ธฐ ์œ„ํ•ด ๊ฐœ๋ฐœ๋œ ๋”ฅ๋Ÿฌ๋‹ ๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค. ์‹ค์ œ ์„ธ๊ณ„์˜ ๋งŽ์€ ๋ฐ์ดํ„ฐ๊ฐ€ ๊ทธ๋ž˜ํ”„ ํ˜•ํƒœ๋กœ ํ‘œํ˜„๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค: ์†Œ์…œ ๋„คํŠธ์›Œํฌ: ์‚ฌ์šฉ์ž๋Š” ๋…ธ๋“œ, ์นœ๊ตฌ ๊ด€๊ณ„๋Š” ์—ฃ์ง€ ๋ถ„์ž ๊ตฌ์กฐ: ์›์ž๋Š” ๋…ธ๋“œ, ํ™”ํ•™ ๊ฒฐํ•ฉ์€ ์—ฃ์ง€ ๊ตํ†ต ๋„คํŠธ์›Œํฌ: ๊ต์ฐจ๋กœ๋Š” ๋…ธ๋“œ, ๋„๋กœ๋Š” ์—ฃ์ง€ ...

[Graph] 1์žฅ. ๊ทธ๋ž˜ํ”„์™€ GNN

1. ๊ทธ๋ž˜ํ”„๋ž€? ๊ทธ๋ž˜ํ”„๋Š” ํ˜„์‹ค ์„ธ๊ณ„์˜ ๋ฐ์ดํ„ฐ๋ฅผ ํ‘œํ˜„ํ•˜๋Š” ์ค‘์š”ํ•œ ๋„๊ตฌ๋กœ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. ๋‹ค์–‘ํ•œ ๋ถ„์•ผ์—์„œ ๊ทธ๋ž˜ํ”„๋ฅผ ํ™œ์šฉํ•˜์—ฌ ๊ด€๊ณ„์™€ ๊ตฌ์กฐ๋ฅผ ๋ชจ๋ธ๋งํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์˜ˆ์‹œ: ์‚ฌํšŒ ๊ณผํ•™: ์†Œ์…œ ๋„คํŠธ์›Œํฌ์—์„œ ๊ฐœ์ธ ๊ฐ„์˜ ๊ด€๊ณ„๋ฅผ ๊ทธ๋ž˜ํ”„๋กœ ํ‘œํ˜„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, ํŽ˜์ด์Šค๋ถ ์นœ๊ตฌ ๊ด€๊ณ„๋Š” ๋…ธ๋“œ(์‚ฌ์šฉ์ž)์™€ ์—์ง€(์นœ๊ตฌ ๊ด€๊ณ„)๋กœ ๋‚˜ํƒ€๋‚ผ ์ˆ˜...