딥러닝

신경망 구조, 학습 기법, 최신 딥러닝 연구를 다룬 글.

신경망 구조, 학습 기법, 최신 딥러닝 연구를 다룬 글.

상위 개념: 머신러닝

63 posts · 아카이브에서 필터로 보기

[가이드] RAG 평가지표 입문: RAGAS·TruLens·DeepEval로 검색과 답변 나누어 보기

RAG는 자료를 보고 답하는 AI입니다 사내 챗봇에 “연간 교육비 한도는 얼마이고, 신청 전에 누구의 승인을 받아야 하나요?”라고 물었다고 생각해 보겠습니다. 답변은 매끄럽습니다. 그런데 한도는 맞고 승인자는 틀렸다면, 이 챗봇을 잘 만들었다고 할 수 있을까요? RAG 평가는 답변이 그럴듯한지를 넘어, 필요한 자료를 찾았는지와 그 자료를 제대로 사...
개념정리RAGNLP딥러닝머신러닝Tools

Posted by Euisuk's Dev Log on October 24, 2026

[Paper Review] SkillGym: 사람의 스킬을 LLM의 실행 능력으로 학습시키기

논문 개요와 전체 구조 AI Agent에게 SKILL.md를 제공하면 작업 절차를 알려줄 수 있습니다. 그러나 문서를 읽을 수 있다는 사실과 실제로 복잡한 작업을 끝낼 수 있다는 사실은 다릅니다. 파일을 확인하고, 여러 도구를 연결하고, 실패를 수정한 뒤, 결과가 요구사항을 만족하는지 확인하는 능력이 필요합니다. SkillGym은 이처럼 여러 단계에...
Paper ReviewAI AgentNLP딥러닝

Posted by Euisuk's Dev Log on September 28, 2026

[Paper Review] Return or Revise? — 검색 근거로 답을 고칠 때와 지킬 때

논문 개요와 전체 구조 검색 증강 생성(Retrieval-Augmented Generation, RAG)에서 검색한 문서를 읽고 답을 다시 쓰면 정확도가 올라갈 수 있습니다. 그러나 이미 맞는 답을 엉뚱한 답으로 바꾸는 경우도 있습니다. Return or Revise?는 질문에 대한 초안과 검색 결과가 준비된 시점에, 초안을 그대로 반환할지 아니면 ...
Paper ReviewRAGNLP딥러닝머신러닝

Posted by Euisuk's Dev Log on September 27, 2026

[Paper Review] CORDIAL: Calibrating Ordinal LLM Outputs from Few Labels

논문 개요와 전체 구조 LLM이 상품 리뷰에 별점 4점을 부여하면서 95%의 확률을 제시했다고 해도, 그 확률이 실제 정답 빈도와 맞는다는 뜻은 아닙니다. 문장의 의미는 잘 파악하면서도 항상 한 단계 높은 점수를 주거나, 극단적인 감정을 중립으로 압축할 수 있습니다. CORDIAL은 이러한 순서형 평가를 잡음이 섞인 측정으로 보고, 소수의 정답 라벨...
Paper ReviewNLP딥러닝머신러닝

Posted by Euisuk's Dev Log on September 26, 2026

[복습] 다시 근본으로, 언어모델을 오랜만에 복습해보자: Transformer to T5

최근 JEV라는 모델이 공개되면서 BERT 계열 인코더와의 비교가 다시 활발해졌고, 덕분에 BERT에 대한 관심도 한 번 더 올라갔습니다. 생성형 LLM이 대세가 된 지금도 분류·검색·라우팅처럼 “빠르고 정확하게 이해하는” 문제에서는 인코더 모델이 여전히 자주 언급됩니다. 그런데 막상 “BERT는 GPT와 학습 방식이 정확히 어떻게 다르지? 입력과 출...
TransformerNLP딥러닝개념정리

Posted by Euisuk's Dev Log on September 25, 2026

[Paper Review] CAST: Context- and Anomaly Structure-Conditioned Time Series Anomaly Generation

논문 개요와 전체 구조 시계열 이상탐지에서는 정상 데이터보다 이상 데이터의 확보가 어렵습니다. 발전량이나 교통량을 오래 관측해도 장애·급격한 변화 사례는 적을 수 있고, 심전도처럼 이상 형태가 다양한 데이터에서는 몇 개의 사례만으로 전체 분포를 배우기 어렵습니다. CAST는 주변의 정상 문맥과 생성하려는 이상 형태를 서로 다른 조건으로 제공해, 이상...
Paper Review시계열이상탐지딥러닝머신러닝

Posted by Euisuk's Dev Log on September 25, 2026

[Paper Review] Diffusion Drafts, AR Verifies: Accelerating Document OCR with Self-Speculative Decoding

논문 개요와 전체 구조 문서 이미지를 텍스트·HTML 표·LaTeX 수식으로 바꾸는 생성형 OCR에서는 결과가 길수록 토큰을 하나씩 출력하는 시간이 늘어납니다. GravityOCR는 여러 토큰의 초안을 병렬로 만들되, 출력 확정은 자기회귀 모델이 담당하도록 구성합니다. 하나의 모델이 attention 패턴을 바꾸어 block diffusion dra...
Paper ReviewComputer VisionTransformer딥러닝머신러닝

Posted by Euisuk's Dev Log on September 24, 2026

[Paper Review] TabPFN-3: Technical Report — 대규모 표 데이터와 추론 시 확장

논문 개요와 전체 구조 TabPFN-3는 합성 표 데이터로 사전학습한 모델에 실제 학습 표를 문맥으로 제공하여 새로운 행을 예측하는 tabular foundation model입니다. 이 기술 보고서의 중심 질문은 이 방식의 성능을 유지하면서 학습 행을 100만 개까지 늘리고, 반복 예측의 메모리와 지연 시간을 줄일 수 있는가입니다. 답은 행을 먼저...
Paper ReviewTransformer딥러닝머신러닝시계열

Posted by Euisuk's Dev Log on September 22, 2026

[Paper Review] A Closer Look at TabPFN v2: 강점의 원리와 추론 시 확장 전략

논문 개요와 전체 구조 TabPFN v2는 학습 데이터와 예측할 행을 함께 입력받아, 새 데이터셋마다 신경망을 미세조정하지 않고 정형 데이터의 분류·회귀를 수행하는 foundation model입니다. 그렇다면 열의 개수와 의미가 매번 바뀌는데도 어떻게 작동하며, 내부 표현을 별도의 모델에 사용할 수 있을까요? 입력이 너무 넓거나 길고 클래스가 많아...
Paper ReviewTransformer딥러닝머신러닝

Posted by Euisuk's Dev Log on September 22, 2026

[Paper Review] TabPFN v2: Accurate predictions on small data with a tabular foundation model

논문 개요와 전체 구조 TabPFN v2는 새로운 표 데이터셋을 받았을 때 어떤 예측기를 학습할 것인지 자체를 미리 학습한 모델입니다. 수많은 합성 데이터셋에서 예측 문제를 풀도록 Transformer를 사전학습하고, 실제 사용 시에는 정답이 있는 학습 행과 정답이 없는 질의 행을 문맥으로 전달합니다. 일반적인 사용 과정에서 모델 가중치를 다시 최적...
Paper ReviewTransformer딥러닝머신러닝

Posted by Euisuk's Dev Log on September 22, 2026

[Paper Review] TabPFN: 작은 정형 데이터의 학습을 Transformer 추론으로 바꾸다

논문 개요와 전체 구조 작은 정형 데이터로 분류기를 만들 때는 대개 모델을 고르고, 하이퍼파라미터를 탐색하고, 학습을 반복합니다. TabPFN은 이 절차 자체를 미리 학습한 Transformer에 맡깁니다. 새로운 데이터셋의 관측된 행과 정답, 예측할 행을 함께 입력하면 모델 가중치를 갱신하지 않고 클래스 확률을 출력합니다. 개별 데이터셋에 대한 학...
Paper ReviewTransformer딥러닝머신러닝

Posted by Euisuk's Dev Log on September 22, 2026

[Paper Review] GroupKV: 장문맥 확산 언어 모델의 계층적 KV 캐시 관리

논문 개요와 전체 구조 GroupKV는 긴 문맥을 처리하는 확산 대규모 언어 모델(diffusion large language model, dLLM)의 Key–Value(KV) 캐시를 CPU와 GPU 사이에서 효율적으로 관리하는 추론 시스템입니다. 확산 언어 모델은 마스크가 포함된 토큰들을 반복적으로 갱신하면서 문장을 생성합니다. 여러 토큰을 함께 ...
Paper ReviewNLPTransformer딥러닝머신러닝

Posted by Euisuk's Dev Log on September 18, 2026

[Paper Review] SenseNova-U1.5: 공간 복원과 전문가 증류로 통합하는 시각 지능

논문 개요와 전체 구조 SenseNova-U1.5는 이미지를 이해하는 모델과 이미지를 만드는 모델을 하나의 멀티모달 계산 구조 안에서 학습하는 연구입니다. 기존 시각 인코더와 Variational Autoencoder(VAE)를 연결하는 대신, RGB 픽셀과 텍스트에서 직접 출발합니다. 핵심은 모든 파라미터를 공유하는 데 있지 않습니다. 이해와 생성...
Paper ReviewComputer Vision딥러닝강화학습머신러닝

Posted by Euisuk's Dev Log on September 12, 2026

[Paper Review] Programmable World Model: 실행 가능한 상태와 영상 생성을 분리한 세계 모델

논문 개요와 전체 구조 영상 세계 모델은 사용자 행동에 반응하는 그럴듯한 장면을 만들 수 있습니다. 그러나 장면 밖으로 사라진 인물이 여전히 존재하는지, 공격 이후 체력이 얼마나 남았는지, 이미 발생한 사건이 이후에도 유효한지는 영상만으로 관리하기 어렵습니다. Programmable World Model(PWM)은 이러한 세계의 사실을 명시적 엔진이...
Paper Review머신러닝딥러닝Computer Vision

Posted by Euisuk's Dev Log on September 11, 2026

[Paper Review] Show-Harness 논문 리뷰: 의미 기반 행동 인터페이스로 VLM과 로봇을 연결하기

1. 논문 개요와 전체 구조 Show-Harness: Just a VLM Agent Can Play Robots는 시각과 언어를 함께 처리하는 Vision–Language Model(VLM)이 로봇을 조작할 때, 모델과 로봇 사이에 어떤 행동 인터페이스를 두어야 하는지 연구합니다. Show Lab의 Yanzhe Chen 등은 방향 이동·회전·잡기처럼...
Paper ReviewAI AgentComputer Vision딥러닝머신러닝

Posted by Euisuk's Dev Log on September 10, 2026

[토크] LLM 완벽 입문 가이드: Andrej Karpathy 강의 정리

원본 강의: Intro to Large Language Models - Andrej Karpathy (https://youtu.be/zjkBMFhNj_g) Slides as PDF: https://drive.google.com/file/d/1pxx_ZI7O-Nwl7ZLNk5hI3WzAsTLwvNU7/view (42MB) All the imag...
강의노트NLP딥러닝

Posted by Euisuk's Dev Log on December 26, 2025

[Paper Review] LLaVA: Visual Instruction Tuning - 멀티모달 AI의 새로운 패러다임

https://arxiv.org/pdf/2304.08485 논문 정보 제목: Visual Instruction Tuning 저자: Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee 소속: University of Wisconsin–Madison, Microsoft Research, ...
Paper ReviewComputer VisionNLP딥러닝

Posted by Euisuk's Dev Log on December 12, 2025

[Paper Review] LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models

https://arxiv.org/pdf/2403.15388 논문 정보 제목: LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models 저자: Yuzhang Shang, Mu Cai, Bingxin Xu, Yong Jae Lee, Yan Yan ...
Paper ReviewComputer VisionTransformer딥러닝

Posted by Euisuk's Dev Log on December 12, 2025

[Paper Review] MM-Groundung-DINO : An Open and Comprehensive Pipeline for Unified Object Grounding and Detection

https://arxiv.org/pdf/2401.02361 본 리뷰는 원문을 최대한 직역한 내용입니다. 여기서 “우리는”은 저자를 지칭합니다. 참고 부탁드립니다. 초록 Grounding-DINO는 Open-Vocabulary Detection (OVD), Phrase Grounding (PG), Referring Expression C...
Paper ReviewComputer VisionTransformer딥러닝

Posted by Euisuk's Dev Log on September 15, 2025

[Paper Review] LLM-Det : Learning Strong Open-Vocabulary Object Detectors under the Supervision of Large Language Models

https://arxiv.org/pdf/2501.18954 본 리뷰는 원문을 최대한 직역한 내용입니다. 여기서 “우리는”은 저자를 지칭합니다. 참고 부탁드립니다. Abstract 최근 open-vocabulary detector들은 풍부한 region-level 주석 데이터로 유망한 성능을 달성하고 있습니다. (참고) Regio...
Paper ReviewComputer VisionNLP딥러닝

Posted by Euisuk's Dev Log on September 15, 2025

[Paper Review] RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer

https://arxiv.org/pdf/2407.17140 본 리뷰는 원문을 최대한 직역한 내용입니다. 여기서 “우리는”은 저자를 지칭합니다. 참고 부탁드립니다. 초록 이 보고서에서는 개선된 실시간 Detection Transformer인 RT-DETRv2를 제시합니다. RT-DETRv2는 기존의 최신 실시간 detector인 RT-D...
Paper ReviewComputer VisionTransformer딥러닝

Posted by Euisuk's Dev Log on September 14, 2025

[Paper Review] OmDet_Turbo : Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head

https://arxiv.org/pdf/2403.06892 초록 End-to-end transformer 기반 detector (DETRs)는 언어 modality 통합을 통해 closed-set과 open-vocabulary object detection (OVD) 작업 모두에서 뛰어난 성능을 보여주었습니다. 그러나 높은 연산 요구사항으로...
Paper ReviewComputer VisionTransformer딥러닝

Posted by Euisuk's Dev Log on September 14, 2025

[OpenAI] 언어모델 환각(Hallucination) 현상: 왜 AI는 확신에 찬 거짓말을 할까?

Source: https://cdn.openai.com/pdf/d04913be-3f6f-4d2b-b283-ff432ef4aaa5/why-language-models-hallucinate.pdf https://openai.com/index/why-language-models-hallucinate/ 해당 블로그 포스...
Paper ReviewOpenAINLP딥러닝

Posted by Euisuk's Dev Log on September 7, 2025

[Paper Review] Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

https://arxiv.org/abs/2311.07919 1 CHU, Yunfei, et al. Qwen-audio: Advancing universal audio understanding via unified large-scale audio-language models. arXiv preprint arXiv:2311.07919, 202...
Paper ReviewQwen딥러닝Transformer

Posted by Euisuk's Dev Log on August 29, 2025

[Paper Review] A generic non-invasive neuromotor interface for human-computer interaction

메타(Meta)가 손목 밴드를 착용하고 손목이나 손가락의 작은 움직임만으로도 마우스 조작과 키보드 입력이 가능한 혁신적인 기술을 발표했습니다. 이 기술은 우리 몸이 만들어내는 아주 미세한 전기신호를 읽어내 컴퓨터와 소통하는 방식을 근본적으로 바꿀 잠재력을 가지고 있는데요. 손가락으로 허공이나 책상 위에 글씨를 쓰면 그대로 화면에 입력되는 미래가 현실로...
Paper Review딥러닝시계열

Posted by Euisuk's Dev Log on July 31, 2025

[도서리뷰] 경사 하강법 계보 정리(혁펜하임의 『Easy! 딥러닝』)

안녕하세요! 지난 『Easy! 딥러닝』 도서 소개 게시글(딥러닝 입문자를 위한 책 추천, 혁펜하임 『Easy! 딥러닝』)에 이어서 오늘은 핵심 챕터 분석 및 심층 탐구를 해보겠습니다 📸 (참고) 책 이미지들은 리뷰 목적으로 직접 촬영 후 첨부하였습니다. 이번 게시글에서는 “Chapter 2 – 인공 신경망과 선형 회귀, 그리고 최적화 기...
도서리뷰딥러닝개념정리

Posted by Euisuk's Dev Log on February 8, 2025

(설명추가) 웨이트 초기화 (Weight Initialization)

1. 웨이트 초기화란? 딥러닝에서 웨이트 초기화(Weight Initialization)는 신경망의 가중치를 학습 전에 설정하는 과정입니다. 초기화 방식에 따라 모델의 학습 속도, 성능, 안정성이 크게 달라질 수 있습니다. 적절한 초기화 방식은 훈련을 가속화하고, 최적화 과정에서 안정적인 학습을 보장하며, 그래디언트 소실 및 폭발 문제를 방지...
딥러닝개념정리PyTorch

Posted by Euisuk's Dev Log on February 1, 2025

(설명추가) Q-Learning: 강화학습의 핵심 개념과 이해

혁펜하임님의『Easy! 딥러닝』책을 보다보면 엄청 중요한 내용들이 쉽게 풀이되어 있습니다. 처음 배우시는 분들도 쉽게 따라오실 수 있습니다. 아래 그림과 같이 쉬운 예제와 용어 설명이 되어 있습니다. 사진 출처 : 책 내용 일부 사진 직접 촬영 강화학습에 문외한이었던 저도 개념에 대해서 쉽게 맥락을 잡을 수 있어서 개인적으로 너...
강화학습딥러닝개념정리도서리뷰

Posted by Euisuk's Dev Log on January 31, 2025

[도서소개] 딥러닝 입문자를 위한 책 추천, 혁펜하임 『Easy! 딥러닝』

최근 딥러닝에 대한 관심이 뜨겁습니다. 복잡해 보이는 AI 기술을 체계적으로 이해할 수 있는 책을 찾는 분들께 혁펜하임의 『Easy! 딥러닝』을 소개합니다. 이 책은 AI, 머신러닝, 딥러닝에 대한 기초부터 시작해 CNN, RNN, 트랜스포머 등 심화 주제까지 폭넓게 다룹니다. 특히, 저자이신 혁펜하임님은 유튜버와 강사로 활동하며 얻은 풍부한 ...
도서리뷰딥러닝

Posted by Euisuk's Dev Log on January 25, 2025

[Day 2] Reinforcement Fine-Tuning (RFT) 소개

안녕하세요!! 어제(12 Days of OpenAI: Day 1)에서 O1 모델을 공식 출시하며, ChatGPT의 추론 능력과 신뢰성을 강화한 Pro 플랜을 소개했는데요!! 오늘은 그 다음 단계(12 Days of OpenAI: Day 2)로, “강화 학습 기반 파인튜닝(Reinforcement Fine-Tuning, 이하 RFT)”을 활용한 최첨단...
OpenAI딥러닝

Posted by Euisuk's Dev Log on December 7, 2024

[TREND] 트렌스포머 이후의 차세대 아키텍쳐: MoE, SSM, RetNet, V-JEPA

2017년, “Attention is All You Need”라는 논문과 함께 등장한 트랜스포머(Transformer)는 AI 모델의 혁신적인 변화를 이끌었습니다. 현재, 대형 언어 모델(LLM)과 생성 AI는 언어, 비디오, 이미지 등의 데이터 처리에서 압도적인 성능을 발휘하며 우리 삶의 다양한 영역에서 활용되고 있습니다. 그러나 트랜스포머 기...
Transformer트렌드딥러닝IT지식State Space Model

Posted by Euisuk's Dev Log on November 30, 2024

Unlearning : 머신러닝 모델도 '잊을 수 있다'

딥러닝과 머신러닝은 오늘날 다양한 분야에서 놀라운 성과를 거두고 있습니다. 하지만 모델이 학습한 정보 중 불필요하거나 민감한 정보를 삭제해야 하는 상황도 발생합니다. 예를 들어, 개인정보 보호 규정에 따라 모델이 특정 사용자의 데이터를 삭제해야 하거나, 학습 과정에서 발생한 편향(Bias)을 교정해야 할 수 있습니다. 이러한 필요를 충족...
머신러닝딥러닝개념정리IT지식

Posted by Euisuk's Dev Log on November 3, 2024

[개념] GLU와 그 변형들: 역사와 주요 개념 정리

딥러닝 분야에서 활성화 함수는 신경망 모델이 학습할 때 중요한 역할을 합니다. 이 중에서도 GLU(Gated Linear Unit)는 고급 모델에서 자주 사용되는 활성화 함수 중 하나입니다. 특히 자연어 처리(NLP)와 같은 분야에서 뛰어난 성능을 발휘하며, 이 활성화 함수에서 파생된 여러 변형들이 연구되었습니다. 이번 글에서는 GLU와 그 변형들,...
개념정리딥러닝Transformer

Posted by Euisuk's Dev Log on October 14, 2024

[Paper Review] Mamba2 - Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality

링크 : https://arxiv.org/pdf/2405.21060 다음은 논문 “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality”의 각 챕터별로 자세한 리뷰 및 정리입니다. 1. Introdu...
Paper ReviewNLPTransformer딥러닝State Space Model

Posted by Euisuk's Dev Log on October 2, 2024

[Paper Review] A COMPREHENSIVE REVIEW OF YOLO ARCHITECTURES IN COMPUTER VISION: FROM YOLOV1 TO YOLOV8 AND YOLO-NAS

YOLO 모델 서베이 페이퍼 링크 : https://www.mdpi.com/2504-4990/5/4/83 📖 (참고) YOLO 버전의 발전 💡 공식 버전: YOLO의 원 개발자인 Joseph Redmon은 YOLOv3까지 개발했습니다. 이후 그는 윤리적 이유로 객체 탐지 연구를 중단했습니다. Joseph Redmon이 객체 탐...
Computer VisionPaper Review딥러닝CNN

Posted by Euisuk's Dev Log on October 2, 2024

[Paper Review] Mamba: Linear-Time Sequence Modeling with Selective State Spaces

최근 딥러닝 아키텍처의 중심에는 트랜스포머가 자리 잡고 있습니다. 대규모 언어 모델(LLM)뿐만 아니라, 그림을 생성하는 데 쓰이는 디퓨전 모델 또한 트랜스포머 구조를 활용하고 있습니다. 이외에도 시계열 분석이나 추천 시스템과 같은 다양한 분야에서 트랜스포머가 핵심적인 역할을 하고 있습니다. 그러나 트랜스포머를 대체할 수 있는 새로운 아키텍처를 모색...
Paper ReviewState Space Model딥러닝NLP시계열

Posted by Euisuk's Dev Log on September 29, 2024

[Paper Review] Structured State Space Models for Deep Sequence Modeling

시계열 데이터를 효율적으로 처리하는 방법은 지난 몇 년 동안 빠르게 발전했습니다. 특히, CMU에 계신 Albert Gu 교수님은 긴 시계열 의존성(Long-Range Dependencies, LRDs)을 처리하는 데 집중한 HiPPO(2020), LSSL(2021), 그리고 S4(2022)와 같은 연구들을 하고 계십니다. 이번 글에서는 연구의 흐름...
Paper ReviewState Space Model딥러닝시계열

Posted by Euisuk's Dev Log on September 25, 2024

[Paper Review] Resurrecting Recurrent Neural Networks for Long Sequences

논문 “Resurrecting Recurrent Neural Networks for Long Sequences”는 25 Apr 2023에 publish되었으며, ICML 2023 OralPoster에 발표된 논문입니다. 해당 논문은 “Recurrent Neural Networks (RNN)의 성능을 복원하여 긴 시퀀스에서의 효율적인 학습과 추론”을 ...
Paper ReviewState Space Model딥러닝시계열

Posted by Euisuk's Dev Log on September 24, 2024

[Paper Review] 합성 데이터 = 모델 붕괴?

들어가며 최근 인공지능(AI) 분야에서 매우 흥미로운 두 논문이 Nature에 게재되어 큰 화제를 모으고 있습니다. 아래 두 논문은 공통적으로 AI 모델의 발전과 관련된 중대한 문제를 다루고 있으며, AI 기술의 장기적인 위험성을 경고하고 있습니다. AI models collapse when trained on recursively gener...
Paper ReviewNLP딥러닝

Posted by Euisuk's Dev Log on August 26, 2024

[CV Notes] Lecture 18 - Videos

다음은 아래 “Lecture 18. Videos”에 대한 요약 및 필기 내용을 정리한 것입니다. 틀린 내용이 있다면 댓글 부탁드립니다 🙌 Course Website: https://web.eecs.umich.edu/~justincj/teaching/eecs498/ Instructor: Justin Johnson Lecture 18: Vi...
Computer Vision강의노트딥러닝CNN

Posted by Euisuk's Dev Log on August 16, 2024

[CV Notes] Lecture 17 - 3D Vision

다음은 아래 Lecture에 대한 요약 및 필기 내용을 정리한 것입니다. 틀린 내용이 있다면 댓글 부탁드립니다 🙌 Course Website: https://web.eecs.umich.edu/~justincj/teaching/eecs498/ Instructor: Justin Johnson Lecture 17: 3D Vision 1...
Computer Vision강의노트딥러닝CNN

Posted by Euisuk's Dev Log on August 14, 2024

[CS294] Deep Unsupervised Learning: Introduction

다음은 아래 “Berkeley CS294 강의”에 대한 요약 및 필기 내용을 정리한 것입니다. 틀린 내용이 있다면 댓글 부탁드립니다 🙌 Course : CS294-158 SP24 Deep Unsupervised Learning Instructor: Pieter Abbeel Lecture # : L1. Introduction 본 강의는...
비지도학습강의노트딥러닝머신러닝

Posted by Euisuk's Dev Log on August 14, 2024

[NLP] 4. Natural Language Embeddings

Natural Language Embeddings 자연어 처리(NLP)에서 텍스트 데이터를 효율적으로 다루기 위해 다양한 자연어 임베딩 기법(Natural Language Embedding)이 사용됩니다. 이번 포스트에서는 이러한 기법들을 자세히 설명하고, 각 기법의 예시를 통해 이해를 돕고자 합니다. 🔎 Text Representatio...
NLP강의노트딥러닝Python

Posted by Euisuk's Dev Log on July 29, 2024

[Graph] 4장. Graph Neural Networks: Algorithms

1. Introduction 그래프 구조 데이터는 복잡한 관계와 상호작용을 모델링하는 데 매우 유용합니다. 이러한 데이터를 효과적으로 분석하고 학습하기 위해 그래프 신경망(Graph Neural Networks, GNN)과 그래프 임베딩(Graph Embedding) 기법이 개발되었습니다. 1.1 그래프 신경망 모델 vs 그래프 임베딩 그래...
Graph딥러닝PyTorch개념정리

Posted by Euisuk's Dev Log on July 18, 2024

[Graph] 3장. Graph Node Embedding Methods

1. 그래프 노드 임베딩의 필요성 그래프 노드 임베딩은 그래프의 각 노드를 저차원 벡터 공간으로 매핑하는 과정입니다. 이는 그래프 데이터를 기계 학습 알고리즘에 적용하기 쉽게 만들어줍니다. 여기서 중요한 질문은 다음과 같습니다. 어떤 정보(WHAT)를 우리는 보존(preserve, e...
Graph개념정리딥러닝

Posted by Euisuk's Dev Log on July 18, 2024

[Graph] 2장. Graph Neural Networks

1. GNN 개요 GNN(Graph Neural Networks)은 그래프 구조의 데이터를 처리하기 위해 개발된 딥러닝 방법입니다. 실제 세계의 많은 데이터가 그래프 형태로 표현될 수 있습니다: 소셜 네트워크: 사용자는 노드, 친구 관계는 엣지 분자 구조: 원자는 노드, 화학 결합은 엣지 교통 네트워크: 교차로는 노드, 도로는 엣지 ...
Graph개념정리딥러닝

Posted by Euisuk's Dev Log on July 17, 2024

[Graph] 1장. 그래프와 GNN

1. 그래프란? 그래프는 현실 세계의 데이터를 표현하는 중요한 도구로 사용됩니다. 다양한 분야에서 그래프를 활용하여 관계와 구조를 모델링할 수 있습니다. 예시: 사회 과학: 소셜 네트워크에서 개인 간의 관계를 그래프로 표현할 수 있습니다. 예를 들어, 페이스북 친구 관계는 노드(사용자)와 에지(친구 관계)로 나타낼 수...
Graph딥러닝개념정리수학

Posted by Euisuk's Dev Log on July 17, 2024

[개념] Deep Learning Normalization Techniques

딥러닝에서의 정규화 기법 출처: https://theaisummer.com/normalization/ 정규화의 정의와 목적 정규화(Normalization)는 데이터의 스케일을 조정하는 과정으로, 머신러닝과 딥러닝에서 모두 중요한 역할을 합니다. 그러나 전통적인 머신러닝에서의 정규화와 딥러닝에서의 정규화는 그 목적과 방법에 있어 약간의 차이가 ...
딥러닝개념정리PyTorch

Posted by Euisuk's Dev Log on July 2, 2024

[Linux] 딥러닝 환경 구축 : CUDA, CuDNN

오늘 회사 로컬 서버가 다운되면서 기존에 오래된 파일들을 밀고 새롭게 다시 설치할 기회가 왔다!!! 파일은 다행히 복원을 완료해서 지금에서야 웃으면서 쓰지만… 정말이지 끔찍한 8시간이었다…ㅎㅎ 출근해서 업무를 좀 하다보니 서버가 무한 복구 모드로 빠져서 복원되지 않는 문제에 빠졌다… 특정 패키지를 설치하시면서 시스템 파일을 건드린 것 같았고.. 도저...
환경설정LinuxNVIDIA딥러닝

Posted by Euisuk's Dev Log on April 24, 2024

[개념] 생성 AI의 학습 방식: 제로샷·원샷·퓨샷 러닝

최근 챗GPT로 인해 부상한 제로샷(zero-shot), 원샷(one-shot), 퓨샷(few-shot) 러닝 기법은 데이터를 일일이 라벨링하지 않고도 머신러닝 모델을 학습시킬 수 있도록 해줍니다. 해당 포스트는 CV(Computer Vision) 및 NLP(Natural Language Processing)의 관점에서 N-shot learning을 ...
개념정리딥러닝NLPComputer Vision

Posted by Euisuk's Dev Log on March 11, 2024

[파이토치] 파이토치로 CNN 모델을 구현해보자! (ResNet편)

안녕하세요! 지난번 포스트인 VGGNet과 GoogleNet 이후로 오늘은 ResNet 관련 포스트입니다. 2번에 걸친 포스팅에서 소개드렸다시피 컴퓨터 비전 대회 중에 ILSVRC (Imagenet Large Scale Visual Recognition Challenges)이라는 대회가 있는데, 본 대회는 거대 이미지를 1000개의 서브이미지로 분류...
PyTorchCNN딥러닝Computer Vision

Posted by Euisuk's Dev Log on December 19, 2021

[파이토치] 파이토치로 CNN 모델을 구현해보자! (GoogleNet편)

안녕하세요! 지난번 포스트인 VGGNet 이후로 오늘은 GoogleNet 관련 포스트입니다. 다음 포스트는 ResNet으로 찾아뵙도록 하겠습니다. 지난번에도 소개드렸다시피 컴퓨터 비전 대회 중에 ILSVRC (Imagenet Large Scale Visual Recognition Challenges)이라는 대회가 있는데, 본 대회는 거대 이미지를 1...
PyTorchCNN딥러닝Computer Vision

Posted by Euisuk's Dev Log on November 28, 2021

[파이토치] 파이토치로 CNN 모델을 구현해보자! (VGGNet편)

안녕하세요! 오늘 포스팅부터 다음다음 포스팅까지는 CNN 모델의 뼈대가 되는 모델들인 VGGNet, GoogleNet, ResNet을 소개하고 이를 구현해보는 시간을 갖도록 하겠습니다! :) 이번 포스팅은 VGGNet 관련 포스트입니다. 먼저 ILSVRC (Imagenet Large Scale Visual Recognition Challenges)이...
PyTorchCNN딥러닝Computer Vision

Posted by Euisuk's Dev Log on November 27, 2021

[파이토치] 파이토치로 CNN 모델을 구현해보자! (기초편 + DataLoader 사용법)

MNIST 데이터 - CNN 실습 오늘은 MNIST 데이터로 Convolutional Neural Network(이하 CNN)을 구현하고 돌려보는 시간을 갖도록 하겠습니다! 먼저, CNN은 크게 아래와 같은 구성요소로 이루어져 있습니다. 합성곱 연산(Convolution) : 이미지의 특성을 추출하는 계층 맥스풀링(Max Pooling)...
PyTorchCNN딥러닝Computer Vision

Posted by Euisuk's Dev Log on November 26, 2021

[Paper Review] An Image Is Worth 16x16 Words : Transformers for Image Recognition at Scale (Vision Transformer)

선정 이유 안녕하세요! 오늘 논문리뷰, 코드리뷰해볼 논문은 “An Image Is Worth 16x16 Words: Transformers for Image Recognition at Scale” 로, 컴퓨터 비전에서 Transformer와 Attention이 쓰이게 된 결정적 계기(?)가 된 논문입니다. 최근 이쪽 분야에 관심이 많다 보니 오늘은 ...
Paper ReviewTransformerComputer Vision딥러닝PyTorch

Posted by Euisuk's Dev Log on November 7, 2021

[Paper Review] An Architecture Combining Convolutional Neural Network(CNN) and Support Vector Machine(SVM) for Image Classification

오늘 리뷰/번역/구현할 논문은 “Abien Fred M. Agarap” 저자가 쓴 논문으로, “Yichuan Tang”의 “Deep Learning using Linear Support Vector Machines”을 보고 inspired되어 연구하게 되었다고 한다. 하단의 참고 논문 소스에 해당 논문 링크와 이번 논문의 링크를 첨부였다. (참고) ...
Paper ReviewComputer Vision딥러닝PyTorch

Posted by Euisuk's Dev Log on November 1, 2021

[파이토치] 파이토치 기초 요소 (Autograd란)

순전파와 역전파 신경망(Neural Network)은 어떤 입력 데이터에 대해 실행되는 중첩된 함수들의 집합체입니다. 신경망을 아래 2단계를 거쳐 학습됩니다 : 순전파(Forward Propagation) 역전파(Backward Propagation) Forward Propagation (순전파) Forward Propagatio...
PyTorch딥러닝개념정리

Posted by Euisuk's Dev Log on September 16, 2021

[파이토치] 파이토치 기초 요소 (텐서편)

오늘은 파이토치를 다루기 위해 중요한 기초 지식들 중 텐서에 대해 다루어볼 예정입니다. Source : https://hadrienj.github.io/posts/Deep-Learning-Book-Series-2.1-Scalars-Vectors-Matrices-and-Tensors/ 텐서 텐서는 ‘데이터를 표현하는 단위’입니다. ...
PyTorch딥러닝Python

Posted by Euisuk's Dev Log on September 14, 2021

[Paper Review] Transferring Inductive Bias Through Knowledge Distillation - (3/3)

안녕하세요 :) 오늘은 지난번 포스팅에 이어서 “Transferring Inductive Bias Through Knowledge Distillation” 논문에 대한 정리를 이어나가 보도록 하겠습니다. 이전 포스팅에서 본 논문에서 다루게 될 주요 개념들인 Knowledge Distillation과 Inductive Bias에 대한 설명과 RNNs v...
Paper ReviewDistillationComputer Vision딥러닝

Posted by Euisuk's Dev Log on September 13, 2021

[개념] CPU, GPU, 그리고 GPU 원리

CPU와 GPU 딥러닝과 머신러닝을 학습하거나 작업할 때 GPU를 사용하는 것은 이제 당연하게 여겨집니다. 실제로 아래와 같은 코드로 GPU나 CPU를 손쉽게 선택할 수 있습니다. 1 2 3 4 5 6 7 8 import torch # CUDA 사용 여부 확인 USE_CUDA = torch.cuda.is_available() print(USE_C...
개념정리IT지식NVIDIA딥러닝

Posted by Euisuk's Dev Log on September 11, 2021

[Paper Review] Transferring Inductive Bias Through Knowledge Distillation - (2/3)

안녕하세요 :) 오늘은 지난번 포스팅에 이어서 “Transferring Inductive Bias Through Knowledge Distillation” 논문에 대한 정리를 이어나가 보도록 하겠습니다. 이전 포스팅에서 본 논문에서 다루게 될 주요 개념들인 Knowledge Distillation과 Inductive Bias에 대한 설명을 해보았는데요...
Paper ReviewDistillationNLP딥러닝

Posted by Euisuk's Dev Log on August 27, 2021

[Paper Review] Transferring Inductive Bias Through Knowledge Distillation - (1/3)

안녕하세요 :) 오늘 블로그 포스팅으로 다뤄볼 내용은 얼마 전에 흥미롭게 읽어보았던 “Transferring Inductive Bias Through Knowledge Distillation”이라는 논문인데요! 해당 논문은 Knowledge Distillation을 이용하여 과연 Inductive Bias를 전달할 수 있을 까를 다룬 논문입니다. 아쉽...
Paper ReviewDistillation딥러닝

Posted by Euisuk's Dev Log on August 15, 2021

[딥러닝][개념정리] Inductive Bias란?

Inductive Bias Overview Inductive Bias란 무엇일까요? 최근 논문들을 보면 그냥 Bias도 아니고 Inductive Bias라는 말이 자주 나오는 것을 확인할 수 있는데요! 오늘은 해당 개념에 대해 정리해보는 시간을 가지려고 합니다. 공부하면서 작성한 글이므로 틀린 개념이 있다면 언제든 피드백 환영합니다. Bias(편...
개념정리딥러닝머신러닝

Posted by Euisuk's Dev Log on June 6, 2021

FEATURED TAGS
개념정리 딥러닝 AI Agent OpenAI Paper Review Python NLP 머신러닝 Conference Tools 꿀팁 강의노트 ChatGPT 환경설정 Prompt Engineering Computer Vision IT지식 트렌드 Transformer RAG Linux 시계열 LangChain Google Vibe Coding NVIDIA PyTorch 이상탐지 수학 비지도학습 CES Claude Gemini Git Lovable Anthropic 차원축소 CIO CNN EXAONE Pandas Visualization LangGraph LG Repo Review State Space Model Graph SK AI Summit Snippet Sora 도서리뷰 Distillation Network Qwen 알고리즘 데이터분석 MCP Ollama NumPy 강화학습 Splunk Velog
ABOUT ME

서쿠 개발노트⭐
Data Scientist

FRIEND SITES