딥러닝 | Euisuk’s Dev Log

[토크] LLM 완벽 입문 가이드: Andrej Karpathy 강의 정리

원본 강의: Intro to Large Language Models - Andrej Karpathy (https://youtu.be/zjkBMFhNj_g) Slides as PDF: https://drive.google.com/file/d/1pxx_ZI7O-Nwl7ZLNk5hI3WzAsTLwvNU7/view (42MB) All the imag...

강의노트 NLP 딥러닝

Posted by Euisuk's Dev Log on December 26, 2025

[Paper Review] LLaVA: Visual Instruction Tuning - 멀티모달 AI의 새로운 패러다임

https://arxiv.org/pdf/2304.08485 논문 정보 제목: Visual Instruction Tuning 저자: Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee 소속: University of Wisconsin–Madison, Microsoft Research, ...

Paper Review Computer Vision NLP 딥러닝

Posted by Euisuk's Dev Log on December 12, 2025

[Paper Review] LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models

https://arxiv.org/pdf/2403.15388 논문 정보 제목: LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models 저자: Yuzhang Shang, Mu Cai, Bingxin Xu, Yong Jae Lee, Yan Yan ...

Paper Review Computer Vision Transformer 딥러닝

Posted by Euisuk's Dev Log on December 12, 2025

[Paper Review] MM-Groundung-DINO : An Open and Comprehensive Pipeline for Unified Object Grounding and Detection

https://arxiv.org/pdf/2401.02361 본 리뷰는 원문을 최대한 직역한 내용입니다. 여기서 “우리는”은 저자를 지칭합니다. 참고 부탁드립니다. 초록 Grounding-DINO는 Open-Vocabulary Detection (OVD), Phrase Grounding (PG), Referring Expression C...

Paper Review Computer Vision Transformer 딥러닝

Posted by Euisuk's Dev Log on September 15, 2025

[Paper Review] LLM-Det : Learning Strong Open-Vocabulary Object Detectors under the Supervision of Large Language Models

https://arxiv.org/pdf/2501.18954 본 리뷰는 원문을 최대한 직역한 내용입니다. 여기서 “우리는”은 저자를 지칭합니다. 참고 부탁드립니다. Abstract 최근 open-vocabulary detector들은 풍부한 region-level 주석 데이터로 유망한 성능을 달성하고 있습니다. (참고) Regio...

Paper Review Computer Vision NLP 딥러닝

Posted by Euisuk's Dev Log on September 15, 2025

[Paper Review] RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer

https://arxiv.org/pdf/2407.17140 본 리뷰는 원문을 최대한 직역한 내용입니다. 여기서 “우리는”은 저자를 지칭합니다. 참고 부탁드립니다. 초록 이 보고서에서는 개선된 실시간 Detection Transformer인 RT-DETRv2를 제시합니다. RT-DETRv2는 기존의 최신 실시간 detector인 RT-D...

Paper Review Computer Vision Transformer 딥러닝

Posted by Euisuk's Dev Log on September 14, 2025

[Paper Review] OmDet_Turbo : Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head

https://arxiv.org/pdf/2403.06892 초록 End-to-end transformer 기반 detector (DETRs)는 언어 modality 통합을 통해 closed-set과 open-vocabulary object detection (OVD) 작업 모두에서 뛰어난 성능을 보여주었습니다. 그러나 높은 연산 요구사항으로...

Paper Review Computer Vision Transformer 딥러닝

Posted by Euisuk's Dev Log on September 14, 2025

[OpenAI] 언어모델 환각(Hallucination) 현상: 왜 AI는 확신에 찬 거짓말을 할까?

Source: https://cdn.openai.com/pdf/d04913be-3f6f-4d2b-b283-ff432ef4aaa5/why-language-models-hallucinate.pdf https://openai.com/index/why-language-models-hallucinate/ 해당 블로그 포스...

Paper Review OpenAI NLP 딥러닝

Posted by Euisuk's Dev Log on September 7, 2025

[Paper Review] Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

https://arxiv.org/abs/2311.07919 1 CHU, Yunfei, et al. Qwen-audio: Advancing universal audio understanding via unified large-scale audio-language models. arXiv preprint arXiv:2311.07919, 202...

Paper Review Qwen 딥러닝 Transformer

Posted by Euisuk's Dev Log on August 29, 2025

[Paper Review] A generic non-invasive neuromotor interface for human-computer interaction

메타(Meta)가 손목 밴드를 착용하고 손목이나 손가락의 작은 움직임만으로도 마우스 조작과 키보드 입력이 가능한 혁신적인 기술을 발표했습니다. 이 기술은 우리 몸이 만들어내는 아주 미세한 전기신호를 읽어내 컴퓨터와 소통하는 방식을 근본적으로 바꿀 잠재력을 가지고 있는데요. 손가락으로 허공이나 책상 위에 글씨를 쓰면 그대로 화면에 입력되는 미래가 현실로...

Paper Review 딥러닝 시계열

Posted by Euisuk's Dev Log on July 31, 2025

[도서리뷰] 경사 하강법 계보 정리(혁펜하임의 『Easy! 딥러닝』)

안녕하세요! 지난 『Easy! 딥러닝』 도서 소개 게시글(딥러닝 입문자를 위한 책 추천, 혁펜하임 『Easy! 딥러닝』)에 이어서 오늘은 핵심 챕터 분석 및 심층 탐구를 해보겠습니다 📸 (참고) 책 이미지들은 리뷰 목적으로 직접 촬영 후 첨부하였습니다. 이번 게시글에서는 “Chapter 2 – 인공 신경망과 선형 회귀, 그리고 최적화 기...

도서리뷰 딥러닝 개념정리

Posted by Euisuk's Dev Log on February 8, 2025

(설명추가) 웨이트 초기화 (Weight Initialization)

1. 웨이트 초기화란? 딥러닝에서 웨이트 초기화(Weight Initialization)는 신경망의 가중치를 학습 전에 설정하는 과정입니다. 초기화 방식에 따라 모델의 학습 속도, 성능, 안정성이 크게 달라질 수 있습니다. 적절한 초기화 방식은 훈련을 가속화하고, 최적화 과정에서 안정적인 학습을 보장하며, 그래디언트 소실 및 폭발 문제를 방지...

딥러닝 개념정리 PyTorch

Posted by Euisuk's Dev Log on February 1, 2025

(설명추가) Q-Learning: 강화학습의 핵심 개념과 이해

혁펜하임님의『Easy! 딥러닝』책을 보다보면 엄청 중요한 내용들이 쉽게 풀이되어 있습니다. 처음 배우시는 분들도 쉽게 따라오실 수 있습니다. 아래 그림과 같이 쉬운 예제와 용어 설명이 되어 있습니다. 사진 출처 : 책 내용 일부 사진 직접 촬영 강화학습에 문외한이었던 저도 개념에 대해서 쉽게 맥락을 잡을 수 있어서 개인적으로 너...

강화학습 딥러닝 개념정리 도서리뷰

Posted by Euisuk's Dev Log on January 31, 2025

[도서소개] 딥러닝 입문자를 위한 책 추천, 혁펜하임 『Easy! 딥러닝』

최근 딥러닝에 대한 관심이 뜨겁습니다. 복잡해 보이는 AI 기술을 체계적으로 이해할 수 있는 책을 찾는 분들께 혁펜하임의 『Easy! 딥러닝』을 소개합니다. 이 책은 AI, 머신러닝, 딥러닝에 대한 기초부터 시작해 CNN, RNN, 트랜스포머 등 심화 주제까지 폭넓게 다룹니다. 특히, 저자이신 혁펜하임님은 유튜버와 강사로 활동하며 얻은 풍부한 ...

도서리뷰 딥러닝

Posted by Euisuk's Dev Log on January 25, 2025

[도서리뷰] 딥러닝 입문자를 위한 책 추천, 혁펜하임 『Easy! 딥러닝』

최근 딥러닝에 대한 관심이 뜨겁습니다. 복잡해 보이는 AI 기술을 체계적으로 이해할 수 있는 책을 찾는 분들께 혁펜하임의 『Easy! 딥러닝』을 소개합니다. 이 책은 AI, 머신러닝, 딥러닝에 대한 기초부터 시작해 CNN, RNN, 트랜스포머 등 심화 주제까지 폭넓게 다룹니다. 특히, 저자이신 혁펜하임님은 유튜버와 강사로 활동하며 얻은 풍부한 ...

도서리뷰 딥러닝

Posted by Euisuk's Dev Log on January 25, 2025

[Day 2] Reinforcement Fine-Tuning (RFT) 소개

안녕하세요!! 어제(12 Days of OpenAI: Day 1)에서 O1 모델을 공식 출시하며, ChatGPT의 추론 능력과 신뢰성을 강화한 Pro 플랜을 소개했는데요!! 오늘은 그 다음 단계(12 Days of OpenAI: Day 2)로, “강화 학습 기반 파인튜닝(Reinforcement Fine-Tuning, 이하 RFT)”을 활용한 최첨단...

OpenAI ChatGPT 딥러닝

Posted by Euisuk's Dev Log on December 7, 2024

[TREND] 트렌스포머 이후의 차세대 아키텍쳐: MoE, SSM, RetNet, V-JEPA

2017년, “Attention is All You Need”라는 논문과 함께 등장한 트랜스포머(Transformer)는 AI 모델의 혁신적인 변화를 이끌었습니다. 현재, 대형 언어 모델(LLM)과 생성 AI는 언어, 비디오, 이미지 등의 데이터 처리에서 압도적인 성능을 발휘하며 우리 삶의 다양한 영역에서 활용되고 있습니다. 그러나 트랜스포머 기...

Transformer 트렌드 딥러닝 Paper Review IT지식

Posted by Euisuk's Dev Log on November 30, 2024

Unlearning : 머신러닝 모델도 '잊을 수 있다'

딥러닝과 머신러닝은 오늘날 다양한 분야에서 놀라운 성과를 거두고 있습니다. 하지만 모델이 학습한 정보 중 불필요하거나 민감한 정보를 삭제해야 하는 상황도 발생합니다. 예를 들어, 개인정보 보호 규정에 따라 모델이 특정 사용자의 데이터를 삭제해야 하거나, 학습 과정에서 발생한 편향(Bias)을 교정해야 할 수 있습니다. 이러한 필요를 충족...

머신러닝 딥러닝 개념정리 IT지식

Posted by Euisuk's Dev Log on November 3, 2024

[개념] GLU와 그 변형들: 역사와 주요 개념 정리

딥러닝 분야에서 활성화 함수는 신경망 모델이 학습할 때 중요한 역할을 합니다. 이 중에서도 GLU(Gated Linear Unit)는 고급 모델에서 자주 사용되는 활성화 함수 중 하나입니다. 특히 자연어 처리(NLP)와 같은 분야에서 뛰어난 성능을 발휘하며, 이 활성화 함수에서 파생된 여러 변형들이 연구되었습니다. 이번 글에서는 GLU와 그 변형들,...

개념정리 딥러닝 Transformer

Posted by Euisuk's Dev Log on October 14, 2024

[Paper Review] Mamba2 - Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality

링크 : https://arxiv.org/pdf/2405.21060 다음은 논문 “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality”의 각 챕터별로 자세한 리뷰 및 정리입니다. 1. Introdu...

Paper Review NLP Transformer 딥러닝 시계열

Posted by Euisuk's Dev Log on October 2, 2024

[Paper Review] A COMPREHENSIVE REVIEW OF YOLO ARCHITECTURES IN COMPUTER VISION: FROM YOLOV1 TO YOLOV8 AND YOLO-NAS

YOLO 모델 서베이 페이퍼 링크 : https://www.mdpi.com/2504-4990/5/4/83 📖 (참고) YOLO 버전의 발전 💡 공식 버전: YOLO의 원 개발자인 Joseph Redmon은 YOLOv3까지 개발했습니다. 이후 그는 윤리적 이유로 객체 탐지 연구를 중단했습니다. Joseph Redmon이 객체 탐...

Computer Vision Paper Review 딥러닝

Posted by Euisuk's Dev Log on October 2, 2024

[Paper Review] Mamba: Linear-Time Sequence Modeling with Selective State Spaces

최근 딥러닝 아키텍처의 중심에는 트랜스포머가 자리 잡고 있습니다. 대규모 언어 모델(LLM)뿐만 아니라, 그림을 생성하는 데 쓰이는 디퓨전 모델 또한 트랜스포머 구조를 활용하고 있습니다. 이외에도 시계열 분석이나 추천 시스템과 같은 다양한 분야에서 트랜스포머가 핵심적인 역할을 하고 있습니다. 그러나 트랜스포머를 대체할 수 있는 새로운 아키텍처를 모색...

Paper Review State Space Model 딥러닝 NLP 시계열

Posted by Euisuk's Dev Log on September 29, 2024

[Paper Review] Structured State Space Models for Deep Sequence Modeling

시계열 데이터를 효율적으로 처리하는 방법은 지난 몇 년 동안 빠르게 발전했습니다. 특히, CMU에 계신 Albert Gu 교수님은 긴 시계열 의존성(Long-Range Dependencies, LRDs)을 처리하는 데 집중한 HiPPO(2020), LSSL(2021), 그리고 S4(2022)와 같은 연구들을 하고 계십니다. 이번 글에서는 연구의 흐름...

Paper Review State Space Model 딥러닝 시계열 NLP

Posted by Euisuk's Dev Log on September 25, 2024

[Paper Review] Resurrecting Recurrent Neural Networks for Long Sequences

논문 “Resurrecting Recurrent Neural Networks for Long Sequences”는 25 Apr 2023에 publish되었으며, ICML 2023 OralPoster에 발표된 논문입니다. 해당 논문은 “Recurrent Neural Networks (RNN)의 성능을 복원하여 긴 시퀀스에서의 효율적인 학습과 추론”을 ...

Paper Review State Space Model 딥러닝 시계열 NLP

Posted by Euisuk's Dev Log on September 24, 2024

[Paper Review] 합성 데이터 = 모델 붕괴?

들어가며 최근 인공지능(AI) 분야에서 매우 흥미로운 두 논문이 Nature에 게재되어 큰 화제를 모으고 있습니다. 아래 두 논문은 공통적으로 AI 모델의 발전과 관련된 중대한 문제를 다루고 있으며, AI 기술의 장기적인 위험성을 경고하고 있습니다. AI models collapse when trained on recursively gener...

Paper Review NLP 딥러닝

Posted by Euisuk's Dev Log on August 26, 2024

[CV Notes] Lecture 18 - Videos

다음은 아래 “Lecture 18. Videos”에 대한 요약 및 필기 내용을 정리한 것입니다. 틀린 내용이 있다면 댓글 부탁드립니다 🙌 Course Website: https://web.eecs.umich.edu/~justincj/teaching/eecs498/ Instructor: Justin Johnson Lecture 18: Vi...

Computer Vision 강의노트 딥러닝 CNN

Posted by Euisuk's Dev Log on August 16, 2024

[CV Notes] Lecture 17 - 3D Vision

다음은 아래 Lecture에 대한 요약 및 필기 내용을 정리한 것입니다. 틀린 내용이 있다면 댓글 부탁드립니다 🙌 Course Website: https://web.eecs.umich.edu/~justincj/teaching/eecs498/ Instructor: Justin Johnson Lecture 17: 3D Vision 1...

Computer Vision 강의노트 딥러닝 CNN

Posted by Euisuk's Dev Log on August 14, 2024

[CS294] Deep Unsupervised Learning: Introduction

다음은 아래 “Berkeley CS294 강의”에 대한 요약 및 필기 내용을 정리한 것입니다. 틀린 내용이 있다면 댓글 부탁드립니다 🙌 Course : CS294-158 SP24 Deep Unsupervised Learning Instructor: Pieter Abbeel Lecture # : L1. Introduction 본 강의는...

비지도학습 강의노트 딥러닝 머신러닝

Posted by Euisuk's Dev Log on August 14, 2024

[NLP] 4. Natural Language Embeddings

Natural Language Embeddings 자연어 처리(NLP)에서 텍스트 데이터를 효율적으로 다루기 위해 다양한 자연어 임베딩 기법(Natural Language Embedding)이 사용됩니다. 이번 포스트에서는 이러한 기법들을 자세히 설명하고, 각 기법의 예시를 통해 이해를 돕고자 합니다. 🔎 Text Representatio...

NLP 강의노트 딥러닝 Python

Posted by Euisuk's Dev Log on July 29, 2024

[Graph] 4장. Graph Neural Networks: Algorithms

1. Introduction 그래프 구조 데이터는 복잡한 관계와 상호작용을 모델링하는 데 매우 유용합니다. 이러한 데이터를 효과적으로 분석하고 학습하기 위해 그래프 신경망(Graph Neural Networks, GNN)과 그래프 임베딩(Graph Embedding) 기법이 개발되었습니다. 1.1 그래프 신경망 모델 vs 그래프 임베딩 그래...

Graph 딥러닝 PyTorch 개념정리

Posted by Euisuk's Dev Log on July 18, 2024

[Graph] 3장. Graph Node Embedding Methods

1. 그래프 노드 임베딩의 필요성 그래프 노드 임베딩은 그래프의 각 노드를 저차원 벡터 공간으로 매핑하는 과정입니다. 이는 그래프 데이터를 기계 학습 알고리즘에 적용하기 쉽게 만들어줍니다. 여기서 중요한 질문은 다음과 같습니다. 어떤 정보(WHAT)를 우리는 보존(preserve, e...

Graph 개념정리 딥러닝

Posted by Euisuk's Dev Log on July 18, 2024

[Graph] 2장. Graph Neural Networks

1. GNN 개요 GNN(Graph Neural Networks)은 그래프 구조의 데이터를 처리하기 위해 개발된 딥러닝 방법입니다. 실제 세계의 많은 데이터가 그래프 형태로 표현될 수 있습니다: 소셜 네트워크: 사용자는 노드, 친구 관계는 엣지 분자 구조: 원자는 노드, 화학 결합은 엣지 교통 네트워크: 교차로는 노드, 도로는 엣지 ...

Graph 개념정리 딥러닝

Posted by Euisuk's Dev Log on July 17, 2024

[Graph] 1장. 그래프와 GNN

1. 그래프란? 그래프는 현실 세계의 데이터를 표현하는 중요한 도구로 사용됩니다. 다양한 분야에서 그래프를 활용하여 관계와 구조를 모델링할 수 있습니다. 예시: 사회 과학: 소셜 네트워크에서 개인 간의 관계를 그래프로 표현할 수 있습니다. 예를 들어, 페이스북 친구 관계는 노드(사용자)와 에지(친구 관계)로 나타낼 수...

Graph 딥러닝 개념정리 수학

Posted by Euisuk's Dev Log on July 17, 2024

[개념] Deep Learning Normalization Techniques

딥러닝에서의 정규화 기법 출처: https://theaisummer.com/normalization/ 정규화의 정의와 목적 정규화(Normalization)는 데이터의 스케일을 조정하는 과정으로, 머신러닝과 딥러닝에서 모두 중요한 역할을 합니다. 그러나 전통적인 머신러닝에서의 정규화와 딥러닝에서의 정규화는 그 목적과 방법에 있어 약간의 차이가 ...

딥러닝 개념정리 PyTorch

Posted by Euisuk's Dev Log on July 2, 2024

[Linux] 딥러닝 환경 구축 : CUDA, CuDNN

오늘 회사 로컬 서버가 다운되면서 기존에 오래된 파일들을 밀고 새롭게 다시 설치할 기회가 왔다!!! 파일은 다행히 복원을 완료해서 지금에서야 웃으면서 쓰지만… 정말이지 끔찍한 8시간이었다…ㅎㅎ 출근해서 업무를 좀 하다보니 서버가 무한 복구 모드로 빠져서 복원되지 않는 문제에 빠졌다… 특정 패키지를 설치하시면서 시스템 파일을 건드린 것 같았고.. 도저...

환경설정 Linux NVIDIA 딥러닝

Posted by Euisuk's Dev Log on April 24, 2024

[개념] 생성 AI의 학습 방식: 제로샷·원샷·퓨샷 러닝

최근 챗GPT로 인해 부상한 제로샷(zero-shot), 원샷(one-shot), 퓨샷(few-shot) 러닝 기법은 데이터를 일일이 라벨링하지 않고도 머신러닝 모델을 학습시킬 수 있도록 해줍니다. 해당 포스트는 CV(Computer Vision) 및 NLP(Natural Language Processing)의 관점에서 N-shot learning을 ...

개념정리 딥러닝 NLP Computer Vision

Posted by Euisuk's Dev Log on March 11, 2024

[파이토치] 파이토치로 CNN 모델을 구현해보자! (ResNet편)

안녕하세요! 지난번 포스트인 VGGNet과 GoogleNet 이후로 오늘은 ResNet 관련 포스트입니다. 2번에 걸친 포스팅에서 소개드렸다시피 컴퓨터 비전 대회 중에 ILSVRC (Imagenet Large Scale Visual Recognition Challenges)이라는 대회가 있는데, 본 대회는 거대 이미지를 1000개의 서브이미지로 분류...

PyTorch CNN 딥러닝 Computer Vision

Posted by Euisuk's Dev Log on December 19, 2021

[파이토치] 파이토치로 CNN 모델을 구현해보자! (GoogleNet편)

안녕하세요! 지난번 포스트인 VGGNet 이후로 오늘은 GoogleNet 관련 포스트입니다. 다음 포스트는 ResNet으로 찾아뵙도록 하겠습니다. 지난번에도 소개드렸다시피 컴퓨터 비전 대회 중에 ILSVRC (Imagenet Large Scale Visual Recognition Challenges)이라는 대회가 있는데, 본 대회는 거대 이미지를 1...

PyTorch CNN 딥러닝 Computer Vision

Posted by Euisuk's Dev Log on November 28, 2021

[파이토치] 파이토치로 CNN 모델을 구현해보자! (VGGNet편)

안녕하세요! 오늘 포스팅부터 다음다음 포스팅까지는 CNN 모델의 뼈대가 되는 모델들인 VGGNet, GoogleNet, ResNet을 소개하고 이를 구현해보는 시간을 갖도록 하겠습니다! :) 이번 포스팅은 VGGNet 관련 포스트입니다. 먼저 ILSVRC (Imagenet Large Scale Visual Recognition Challenges)이...

PyTorch CNN 딥러닝 Computer Vision

Posted by Euisuk's Dev Log on November 27, 2021

[파이토치] 파이토치로 CNN 모델을 구현해보자! (기초편 + DataLoader 사용법)

MNIST 데이터 - CNN 실습 오늘은 MNIST 데이터로 Convolutional Neural Network(이하 CNN)을 구현하고 돌려보는 시간을 갖도록 하겠습니다! 먼저, CNN은 크게 아래와 같은 구성요소로 이루어져 있습니다. 합성곱 연산(Convolution) : 이미지의 특성을 추출하는 계층 맥스풀링(Max Pooling)...

PyTorch CNN 딥러닝 Computer Vision

Posted by Euisuk's Dev Log on November 26, 2021

[Paper Review] An Image Is Worth 16x16 Words : Transformers for Image Recognition at Scale (Vision Transformer)

선정 이유 안녕하세요! 오늘 논문리뷰, 코드리뷰해볼 논문은 “An Image Is Worth 16x16 Words: Transformers for Image Recognition at Scale” 로, 컴퓨터 비전에서 Transformer와 Attention이 쓰이게 된 결정적 계기(?)가 된 논문입니다. 최근 이쪽 분야에 관심이 많다 보니 오늘은 ...

Paper Review Transformer Computer Vision 딥러닝 PyTorch

Posted by Euisuk's Dev Log on November 7, 2021

[Paper Review] An Architecture Combining Convolutional Neural Network(CNN) and Support Vector Machine(SVM) for Image Classification

오늘 리뷰/번역/구현할 논문은 “Abien Fred M. Agarap” 저자가 쓴 논문으로, “Yichuan Tang”의 “Deep Learning using Linear Support Vector Machines”을 보고 inspired되어 연구하게 되었다고 한다. 하단의 참고 논문 소스에 해당 논문 링크와 이번 논문의 링크를 첨부였다. (참고) ...

Paper Review Computer Vision 딥러닝 PyTorch

Posted by Euisuk's Dev Log on November 1, 2021

[파이토치] 파이토치 기초 요소 (Autograd란)

순전파와 역전파 신경망(Neural Network)은 어떤 입력 데이터에 대해 실행되는 중첩된 함수들의 집합체입니다. 신경망을 아래 2단계를 거쳐 학습됩니다 : 순전파(Forward Propagation) 역전파(Backward Propagation) Forward Propagation (순전파) Forward Propagatio...

PyTorch 딥러닝 개념정리

Posted by Euisuk's Dev Log on September 16, 2021

[파이토치] 파이토치 기초 요소 (텐서편)

오늘은 파이토치를 다루기 위해 중요한 기초 지식들 중 텐서에 대해 다루어볼 예정입니다. Source : https://hadrienj.github.io/posts/Deep-Learning-Book-Series-2.1-Scalars-Vectors-Matrices-and-Tensors/ 텐서 텐서는 ‘데이터를 표현하는 단위’입니다. ...

PyTorch 딥러닝 Python

Posted by Euisuk's Dev Log on September 14, 2021

[Paper Review] Transferring Inductive Bias Through Knowledge Distillation - (3/3)

안녕하세요 :) 오늘은 지난번 포스팅에 이어서 “Transferring Inductive Bias Through Knowledge Distillation” 논문에 대한 정리를 이어나가 보도록 하겠습니다. 이전 포스팅에서 본 논문에서 다루게 될 주요 개념들인 Knowledge Distillation과 Inductive Bias에 대한 설명과 RNNs v...

Paper Review Distillation Computer Vision 딥러닝

Posted by Euisuk's Dev Log on September 13, 2021

[개념] CPU, GPU, 그리고 GPU 원리

CPU와 GPU 딥러닝과 머신러닝을 학습하거나 작업할 때 GPU를 사용하는 것은 이제 당연하게 여겨집니다. 실제로 아래와 같은 코드로 GPU나 CPU를 손쉽게 선택할 수 있습니다. 1 2 3 4 5 6 7 8 import torch # CUDA 사용 여부 확인 USE_CUDA = torch.cuda.is_available() print(USE_C...

개념정리 IT지식 NVIDIA 딥러닝

Posted by Euisuk's Dev Log on September 11, 2021

[Paper Review] Transferring Inductive Bias Through Knowledge Distillation - (2/3)

안녕하세요 :) 오늘은 지난번 포스팅에 이어서 “Transferring Inductive Bias Through Knowledge Distillation” 논문에 대한 정리를 이어나가 보도록 하겠습니다. 이전 포스팅에서 본 논문에서 다루게 될 주요 개념들인 Knowledge Distillation과 Inductive Bias에 대한 설명을 해보았는데요...

Paper Review Distillation NLP 딥러닝

Posted by Euisuk's Dev Log on August 27, 2021

[Paper Review] Transferring Inductive Bias Through Knowledge Distillation - (1/3)

안녕하세요 :) 오늘 블로그 포스팅으로 다뤄볼 내용은 얼마 전에 흥미롭게 읽어보았던 “Transferring Inductive Bias Through Knowledge Distillation”이라는 논문인데요! 해당 논문은 Knowledge Distillation을 이용하여 과연 Inductive Bias를 전달할 수 있을 까를 다룬 논문입니다. 아쉽...

Paper Review Distillation 딥러닝 개념정리

Posted by Euisuk's Dev Log on August 15, 2021

[딥러닝][개념정리] Inductive Bias란?

Inductive Bias Overview Inductive Bias란 무엇일까요? 최근 논문들을 보면 그냥 Bias도 아니고 Inductive Bias라는 말이 자주 나오는 것을 확인할 수 있는데요! 오늘은 해당 개념에 대해 정리해보는 시간을 가지려고 합니다. 공부하면서 작성한 글이므로 틀린 개념이 있다면 언제든 피드백 환영합니다. Bias(편...

개념정리 딥러닝 머신러닝

Posted by Euisuk's Dev Log on June 6, 2021

[토크] LLM 완벽 입문 가이드: Andrej Karpathy 강의 정리

[Paper Review] LLaVA: Visual Instruction Tuning - 멀티모달 AI의 새로운 패러다임

[Paper Review] LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models

[Paper Review] MM-Groundung-DINO : An Open and Comprehensive Pipeline for Unified Object Grounding and Detection

[Paper Review] LLM-Det : Learning Strong Open-Vocabulary Object Detectors under the Supervision of Large Language Models

[Paper Review] RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer

[Paper Review] OmDet_Turbo : Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head

[OpenAI] 언어모델 환각(Hallucination) 현상: 왜 AI는 확신에 찬 거짓말을 할까?

[Paper Review] Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

[Paper Review] A generic non-invasive neuromotor interface for human-computer interaction

[도서리뷰] 경사 하강법 계보 정리(혁펜하임의 『Easy! 딥러닝』)

(설명추가) 웨이트 초기화 (Weight Initialization)

(설명추가) Q-Learning: 강화학습의 핵심 개념과 이해

[도서소개] 딥러닝 입문자를 위한 책 추천, 혁펜하임 『Easy! 딥러닝』

[도서리뷰] 딥러닝 입문자를 위한 책 추천, 혁펜하임 『Easy! 딥러닝』

[Day 2] Reinforcement Fine-Tuning (RFT) 소개

[TREND] 트렌스포머 이후의 차세대 아키텍쳐: MoE, SSM, RetNet, V-JEPA

Unlearning : 머신러닝 모델도 '잊을 수 있다'

[개념] GLU와 그 변형들: 역사와 주요 개념 정리

[Paper Review] Mamba2 - Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality

[Paper Review] A COMPREHENSIVE REVIEW OF YOLO ARCHITECTURES IN COMPUTER VISION: FROM YOLOV1 TO YOLOV8 AND YOLO-NAS

[Paper Review] Mamba: Linear-Time Sequence Modeling with Selective State Spaces

[Paper Review] Structured State Space Models for Deep Sequence Modeling

[Paper Review] Resurrecting Recurrent Neural Networks for Long Sequences

[Paper Review] 합성 데이터 = 모델 붕괴?

[CV Notes] Lecture 18 - Videos

[CV Notes] Lecture 17 - 3D Vision

[CS294] Deep Unsupervised Learning: Introduction

[NLP] 4. Natural Language Embeddings

[Graph] 4장. Graph Neural Networks: Algorithms

[Graph] 3장. Graph Node Embedding Methods

[Graph] 2장. Graph Neural Networks

[Graph] 1장. 그래프와 GNN

[개념] Deep Learning Normalization Techniques

[Linux] 딥러닝 환경 구축 : CUDA, CuDNN

[개념] 생성 AI의 학습 방식: 제로샷·원샷·퓨샷 러닝

[파이토치] 파이토치로 CNN 모델을 구현해보자! (ResNet편)

[파이토치] 파이토치로 CNN 모델을 구현해보자! (GoogleNet편)

[파이토치] 파이토치로 CNN 모델을 구현해보자! (VGGNet편)

[파이토치] 파이토치로 CNN 모델을 구현해보자! (기초편 + DataLoader 사용법)

[Paper Review] An Image Is Worth 16x16 Words : Transformers for Image Recognition at Scale (Vision Transformer)

[Paper Review] An Architecture Combining Convolutional Neural Network(CNN) and Support Vector Machine(SVM) for Image Classification

[파이토치] 파이토치 기초 요소 (Autograd란)

[파이토치] 파이토치 기초 요소 (텐서편)

[Paper Review] Transferring Inductive Bias Through Knowledge Distillation - (3/3)

[개념] CPU, GPU, 그리고 GPU 원리

[Paper Review] Transferring Inductive Bias Through Knowledge Distillation - (2/3)

[Paper Review] Transferring Inductive Bias Through Knowledge Distillation - (1/3)

[딥러닝][개념정리] Inductive Bias란?

FEATURED TAGS

ABOUT ME

FRIEND SITES