Transformer

Self-Attention 기반 Transformer 아키텍처와 이를 비전·언어 등 다양한 도메인에 적용한 모델을 다룬 글.

Self-Attention 기반 Transformer 아키텍처와 이를 비전·언어 등 다양한 도메인에 적용한 모델을 다룬 글.

상위 개념: 딥러닝

20 posts · 아카이브에서 필터로 보기

[복습] 다시 근본으로, 언어모델을 오랜만에 복습해보자: Transformer to T5

최근 JEV라는 모델이 공개되면서 BERT 계열 인코더와의 비교가 다시 활발해졌고, 덕분에 BERT에 대한 관심도 한 번 더 올라갔습니다. 생성형 LLM이 대세가 된 지금도 분류·검색·라우팅처럼 “빠르고 정확하게 이해하는” 문제에서는 인코더 모델이 여전히 자주 언급됩니다. 그런데 막상 “BERT는 GPT와 학습 방식이 정확히 어떻게 다르지? 입력과 출...
TransformerNLP딥러닝개념정리

Posted by Euisuk's Dev Log on September 25, 2026

[Paper Review] Diffusion Drafts, AR Verifies: Accelerating Document OCR with Self-Speculative Decoding

논문 개요와 전체 구조 문서 이미지를 텍스트·HTML 표·LaTeX 수식으로 바꾸는 생성형 OCR에서는 결과가 길수록 토큰을 하나씩 출력하는 시간이 늘어납니다. GravityOCR는 여러 토큰의 초안을 병렬로 만들되, 출력 확정은 자기회귀 모델이 담당하도록 구성합니다. 하나의 모델이 attention 패턴을 바꾸어 block diffusion dra...
Paper ReviewComputer VisionTransformer딥러닝머신러닝

Posted by Euisuk's Dev Log on September 24, 2026

[Paper Review] TabPFN-3: Technical Report — 대규모 표 데이터와 추론 시 확장

논문 개요와 전체 구조 TabPFN-3는 합성 표 데이터로 사전학습한 모델에 실제 학습 표를 문맥으로 제공하여 새로운 행을 예측하는 tabular foundation model입니다. 이 기술 보고서의 중심 질문은 이 방식의 성능을 유지하면서 학습 행을 100만 개까지 늘리고, 반복 예측의 메모리와 지연 시간을 줄일 수 있는가입니다. 답은 행을 먼저...
Paper ReviewTransformer딥러닝머신러닝시계열

Posted by Euisuk's Dev Log on September 22, 2026

[Paper Review] A Closer Look at TabPFN v2: 강점의 원리와 추론 시 확장 전략

논문 개요와 전체 구조 TabPFN v2는 학습 데이터와 예측할 행을 함께 입력받아, 새 데이터셋마다 신경망을 미세조정하지 않고 정형 데이터의 분류·회귀를 수행하는 foundation model입니다. 그렇다면 열의 개수와 의미가 매번 바뀌는데도 어떻게 작동하며, 내부 표현을 별도의 모델에 사용할 수 있을까요? 입력이 너무 넓거나 길고 클래스가 많아...
Paper ReviewTransformer딥러닝머신러닝

Posted by Euisuk's Dev Log on September 22, 2026

[Paper Review] TabPFN v2: Accurate predictions on small data with a tabular foundation model

논문 개요와 전체 구조 TabPFN v2는 새로운 표 데이터셋을 받았을 때 어떤 예측기를 학습할 것인지 자체를 미리 학습한 모델입니다. 수많은 합성 데이터셋에서 예측 문제를 풀도록 Transformer를 사전학습하고, 실제 사용 시에는 정답이 있는 학습 행과 정답이 없는 질의 행을 문맥으로 전달합니다. 일반적인 사용 과정에서 모델 가중치를 다시 최적...
Paper ReviewTransformer딥러닝머신러닝

Posted by Euisuk's Dev Log on September 22, 2026

[Paper Review] TabPFN: 작은 정형 데이터의 학습을 Transformer 추론으로 바꾸다

논문 개요와 전체 구조 작은 정형 데이터로 분류기를 만들 때는 대개 모델을 고르고, 하이퍼파라미터를 탐색하고, 학습을 반복합니다. TabPFN은 이 절차 자체를 미리 학습한 Transformer에 맡깁니다. 새로운 데이터셋의 관측된 행과 정답, 예측할 행을 함께 입력하면 모델 가중치를 갱신하지 않고 클래스 확률을 출력합니다. 개별 데이터셋에 대한 학...
Paper ReviewTransformer딥러닝머신러닝

Posted by Euisuk's Dev Log on September 22, 2026

[Paper Review] GroupKV: 장문맥 확산 언어 모델의 계층적 KV 캐시 관리

논문 개요와 전체 구조 GroupKV는 긴 문맥을 처리하는 확산 대규모 언어 모델(diffusion large language model, dLLM)의 Key–Value(KV) 캐시를 CPU와 GPU 사이에서 효율적으로 관리하는 추론 시스템입니다. 확산 언어 모델은 마스크가 포함된 토큰들을 반복적으로 갱신하면서 문장을 생성합니다. 여러 토큰을 함께 ...
Paper ReviewNLPTransformer딥러닝머신러닝

Posted by Euisuk's Dev Log on September 18, 2026

[Paper Review] LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models

https://arxiv.org/pdf/2403.15388 논문 정보 제목: LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models 저자: Yuzhang Shang, Mu Cai, Bingxin Xu, Yong Jae Lee, Yan Yan ...
Paper ReviewComputer VisionTransformer딥러닝

Posted by Euisuk's Dev Log on December 12, 2025

[Paper Review] MM-Groundung-DINO : An Open and Comprehensive Pipeline for Unified Object Grounding and Detection

https://arxiv.org/pdf/2401.02361 본 리뷰는 원문을 최대한 직역한 내용입니다. 여기서 “우리는”은 저자를 지칭합니다. 참고 부탁드립니다. 초록 Grounding-DINO는 Open-Vocabulary Detection (OVD), Phrase Grounding (PG), Referring Expression C...
Paper ReviewComputer VisionTransformer딥러닝

Posted by Euisuk's Dev Log on September 15, 2025

[Paper Review] RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer

https://arxiv.org/pdf/2407.17140 본 리뷰는 원문을 최대한 직역한 내용입니다. 여기서 “우리는”은 저자를 지칭합니다. 참고 부탁드립니다. 초록 이 보고서에서는 개선된 실시간 Detection Transformer인 RT-DETRv2를 제시합니다. RT-DETRv2는 기존의 최신 실시간 detector인 RT-D...
Paper ReviewComputer VisionTransformer딥러닝

Posted by Euisuk's Dev Log on September 14, 2025

[Paper Review] OmDet_Turbo : Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head

https://arxiv.org/pdf/2403.06892 초록 End-to-end transformer 기반 detector (DETRs)는 언어 modality 통합을 통해 closed-set과 open-vocabulary object detection (OVD) 작업 모두에서 뛰어난 성능을 보여주었습니다. 그러나 높은 연산 요구사항으로...
Paper ReviewComputer VisionTransformer딥러닝

Posted by Euisuk's Dev Log on September 14, 2025

[Paper Review] Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond

https://arxiv.org/abs/2308.12966 1 WANG, Peng, et al. Qwen2-vl: Enhancing vision-language model's perception of the world at any resolution. arXiv preprint arXiv:2409.12191, 2024. 초록 본 연구...
Paper ReviewQwenComputer VisionNLPTransformer

Posted by Euisuk's Dev Log on August 29, 2025

[Paper Review] Qwen-Image Technical Report

https://arxiv.org/abs/2508.02324 1 WU, Chenfei, et al. Qwen-image technical report. arXiv preprint arXiv:2508.02324, 2025. 본 연구에서는 복잡한 텍스트 렌더링과 정밀한 이미지 편집에서 상당한 진보를 이룬 Qwen 시리즈의 이미지 생성 fou...
Paper ReviewQwenComputer VisionTransformer

Posted by Euisuk's Dev Log on August 29, 2025

[Paper Review] Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

https://arxiv.org/abs/2311.07919 1 CHU, Yunfei, et al. Qwen-audio: Advancing universal audio understanding via unified large-scale audio-language models. arXiv preprint arXiv:2311.07919, 202...
Paper ReviewQwen딥러닝Transformer

Posted by Euisuk's Dev Log on August 29, 2025

[Paper Review] Qwen Technical Report

https://arxiv.org/abs/2309.16609 1 BAI, Jinze, et al. Qwen technical report. arXiv preprint arXiv:2309.16609, 2023. 💡 QWEN은 중국어로 “천 개의 질문”을 의미하는 Qianwen의 별명입니다. “QWEN”의 발음은 맥락과 말하는 개인에 ...
Paper ReviewQwenNLPTransformer

Posted by Euisuk's Dev Log on August 29, 2025

[TREND] 트렌스포머 이후의 차세대 아키텍쳐: MoE, SSM, RetNet, V-JEPA

2017년, “Attention is All You Need”라는 논문과 함께 등장한 트랜스포머(Transformer)는 AI 모델의 혁신적인 변화를 이끌었습니다. 현재, 대형 언어 모델(LLM)과 생성 AI는 언어, 비디오, 이미지 등의 데이터 처리에서 압도적인 성능을 발휘하며 우리 삶의 다양한 영역에서 활용되고 있습니다. 그러나 트랜스포머 기...
Transformer트렌드딥러닝IT지식State Space Model

Posted by Euisuk's Dev Log on November 30, 2024

[개념] GLU와 그 변형들: 역사와 주요 개념 정리

딥러닝 분야에서 활성화 함수는 신경망 모델이 학습할 때 중요한 역할을 합니다. 이 중에서도 GLU(Gated Linear Unit)는 고급 모델에서 자주 사용되는 활성화 함수 중 하나입니다. 특히 자연어 처리(NLP)와 같은 분야에서 뛰어난 성능을 발휘하며, 이 활성화 함수에서 파생된 여러 변형들이 연구되었습니다. 이번 글에서는 GLU와 그 변형들,...
개념정리딥러닝Transformer

Posted by Euisuk's Dev Log on October 14, 2024

[Paper Review] NLP 공부하는 사람이라면 꼭 읽어야하는 논문 대신 정리해드립니다

✍️ 자연어 처리(NLP)는 빠르게 발전하고 있는 분야로, 수많은 획기적인 연구 논문들이 매년 발표되고 있습니다. 만약 여러분이 NLP에 처음 발을 들이거나, 연구를 더 깊이 이해하고자 한다면, 다음에 소개할 논문들이 핵심 개념과 최근 발전 동향을 파악하는 데 큰 도움이 될 것입니다. 다음은 해당 블로그에서 소개하는 “Must-Read Res...
Paper ReviewNLPTransformer

Posted by Euisuk's Dev Log on October 9, 2024

[Paper Review] Mamba2 - Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality

링크 : https://arxiv.org/pdf/2405.21060 다음은 논문 “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality”의 각 챕터별로 자세한 리뷰 및 정리입니다. 1. Introdu...
Paper ReviewNLPTransformer딥러닝State Space Model

Posted by Euisuk's Dev Log on October 2, 2024

[Paper Review] An Image Is Worth 16x16 Words : Transformers for Image Recognition at Scale (Vision Transformer)

선정 이유 안녕하세요! 오늘 논문리뷰, 코드리뷰해볼 논문은 “An Image Is Worth 16x16 Words: Transformers for Image Recognition at Scale” 로, 컴퓨터 비전에서 Transformer와 Attention이 쓰이게 된 결정적 계기(?)가 된 논문입니다. 최근 이쪽 분야에 관심이 많다 보니 오늘은 ...
Paper ReviewTransformerComputer Vision딥러닝PyTorch

Posted by Euisuk's Dev Log on November 7, 2021

FEATURED TAGS
개념정리 딥러닝 AI Agent OpenAI Paper Review Python NLP 머신러닝 Conference Tools 꿀팁 강의노트 ChatGPT 환경설정 Prompt Engineering Computer Vision IT지식 트렌드 Transformer RAG Linux 시계열 LangChain Google Vibe Coding NVIDIA PyTorch 이상탐지 수학 비지도학습 CES Claude Gemini Git Lovable Anthropic 차원축소 CIO CNN EXAONE Pandas Visualization LangGraph LG Repo Review State Space Model Graph SK AI Summit Snippet Sora 도서리뷰 Distillation Network Qwen 알고리즘 데이터분석 MCP Ollama NumPy 강화학습 Splunk Velog
ABOUT ME

서쿠 개발노트⭐
Data Scientist

FRIEND SITES