Transformer

[Paper Review] LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models

https://arxiv.org/pdf/2403.15388 논문 정보 제목: LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models 저자: Yuzhang Shang, Mu Cai, Bingxin Xu, Yong Jae Lee, Yan Yan ...

Paper Review Computer Vision Transformer 딥러닝

Posted by Euisuk's Dev Log on December 12, 2025

[Paper Review] MM-Groundung-DINO : An Open and Comprehensive Pipeline for Unified Object Grounding and Detection

https://arxiv.org/pdf/2401.02361 본 리뷰는 원문을 최대한 직역한 내용입니다. 여기서 “우리는”은 저자를 지칭합니다. 참고 부탁드립니다. 초록 Grounding-DINO는 Open-Vocabulary Detection (OVD), Phrase Grounding (PG), Referring Expression C...

Paper Review Computer Vision Transformer 딥러닝

Posted by Euisuk's Dev Log on September 15, 2025

[Paper Review] RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer

https://arxiv.org/pdf/2407.17140 본 리뷰는 원문을 최대한 직역한 내용입니다. 여기서 “우리는”은 저자를 지칭합니다. 참고 부탁드립니다. 초록 이 보고서에서는 개선된 실시간 Detection Transformer인 RT-DETRv2를 제시합니다. RT-DETRv2는 기존의 최신 실시간 detector인 RT-D...

Paper Review Computer Vision Transformer 딥러닝

Posted by Euisuk's Dev Log on September 14, 2025

[Paper Review] OmDet_Turbo : Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head

https://arxiv.org/pdf/2403.06892 초록 End-to-end transformer 기반 detector (DETRs)는 언어 modality 통합을 통해 closed-set과 open-vocabulary object detection (OVD) 작업 모두에서 뛰어난 성능을 보여주었습니다. 그러나 높은 연산 요구사항으로...

Paper Review Computer Vision Transformer 딥러닝

Posted by Euisuk's Dev Log on September 14, 2025

[Paper Review] Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond

https://arxiv.org/abs/2308.12966 1 WANG, Peng, et al. Qwen2-vl: Enhancing vision-language model's perception of the world at any resolution. arXiv preprint arXiv:2409.12191, 2024. 초록 본 연구...

Paper Review Qwen Computer Vision NLP Transformer

Posted by Euisuk's Dev Log on August 29, 2025

[Paper Review] Qwen-Image Technical Report

https://arxiv.org/abs/2508.02324 1 WU, Chenfei, et al. Qwen-image technical report. arXiv preprint arXiv:2508.02324, 2025. 본 연구에서는 복잡한 텍스트 렌더링과 정밀한 이미지 편집에서 상당한 진보를 이룬 Qwen 시리즈의 이미지 생성 fou...

Paper Review Qwen Computer Vision Transformer

Posted by Euisuk's Dev Log on August 29, 2025

[Paper Review] Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

https://arxiv.org/abs/2311.07919 1 CHU, Yunfei, et al. Qwen-audio: Advancing universal audio understanding via unified large-scale audio-language models. arXiv preprint arXiv:2311.07919, 202...

Paper Review Qwen 딥러닝 Transformer

Posted by Euisuk's Dev Log on August 29, 2025

[Paper Review] Qwen Technical Report

https://arxiv.org/abs/2309.16609 1 BAI, Jinze, et al. Qwen technical report. arXiv preprint arXiv:2309.16609, 2023. 💡 QWEN은 중국어로 “천 개의 질문”을 의미하는 Qianwen의 별명입니다. “QWEN”의 발음은 맥락과 말하는 개인에 ...

Paper Review Qwen NLP Transformer

Posted by Euisuk's Dev Log on August 29, 2025

[TREND] 트렌스포머 이후의 차세대 아키텍쳐: MoE, SSM, RetNet, V-JEPA

2017년, “Attention is All You Need”라는 논문과 함께 등장한 트랜스포머(Transformer)는 AI 모델의 혁신적인 변화를 이끌었습니다. 현재, 대형 언어 모델(LLM)과 생성 AI는 언어, 비디오, 이미지 등의 데이터 처리에서 압도적인 성능을 발휘하며 우리 삶의 다양한 영역에서 활용되고 있습니다. 그러나 트랜스포머 기...

Transformer 트렌드 딥러닝 Paper Review IT지식

Posted by Euisuk's Dev Log on November 30, 2024

[개념] GLU와 그 변형들: 역사와 주요 개념 정리

딥러닝 분야에서 활성화 함수는 신경망 모델이 학습할 때 중요한 역할을 합니다. 이 중에서도 GLU(Gated Linear Unit)는 고급 모델에서 자주 사용되는 활성화 함수 중 하나입니다. 특히 자연어 처리(NLP)와 같은 분야에서 뛰어난 성능을 발휘하며, 이 활성화 함수에서 파생된 여러 변형들이 연구되었습니다. 이번 글에서는 GLU와 그 변형들,...

개념정리 딥러닝 Transformer

Posted by Euisuk's Dev Log on October 14, 2024

[Paper Review] NLP 공부하는 사람이라면 꼭 읽어야하는 논문 대신 정리해드립니다

✍️ 자연어 처리(NLP)는 빠르게 발전하고 있는 분야로, 수많은 획기적인 연구 논문들이 매년 발표되고 있습니다. 만약 여러분이 NLP에 처음 발을 들이거나, 연구를 더 깊이 이해하고자 한다면, 다음에 소개할 논문들이 핵심 개념과 최근 발전 동향을 파악하는 데 큰 도움이 될 것입니다. 다음은 해당 블로그에서 소개하는 “Must-Read Res...

Paper Review NLP Transformer

Posted by Euisuk's Dev Log on October 9, 2024

[Paper Review] Mamba2 - Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality

링크 : https://arxiv.org/pdf/2405.21060 다음은 논문 “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality”의 각 챕터별로 자세한 리뷰 및 정리입니다. 1. Introdu...

Paper Review NLP Transformer 딥러닝 시계열

Posted by Euisuk's Dev Log on October 2, 2024

[Paper Review] An Image Is Worth 16x16 Words : Transformers for Image Recognition at Scale (Vision Transformer)

선정 이유 안녕하세요! 오늘 논문리뷰, 코드리뷰해볼 논문은 “An Image Is Worth 16x16 Words: Transformers for Image Recognition at Scale” 로, 컴퓨터 비전에서 Transformer와 Attention이 쓰이게 된 결정적 계기(?)가 된 논문입니다. 최근 이쪽 분야에 관심이 많다 보니 오늘은 ...

Paper Review Transformer Computer Vision 딥러닝 PyTorch

Posted by Euisuk's Dev Log on November 7, 2021

Transformer

[Paper Review] LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models

[Paper Review] MM-Groundung-DINO : An Open and Comprehensive Pipeline for Unified Object Grounding and Detection

[Paper Review] RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer

[Paper Review] OmDet_Turbo : Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head

[Paper Review] Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond

[Paper Review] Qwen-Image Technical Report

[Paper Review] Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

[Paper Review] Qwen Technical Report

[TREND] 트렌스포머 이후의 차세대 아키텍쳐: MoE, SSM, RetNet, V-JEPA

[개념] GLU와 그 변형들: 역사와 주요 개념 정리

[Paper Review] NLP 공부하는 사람이라면 꼭 읽어야하는 논문 대신 정리해드립니다

[Paper Review] Mamba2 - Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality

[Paper Review] An Image Is Worth 16x16 Words : Transformers for Image Recognition at Scale (Vision Transformer)

FEATURED TAGS

ABOUT ME

FRIEND SITES