NLP | Euisuk’s Dev Log

[가이드] RAG 평가지표 입문: RAGAS·TruLens·DeepEval로 검색과 답변 나누어 보기

RAG는 자료를 보고 답하는 AI입니다 사내 챗봇에 “연간 교육비 한도는 얼마이고, 신청 전에 누구의 승인을 받아야 하나요?”라고 물었다고 생각해 보겠습니다. 답변은 매끄럽습니다. 그런데 한도는 맞고 승인자는 틀렸다면, 이 챗봇을 잘 만들었다고 할 수 있을까요? RAG 평가는 답변이 그럴듯한지를 넘어, 필요한 자료를 찾았는지와 그 자료를 제대로 사...

개념정리 RAG NLP 딥러닝 머신러닝 Tools

Posted by Euisuk's Dev Log on October 24, 2026

[Paper Review] Coding Agents are Strong Prompt Optimizers — 실행 기록 전체를 분석하는 프롬프트 최적화

논문 개요와 전체 구조 프롬프트를 개선할 때는 보통 후보 지시문을 만들고, 에이전트를 다시 실행하고, 검증 점수가 좋아진 후보를 남깁니다. Coding-Agent Skill Distillation(CASD)은 이미 수집한 실행 기록을 코딩 에이전트에게 분석하게 한 뒤, 행동 규칙을 담은 Markdown 스킬 파일을 한 번 작성하는 방식입니다. 여기서...

Paper Review AI Agent Prompt Engineering NLP

Posted by Euisuk's Dev Log on September 29, 2026

[Paper Review] SkillGym: 사람의 스킬을 LLM의 실행 능력으로 학습시키기

논문 개요와 전체 구조 AI Agent에게 SKILL.md를 제공하면 작업 절차를 알려줄 수 있습니다. 그러나 문서를 읽을 수 있다는 사실과 실제로 복잡한 작업을 끝낼 수 있다는 사실은 다릅니다. 파일을 확인하고, 여러 도구를 연결하고, 실패를 수정한 뒤, 결과가 요구사항을 만족하는지 확인하는 능력이 필요합니다. SkillGym은 이처럼 여러 단계에...

Paper Review AI Agent NLP 딥러닝

Posted by Euisuk's Dev Log on September 28, 2026

[Paper Review] Return or Revise? — 검색 근거로 답을 고칠 때와 지킬 때

논문 개요와 전체 구조 검색 증강 생성(Retrieval-Augmented Generation, RAG)에서 검색한 문서를 읽고 답을 다시 쓰면 정확도가 올라갈 수 있습니다. 그러나 이미 맞는 답을 엉뚱한 답으로 바꾸는 경우도 있습니다. Return or Revise?는 질문에 대한 초안과 검색 결과가 준비된 시점에, 초안을 그대로 반환할지 아니면 ...

Paper Review RAG NLP 딥러닝 머신러닝

Posted by Euisuk's Dev Log on September 27, 2026

[Paper Review] CORDIAL: Calibrating Ordinal LLM Outputs from Few Labels

논문 개요와 전체 구조 LLM이 상품 리뷰에 별점 4점을 부여하면서 95%의 확률을 제시했다고 해도, 그 확률이 실제 정답 빈도와 맞는다는 뜻은 아닙니다. 문장의 의미는 잘 파악하면서도 항상 한 단계 높은 점수를 주거나, 극단적인 감정을 중립으로 압축할 수 있습니다. CORDIAL은 이러한 순서형 평가를 잡음이 섞인 측정으로 보고, 소수의 정답 라벨...

Paper Review NLP 딥러닝 머신러닝

Posted by Euisuk's Dev Log on September 26, 2026

[복습] 다시 근본으로, 언어모델을 오랜만에 복습해보자: Transformer to T5

최근 JEV라는 모델이 공개되면서 BERT 계열 인코더와의 비교가 다시 활발해졌고, 덕분에 BERT에 대한 관심도 한 번 더 올라갔습니다. 생성형 LLM이 대세가 된 지금도 분류·검색·라우팅처럼 “빠르고 정확하게 이해하는” 문제에서는 인코더 모델이 여전히 자주 언급됩니다. 그런데 막상 “BERT는 GPT와 학습 방식이 정확히 어떻게 다르지? 입력과 출...

Transformer NLP 딥러닝 개념정리

Posted by Euisuk's Dev Log on September 25, 2026

[Paper Review] GroupKV: 장문맥 확산 언어 모델의 계층적 KV 캐시 관리

논문 개요와 전체 구조 GroupKV는 긴 문맥을 처리하는 확산 대규모 언어 모델(diffusion large language model, dLLM)의 Key–Value(KV) 캐시를 CPU와 GPU 사이에서 효율적으로 관리하는 추론 시스템입니다. 확산 언어 모델은 마스크가 포함된 토큰들을 반복적으로 갱신하면서 문장을 생성합니다. 여러 토큰을 함께 ...

Paper Review NLP Transformer 딥러닝 머신러닝

Posted by Euisuk's Dev Log on September 18, 2026

[Gemini 해커톤] Creator Hub: AI로 YouTube 악성 댓글을 자동 분석하는 풀스택 서비스

지난 2월 28일, 서울 세빛둥둥섬에서 Google Gemini 3 Seoul Hackathon이 열렸습니다. 전 세계 개발자들이 하루 동안 Gemini AI를 활용해 엔터테인먼트, 하드 테크, 사회적 선(Social Good) 세 가지 주제 중 하나로 프로젝트를 만들고 겨루는 행사였습니다. 오전 10시 오프닝부터 오후 5시 제출 마감까지, 약 7시간...

Gemini LangGraph Prompt Engineering Google NLP

Posted by Euisuk's Dev Log on March 5, 2026

[Paper Review] K-EXAONE Technical Report

https://arxiv.org/abs/2601.01739 도입: 한국 AI 생태계의 도전과 K-EXAONE의 탄생 글로벌 대규모 언어 모델(LLM) 개발 경쟁이 치열해지고 있습니다. Closed-Source 모델이 여전히 성능 우위를 점하고 있지만, Open-Weight 모델들이 수천억 파라미터를 넘어 조(trillion) 단위 스케일...

EXAONE LG Paper Review NLP

Posted by Euisuk's Dev Log on February 16, 2026

[토크] LLM 완벽 입문 가이드: Andrej Karpathy 강의 정리

원본 강의: Intro to Large Language Models - Andrej Karpathy (https://youtu.be/zjkBMFhNj_g) Slides as PDF: https://drive.google.com/file/d/1pxx_ZI7O-Nwl7ZLNk5hI3WzAsTLwvNU7/view (42MB) All the imag...

강의노트 NLP 딥러닝

Posted by Euisuk's Dev Log on December 26, 2025

[Paper Review] LLaVA: Visual Instruction Tuning - 멀티모달 AI의 새로운 패러다임

https://arxiv.org/pdf/2304.08485 논문 정보 제목: Visual Instruction Tuning 저자: Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee 소속: University of Wisconsin–Madison, Microsoft Research, ...

Paper Review Computer Vision NLP 딥러닝

Posted by Euisuk's Dev Log on December 12, 2025

[Paper Review] LLM-Det : Learning Strong Open-Vocabulary Object Detectors under the Supervision of Large Language Models

https://arxiv.org/pdf/2501.18954 본 리뷰는 원문을 최대한 직역한 내용입니다. 여기서 “우리는”은 저자를 지칭합니다. 참고 부탁드립니다. Abstract 최근 open-vocabulary detector들은 풍부한 region-level 주석 데이터로 유망한 성능을 달성하고 있습니다. (참고) Regio...

Paper Review Computer Vision NLP 딥러닝

Posted by Euisuk's Dev Log on September 15, 2025

[OpenAI] 언어모델 환각(Hallucination) 현상: 왜 AI는 확신에 찬 거짓말을 할까?

Source: https://cdn.openai.com/pdf/d04913be-3f6f-4d2b-b283-ff432ef4aaa5/why-language-models-hallucinate.pdf https://openai.com/index/why-language-models-hallucinate/ 해당 블로그 포스...

Paper Review OpenAI NLP 딥러닝

Posted by Euisuk's Dev Log on September 7, 2025

[Paper Review] EXAONE Deep: Reasoning Enhanced Language Models

https://arxiv.org/pdf/2503.12524 1 RESEARCH, L. G., et al. EXAONE Deep: Reasoning Enhanced Language Models. arXiv preprint arXiv:2503.12524, 2025. Abstract EXAONE Deep 시리즈를 소개합니다. 이 모델들은 ...

Paper Review EXAONE LG NLP

Posted by Euisuk's Dev Log on August 30, 2025

[Paper Review] EXAONE 3.5: Series of Large Language Models for Real-world Use Cases

https://arxiv.org/pdf/2412.04862 1 AN, Soyoung, et al. EXAONE 3.5: Series of Large Language Models for Real-world Use Cases. arXiv e-prints, 2024, arXiv: 2412.04862. Abstract 이 기술 보고서는 LG A...

Paper Review EXAONE LG NLP

Posted by Euisuk's Dev Log on August 30, 2025

[Paper Review] Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond

https://arxiv.org/abs/2308.12966 1 WANG, Peng, et al. Qwen2-vl: Enhancing vision-language model's perception of the world at any resolution. arXiv preprint arXiv:2409.12191, 2024. 초록 본 연구...

Paper Review Qwen Computer Vision NLP Transformer

Posted by Euisuk's Dev Log on August 29, 2025

[Paper Review] Qwen Technical Report

https://arxiv.org/abs/2309.16609 1 BAI, Jinze, et al. Qwen technical report. arXiv preprint arXiv:2309.16609, 2023. 💡 QWEN은 중국어로 “천 개의 질문”을 의미하는 Qianwen의 별명입니다. “QWEN”의 발음은 맥락과 말하는 개인에 ...

Paper Review Qwen NLP Transformer

Posted by Euisuk's Dev Log on August 29, 2025

[Paper Review] EXAONE 4.0: Unified Large Language Models Integrating Non-reasoning and Reasoning Modes

https://arxiv.org/pdf/2507.11407 Introduction LLM 생태계에서 가장 뚜렷한 트렌드 중 하나는 “빠른 응답”과 “깊은 추론”을 하나의 모델로 제공하는 Hybrid 모델의 부상입니다. 여기서 “빠른 응답”이란 일반적인 대화나 요약처럼 즉각적인 답변이 필요한 상황을, “깊은 추론”이란 복잡한 수학 문제나...

EXAONE Paper Review LG NLP

Posted by Euisuk's Dev Log on August 29, 2025

[NLP] 6. Topic Modeling이란?

1. Topic Modeling이란? 본 강의는 DSBA 강필성 교수님의 강의를 참조하여 작성되었습니다. Topic Modeling은 기계 학습 및 자연어 처리 분야에서 문서 집합 내에서 잠재적인 주제(Latent Topic)를 발견하기 위해 사용하는 통계적 모델링 기법입니다. 주어진 문서에서 반복적으로 등장하는 단어 패턴을 분석하여...

NLP 비지도학습 강의노트

Posted by Euisuk's Dev Log on January 28, 2025

[NLP] 5. 자연어 차원 축소(Dimension Reduction) 기법

차원 축소 (Dimensionality Reduction) 본 강의는 DSBA 강필성 교수님의 강의를 참조하여 작성되었습니다. 1. 차원 축소란 무엇인가? 차원 축소는 고차원의 데이터를 저차원의 데이터로 변환하는 기법입니다. 이를 통해 계산 효율성을 높이고, 데이터 분석 및 시각화를 용이하게 할 수 있습니다. 차원 축소는 다음 두 ...

차원축소 NLP 강의노트

Posted by Euisuk's Dev Log on January 28, 2025

(설명추가) Perplexity와 BLEU 스코어에 대한 보충 설명

책 19쪽에 해당 스코어에 대한 언급은 있지만, 개인적으로 좀 더 정리가 필요하다고 생각하여 아래와 같이 정리를 수행하였습니다. Perplexity 1. Perplexity란 무엇인가? Perplexity는 “혼란도”라는 뜻으로, 언어 모델이 주어진 문장을 얼마나 잘 예측했는지를 측정하는 지표입니다. 낮은 Perplexity 값은 모...

NLP 개념정리 도서리뷰

Posted by Euisuk's Dev Log on January 26, 2025

[정리] '24년 AI Summit : '라마' 개발 리더가 설명하는 LLM : Small Models 최신 기법 - Soumya Batra

오전 미팅 일정을 마친 후, Day2 오후 세션에 참석하여 매우 유익한 시간을 보냈습니다. 모든 세션에 참가하지 못한 점은 아쉽지만, 참석한 세션들에서 얻은 내용과 인사이트를 중심으로 이번 시리즈를 구성해 보았습니다. Track C: LLM & GenAI 제목 : ‘라마’ 개발 리더가 설명하는 LLM : Small Mode...

SK AI Summit Conference Distillation NLP

Posted by Euisuk's Dev Log on December 25, 2024

[Paper Review] NLP 공부하는 사람이라면 꼭 읽어야하는 논문 대신 정리해드립니다

✍️ 자연어 처리(NLP)는 빠르게 발전하고 있는 분야로, 수많은 획기적인 연구 논문들이 매년 발표되고 있습니다. 만약 여러분이 NLP에 처음 발을 들이거나, 연구를 더 깊이 이해하고자 한다면, 다음에 소개할 논문들이 핵심 개념과 최근 발전 동향을 파악하는 데 큰 도움이 될 것입니다. 다음은 해당 블로그에서 소개하는 “Must-Read Res...

Paper Review NLP Transformer

Posted by Euisuk's Dev Log on October 9, 2024

[Paper Review] Mamba2 - Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality

링크 : https://arxiv.org/pdf/2405.21060 다음은 논문 “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality”의 각 챕터별로 자세한 리뷰 및 정리입니다. 1. Introdu...

Paper Review NLP Transformer 딥러닝 State Space Model

Posted by Euisuk's Dev Log on October 2, 2024

[Paper Review] Mamba: Linear-Time Sequence Modeling with Selective State Spaces

최근 딥러닝 아키텍처의 중심에는 트랜스포머가 자리 잡고 있습니다. 대규모 언어 모델(LLM)뿐만 아니라, 그림을 생성하는 데 쓰이는 디퓨전 모델 또한 트랜스포머 구조를 활용하고 있습니다. 이외에도 시계열 분석이나 추천 시스템과 같은 다양한 분야에서 트랜스포머가 핵심적인 역할을 하고 있습니다. 그러나 트랜스포머를 대체할 수 있는 새로운 아키텍처를 모색...

Paper Review State Space Model 딥러닝 NLP 시계열

Posted by Euisuk's Dev Log on September 29, 2024

[IT] LLMOps와 RAG

최근 몇 년간 대규모 언어 모델(LLM)의 발전은 다양한 산업에서 큰 변화를 일으키고 있습니다. LLM은 사람과 유사한 방식으로 텍스트를 생성하거나 질문에 답변할 수 있으며, 고객 지원, 의료, 법률, 콘텐츠 생성 등 수많은 분야에서 널리 활용되고 있습니다. 그러나 LLM의 성능을 극대화하고 지속적으로 개선하기 위해서는 LLMOps와 같은 체계적인 운...

IT지식 개념정리 RAG NLP

Posted by Euisuk's Dev Log on September 19, 2024

[강의노트] Text Splitting For Retrieval

Introduction 대규모 언어 모델(LLM, Large Language Model)을 이용한 애플리케이션의 성능을 향상시키는 가장 효과적인 전략 중 하나는 큰 텍스트 데이터를 더 작은 조각으로 분할하는 것입니다. LLM에게 필요한 정보만을 제공함으로써 모델의 작업 효율성을 극대화할 수 있습니다. 이러한 텍스트 분할 기술은 단순한 방법 같지만...

RAG LangChain 강의노트 NLP

Posted by Euisuk's Dev Log on September 16, 2024