Distillation

지식 증류(knowledge distillation) 기법과 논문.

지식 증류(knowledge distillation) 기법과 논문.

상위 개념: 딥러닝

4 posts · 아카이브에서 필터로 보기

[정리] '24년 AI Summit : '라마' 개발 리더가 설명하는 LLM : Small Models 최신 기법 - Soumya Batra

오전 미팅 일정을 마친 후, Day2 오후 세션에 참석하여 매우 유익한 시간을 보냈습니다. 모든 세션에 참가하지 못한 점은 아쉽지만, 참석한 세션들에서 얻은 내용과 인사이트를 중심으로 이번 시리즈를 구성해 보았습니다. Track C: LLM & GenAI 제목 : ‘라마’ 개발 리더가 설명하는 LLM : Small Mode...

SK AI Summit Conference Distillation NLP

Posted by Euisuk's Dev Log on December 25, 2024

[Paper Review] Transferring Inductive Bias Through Knowledge Distillation - (3/3)

안녕하세요 :) 오늘은 지난번 포스팅에 이어서 “Transferring Inductive Bias Through Knowledge Distillation” 논문에 대한 정리를 이어나가 보도록 하겠습니다. 이전 포스팅에서 본 논문에서 다루게 될 주요 개념들인 Knowledge Distillation과 Inductive Bias에 대한 설명과 RNNs v...

Paper Review Distillation Computer Vision 딥러닝

Posted by Euisuk's Dev Log on September 13, 2021

[Paper Review] Transferring Inductive Bias Through Knowledge Distillation - (2/3)

안녕하세요 :) 오늘은 지난번 포스팅에 이어서 “Transferring Inductive Bias Through Knowledge Distillation” 논문에 대한 정리를 이어나가 보도록 하겠습니다. 이전 포스팅에서 본 논문에서 다루게 될 주요 개념들인 Knowledge Distillation과 Inductive Bias에 대한 설명을 해보았는데요...

Paper Review Distillation NLP 딥러닝

Posted by Euisuk's Dev Log on August 27, 2021

[Paper Review] Transferring Inductive Bias Through Knowledge Distillation - (1/3)

안녕하세요 :) 오늘 블로그 포스팅으로 다뤄볼 내용은 얼마 전에 흥미롭게 읽어보았던 “Transferring Inductive Bias Through Knowledge Distillation”이라는 논문인데요! 해당 논문은 Knowledge Distillation을 이용하여 과연 Inductive Bias를 전달할 수 있을 까를 다룬 논문입니다. 아쉽...

Paper Review Distillation 딥러닝

Posted by Euisuk's Dev Log on August 15, 2021