State Space Model

상태 공간 모델(SSM)의 이론과 HiPPO, S4, Mamba 등 SSM 기반 시퀀스 모델을 다룬 글.

상태 공간 모델(SSM)의 이론과 HiPPO, S4, Mamba 등 SSM 기반 시퀀스 모델을 다룬 글.

상위 개념: 딥러닝

6 posts · 아카이브에서 필터로 보기

[TREND] 트렌스포머 이후의 차세대 아키텍쳐: MoE, SSM, RetNet, V-JEPA

2017년, “Attention is All You Need”라는 논문과 함께 등장한 트랜스포머(Transformer)는 AI 모델의 혁신적인 변화를 이끌었습니다. 현재, 대형 언어 모델(LLM)과 생성 AI는 언어, 비디오, 이미지 등의 데이터 처리에서 압도적인 성능을 발휘하며 우리 삶의 다양한 영역에서 활용되고 있습니다. 그러나 트랜스포머 기...

Transformer 트렌드 딥러닝 IT지식 State Space Model

Posted by Euisuk's Dev Log on November 30, 2024

[Paper Review] Mamba2 - Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality

링크 : https://arxiv.org/pdf/2405.21060 다음은 논문 “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality”의 각 챕터별로 자세한 리뷰 및 정리입니다. 1. Introdu...

Paper Review NLP Transformer 딥러닝 State Space Model

Posted by Euisuk's Dev Log on October 2, 2024

[Paper Review] Mamba: Linear-Time Sequence Modeling with Selective State Spaces

최근 딥러닝 아키텍처의 중심에는 트랜스포머가 자리 잡고 있습니다. 대규모 언어 모델(LLM)뿐만 아니라, 그림을 생성하는 데 쓰이는 디퓨전 모델 또한 트랜스포머 구조를 활용하고 있습니다. 이외에도 시계열 분석이나 추천 시스템과 같은 다양한 분야에서 트랜스포머가 핵심적인 역할을 하고 있습니다. 그러나 트랜스포머를 대체할 수 있는 새로운 아키텍처를 모색...

Paper Review State Space Model 딥러닝 NLP 시계열

Posted by Euisuk's Dev Log on September 29, 2024

[Paper Review] Structured State Space Models for Deep Sequence Modeling

시계열 데이터를 효율적으로 처리하는 방법은 지난 몇 년 동안 빠르게 발전했습니다. 특히, CMU에 계신 Albert Gu 교수님은 긴 시계열 의존성(Long-Range Dependencies, LRDs)을 처리하는 데 집중한 HiPPO(2020), LSSL(2021), 그리고 S4(2022)와 같은 연구들을 하고 계십니다. 이번 글에서는 연구의 흐름...

Paper Review State Space Model 딥러닝 시계열

Posted by Euisuk's Dev Log on September 25, 2024

[Paper Review] Resurrecting Recurrent Neural Networks for Long Sequences

논문 “Resurrecting Recurrent Neural Networks for Long Sequences”는 25 Apr 2023에 publish되었으며, ICML 2023 OralPoster에 발표된 논문입니다. 해당 논문은 “Recurrent Neural Networks (RNN)의 성능을 복원하여 긴 시퀀스에서의 효율적인 학습과 추론”을 ...

Paper Review State Space Model 딥러닝 시계열

Posted by Euisuk's Dev Log on September 24, 2024

[개념] 시스템, 미분방정식, 그리고 상태 공간 모델

우리는 일상생활에서 다양한 시스템과 상호작용하고 있습니다. 동적 시스템은 그중 하나로, 시간이 지남에 따라 상태가 변화하는 시스템을 의미합니다. 상태 공간(State Space) 모델은 복잡한 동적 시스템을 이해하고 분석하는데 중요한 도구입니다. 이 모델은 시스템을 상태(state)라는 개념으로 표현하며, 이를 통해 시간에 따른 시스템의 변화를 행렬로...

State Space Model 개념정리 수학 시계열

Posted by Euisuk's Dev Log on September 20, 2024