状態空間モデル#

系列から系列への変換器

State Space Models#

SSMsのうち、DeepSSMsの論文で見かける式

1次元のinput signal $x(t)$ を N次元のlatent space $h(t)$にしたあとに1次元のoutput signal $y(y)$に射影する。

$$\begin{array}{r}{h}^{\prime }(t)=Ah(t)+Bx(t)\\ y(t)=Ch(t)+Dx(t)\end{array}$$

ここで$A,B,C,D$はパラメータであり勾配降下法で学習される。$D=0$とおいて$y(t)=Ch(t)$とするモデルもある。

ディープラーニングベースの状態空間モデル（Deep SSMs）#

[2404.09516] State Space Model for New-Generation Network Alternative to Transformers: A Survey

構造化状態空間モデル（S4）#

[2111.00396] Efficiently Modeling Long Sequences with Structured State Spaces

Structured State Space sequence model で S4と呼ばれる

S4は状態空間モデル（SSMs）をRNNとCNNの組み合わせとして扱う

S4の解説

• The Annotated S4

  • S4の丁寧な解説資料。おすすめ✨。jaxのコードつき。

• 状態空間モデルNN①Efficiently Modeling Long Sequences with Structured State Spaces - YouTube

  • 日本語の動画

Manbda（S6）#

• 【Mamba入門】Transformerを凌駕しうるアーキテクチャを解説（独自の学習・推論コード含む） #Python - Qiita