状態空間モデル#
系列から系列への変換器
State Space Models#
SSMsのうち、DeepSSMsの論文で見かける式
1次元のinput signal \(x(t)\) を N次元のlatent space \(h(t)\)にしたあとに1次元のoutput signal \(y(y)\)に射影する。
\[\begin{split}
h'(t) = A h(t) + B x(t)\\
y(t) =C h(t) + D x(t)
\end{split}\]
ここで\(A,B,C,D\)はパラメータであり勾配降下法で学習される。\(D=0\)とおいて\(y(t) =C h(t)\)とするモデルもある。
ディープラーニングベースの状態空間モデル（Deep SSMs）#
[2404.09516] State Space Model for New-Generation Network Alternative to Transformers: A Survey
構造化状態空間モデル（S4）#
[2111.00396] Efficiently Modeling Long Sequences with Structured State Spaces
Structured State Space sequence model で S4と呼ばれる
S4は状態空間モデル（SSMs）をRNNとCNNの組み合わせとして扱う
状態空間モデルNN①Efficiently Modeling Long Sequences with Structured State Spaces - YouTube