言語モデルとRNN#
言語モデル#
embeddingを直接推定するのではなく、単語予測モデル（言語モデル）を構築して副次的にembeddingを取得することになる。
言語モデルとは、尤もらしい文章を生成できるような確率分布を習得するために、文章の確率を推定するモデルのこと。
ある文章\(S\)をトークン化したのを\((w_1, w_2, \cdots, w_n)\)と表記するならば、
を求めたいということになる。これは条件付き確率の積として表せる
ここで\(\boldsymbol{c}_i\)は\(w_i\)より前のトークン列\(\boldsymbol{c}_i=(w_1,w_2,\cdots,w_{i-1})\)で、文脈（context）と呼ばれる
Note
同時確率の分解
これは確率の乗法定理
に基づく。
\(w_m\)までの単語を\(C_m\)とすると、
さらに
となる。これを繰り返すことで上記のようになる
例#
言語モデルは文脈をもとに次の単語を予測する。例えば
Alice is reading a book in the room. Bob comes into the room and says hi to
?
の?に入る語を予測する
語順の問題#
Word2Vecに使われたcontinuous bag-of words (CBOW) のようなFeed-Forward Networkによる言語モデルでは、コンテキストの語順が考慮されない
RNN型ニューラル言語モデル（Mikolov + 2010）#
Mikolov et al. (2010). Recurrent neural network based language model.
RNN#
RNNは前のトークンまでの情報を次のトークンの出力に渡すパスが存在する。 トークンの系列を時系列モデルになぞらえて時刻と表現すると、時刻\(t\)の出力\(\boldsymbol{h}_t\)は
となる。ここで\(\boldsymbol{x}_t\)は入力で、\(\boldsymbol{h}_{t-1}\)は1時刻前の出力、\(\b{W}_h, \b{W}_x\)は重みで\(\b{b}\)はバイアスである。
なお、出力\(\b{h}\)は隠れ状態（hidden state）と呼ばれる事が多い
Note
双曲線正接（hyperbolic tangent: tanh）関数
RNNの場合、活性化関数にはtanh
を用いることが多い。tanhはシグモイド関数と形状が似ているが、値域は\([-1, 1]\)と負の値を許しており、また二次微分の減衰がゆっくりとゼロになるため勾配消失が起きにくいという特性がある。
Fig. 1 tanh#
Truncated BPTT#
RNNの誤差逆伝播法は、時間方向への逆伝播法ということで**Backproagation Through Time（BPTT）**と呼ばれる。
しかし長い文章を扱う場合、すべてのトークンを使うと学習の際にメモリに乗り切らない問題や勾配が不安定になる問題がある。 そこで、逆伝播のときはトークン系列を分割して学習する（順伝播は全部つながるようにする）方法があり、これをTruncated BPTTという。
実装（PyTorch）#
# 最小構成
import torch
from torch import nn
n_input = 1
n_hidden = 3
n_layer = 2
rnn = nn.RNN(n_input, n_hidden, n_layer)
x = torch.randn(5, 3, n_input)
h0 = torch.randn(2, 3, n_hidden)
output, hn = rnn(x, h0)
output
tensor([[[-0.6040, 0.9231, -0.6441],
[-0.2787, 0.3629, -0.5044],
[-0.2526, 0.5557, -0.7208]],
[[-0.6540, 0.8402, -0.4278],
[-0.6486, 0.5869, -0.2923],
[-0.7789, 0.7761, -0.3611]],
[[-0.5659, 0.8016, -0.4124],
[-0.3222, 0.7236, -0.4422],
[-0.4961, 0.8011, -0.4483]],
[[-0.6197, 0.8214, -0.4496],
[-0.6008, 0.7926, -0.4272],
[-0.6363, 0.8146, -0.4323]],
[[-0.2475, 0.6708, -0.2755],
[-0.4158, 0.7612, -0.3871],
[-0.6277, 0.8208, -0.4377]]], grad_fn=<StackBackward0>)
実装（Python）#
参考：ゼロから作るDeep Learning 2
import numpy as np
h = 2
w = 3
Wh = np.random.normal(size = (h, w))
import numpy as np
class RNN:
def __init__(self, Wx, Wh, b):
self.params = [Wx, Wh, b]
self.grads = [np.zeros_like(Wx),
np.zeros_like(Wh),
np.zeros_like(b)]
self.chache = None
def forward(self, x, h_prev):
Wx, Wh, b = self.params
t = Wh @ h_prev + Wx @ x + b
h_nrex = np.tanh(t)
self.cache = (x, h_prev, h_next)
return h_next
def backword(self, dh_next):
Wx, Wh, b = self.params
x, h_prev, h_next = self.cache
dt = dh_next * (1 - h_next ** 2)
db = np.sum(dt, axis=0)
dWh = h_prev.T @ dt
dh_prev = Wh @ dt
dWx = x @ dt
dx = Wx @ dt
self.grads[0][...] = dWx
self.grads[1][...] = dWh
self.grads[2][...] = db
return dx, dh_prev
RWKV#
RNNを利用しつつも並列計算を可能とした
従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？ - GIGAZINE