ゲート付き回帰型ユニット

GRUのアイデアは次の式で表される（実際の演算とは異なる）。

${\displaystyle h_{t}=(1-z)\cdot h_{t-1}+z\cdot f(x_{t}+r\cdot h_{t-1})}$

すなわち隠れ状態 ${\displaystyle h_{t}}$ は以下の2要素の重み付け和で更新される。

• 1ステップ前の隠れ状態 ${\displaystyle h_{t-1}}$
• 「入力 ${\displaystyle x_{t}}$ 」と「重み付けられた隠れ状態 ${\displaystyle r\cdot h_{t-1}}$ 」の ${\displaystyle f}$ による非線形変換

例えば ${\displaystyle z=1}$ であれば入力は無視され隠れ状態がそのまま保持される。逆に ${\displaystyle z=0}$ であれば入力と隠れ状態の非線形変換により新たな隠れ状態が計算される。${\displaystyle r}$ は新たな隠れ状態の計算に影響を与える。${\displaystyle r=0}$ であれば入力のみから新な隠れ状態が計算され^[8]、${\displaystyle r=1}$ であれば入力・隠れ状態の両方が利用される。これら ${\displaystyle z}$ と ${\displaystyle r}$ もまた ${\displaystyle x_{t}}$ と ${\displaystyle h_{t-1}}$ から計算される。

単純なRNNと比較して、GRUは更新ゲート ${\displaystyle z}$ による隠れ状態の保持^[9]とそれによる長期記憶^[10]が可能になる。また初期化ゲート ${\displaystyle r}$ による隠れ状態の削除^[11]が可能になることでよりコンパクトな隠れ表現を得られる^[12]。

隠れ状態のサイズが1以上であれば複数の ${\displaystyle z}$ と ${\displaystyle r}$ (${\displaystyle z_{t}^{j}}$ と ${\displaystyle r_{t}^{j}}$ ) を持つことになる。それぞれの ${\displaystyle j}$ は独立して学習されるため、ある ${\displaystyle j}$ は更新ゲート ${\displaystyle z}$ が長期間1に近いすなわち長期記憶を保持し、ほかの ${\displaystyle j}$ は初期化ゲート ${\displaystyle r}$ が頻繁に切り替わりながら入力のフィルタリングをおこなうように振る舞う、といったことが可能になっている。すなわちそれぞれの隠れ状態が異なる時間スケールの表現を学習しうる^[13]。

様々な組合せで以前の隠れ状態とバイアスを使ってゲーティングを行う完全ゲート付きユニットや最小ゲート付きユニット（minimal gated unit）と呼ばれる単純形など複数の変種が存在する。

以下の式において、演算子${\displaystyle \circ }$ はアダマール積を示す。

最初、${\displaystyle t=0}$ に対して、出力ベクトルは${\displaystyle h_{0}=0}$ である。

${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\h_{t}&=(1-z_{t})\circ h_{t-1}+z_{t}\circ \sigma _{h}(W_{h}x_{t}+U_{h}(r_{t}\circ h_{t-1})+b_{h})\end{aligned}}}$

変数

• ${\displaystyle x_{t}}$ : 入力ベクトル
• ${\displaystyle h_{t}}$ : 出力ベクトル
• ${\displaystyle z_{t}}$ : 更新ゲートベクトル
• ${\displaystyle r_{t}}$ : 初期化ゲートベクトル
• ${\displaystyle W}$ 、${\displaystyle U}$ 、および${\displaystyle b}$ : パラメータ行列およびベクトル

活性化関数

• ${\displaystyle \sigma _{g}}$ : オリジナルはシグモイド関数。
• ${\displaystyle \sigma _{h}}$ : オリジナルは双曲線正接関数.

${\displaystyle \sigma _{g}(x)\in [0,1]}$ という条件で、別の活性化関数も利用可能である。

${\displaystyle z_{t}}$ および${\displaystyle r_{t}}$ を変更することによって代替形式を作ることができる^[14]。

• タイプ1、それぞれのゲートが以前の隠れ状態およびバイアスにのみ依存する。

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(U_{r}h_{t-1}+b_{r})\\\end{aligned}}}$

• タイプ2、それぞれのゲートが以前の隠れ状態にのみ依存する。

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(U_{z}h_{t-1})\\r_{t}&=\sigma _{g}(U_{r}h_{t-1})\\\end{aligned}}}$

• タイプ3、それぞれのゲートはバイアスのみを使って計算される。

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(b_{z})\\r_{t}&=\sigma _{g}(b_{r})\\\end{aligned}}}$

最小ゲート付きユニットは、更新ゲートベクトルおよび初期化ゲートベクトルが忘却ゲートへと統合されたことを除いて、完全ゲート付きユニットと類似している。これは、出力ベクトルに対する方程式が変更されなければならないこと になる^[15]。

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\h_{t}&=f_{t}\circ h_{t-1}+(1-f_{t})\circ \sigma _{h}(W_{h}x_{t}+U_{h}(f_{t}\circ h_{t-1})+b_{h})\end{aligned}}}$

変数

• ${\displaystyle x_{t}}$ : 入力ベクトル
• ${\displaystyle h_{t}}$ : 出力ベクトル
• ${\displaystyle f_{t}}$ : 忘却ベクトル
• ${\displaystyle W}$ 、${\displaystyle U}$ 、および${\displaystyle b}$ : パラメータ行列およびベクトル

• 長・短期記憶