エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
曖昧な理解だったのを、自前で実装できるくらいに理解しようと図解しました。その際の資料を公開します... 曖昧な理解だったのを、自前で実装できるくらいに理解しようと図解しました。その際の資料を公開します。 内容は、ほぼ"Understanding the backward pass through Batch Normalization Layer"の焼き直しです。 全結合NN の Batch Normalization いつ行うの? 全結合のニューラルネットワークの場合、Affinの後、活性化(例:ReLU)の前 入力は? Affinの出力を 行 として、 (図は入力層→NN第一層での例) ミニバッチ数分のAffin出力を並べた行列が入力。 入力行列をどう演算するの? 要素毎(列内)で正規化の演算します。 演算式は? 上図の1列の演算を示す 入力: 上図の1列の値 { $x_1$ ... $x_N$ } ( $N$:ミニバッチ数) 学習値 $γ$ , $β$ 出力: