はてなブックマーク

はじめに 概要 深層学習に対して不確実性を導入する 深層学習をベイズ推論で理解する ベイズ推論にニューラルネットワークを導入する 中身 1.はじめに 2.ニューラルネットワークの基礎 3.ベイズ推論の基礎 4.近似ベイズ推論 5.ニューラルネットワークのベイズ推論 6.深層生成モデル 7.深層学習とガウス過程 読み方 はじめに MLPシリーズの「ベイズ深層学習」を著者:須山敦志氏よりご恵贈に預かりました。 須山さんはHatena blogにて machine-learning.hatenablog.com を長いこと書かれており、私も機械学習の勉強を開始して依頼、何度も参考にしてきました。 今回は恵贈頂いたベイズ深層学習に関して恐れ多くも書評を書いていきます。 ベイズ深層学習 (機械学習プロフェッショナルシリーズ) 作者: 須山敦志出版社/メーカー: 講談社発売日: 2019年08月08日メ

tf.functionの基本 基本的な役割 実際の使い方 注意点 制御構文 TO DO tf.functionの基本 基本的な役割 TensorFlow2.0からはDefine by Runを標準としつつも、Pythonの遅さをカバーするべく、実行ごとに計算グラフが変化することのないようなものはDefine and Run的に使えるように tf.function という関数が追加されました。実態はPython関数をtf.Graphに変換して、あとは適宜このgraphを呼び出すことで利用できるというものになっています。 def python_add(): return tf.add(1., 2.) という関数を定義した場合TF2.0ではpython_addを呼び出した段階でtf.addが実行され結果 3.0 が得られます。 def python_add(x, y) return tf.add

はじめに 環境とエージェント 環境 マルコフ過程 本当のマルコフ過程 マルコフ決定過程 本当のマルコフ決定過程 強化学習の話をちょっとだけ 最後に はじめに 強化学習を真面目に勉強し始めたので、ここまで学んだ知見を記事としてまとめます。 線形代数の基本的な表記や確率統計で出てくる基本的な言葉を前提とし、理論的な証明などは割愛し結果だけを認める形で進めていきたいと思います。 環境とエージェント まず最初に強化学習で現れる「環境とエージェントの相互作用」なるもの言葉について、実を言うと、目の前にある課題は環境とエージェントの相互作用というのは必ずしも必要がないかもしれません(そうであれば強化学習という手段を行使しないということ...)。 強化学習を学び始めるとどうしてもこの相互作用なるものが前提で話が進んでしまうため、若干の分かりにくさが生まれてしまうように思います。ここでは思い切って、「環境」と

はじめに 特徴抽出とは ニューラルネットワークによる特徴抽出 深層学習は特徴抽出を自動で行うのか 補足:本当に自動機械学習に向けて はじめに 未だに強く主張されることの多い「ディープラーニングは人手の特徴抽出作業を自動で実施してくれる」という話。 このことについては肯定も否定もしないというのが私の立場ですが、基本的に「思っているより思い通りには行かない」という事実があることは主張しておきたいです。 そのために、今回「ディープラーニングが自動で特徴抽出を行ってくれる」ということがどういうことなのかを簡単に説明します。 特徴抽出とは まず特徴抽出とは何かを説明していきましょう。特に断りが無い限りは大文字は行列、小文字はベクトルあるいはスカラーだと思って差し支えありません(今回は特に細かい数式の設定が議論に影響することはありません)。 今、入力 $x$ で出力が $y$ となるような適当なデータ

はじめに:推定量とは 一致推定量 不偏推定量 最後に はじめに:推定量とは 今回はいろいろな○しろまる○しろまる推定量について意味をまとめます。 統計学における推定量とは、現実に測定された標本データをもとに、確率分布の母数として推定した数量、もしくはそれをデータの関数として表す推定関数のことをいう。各母数に対していろいろな種類の推定量がある。これらはそれぞれ異なる基準に従って得られるものであり、必ずしもどれが特に優れているということはできない。(wikipedia) とあるように、推定量にはいろいろな言葉と種類があります。上記の説明ではなかなか小難しいので、噛み砕いて説明をしましょう。 例えば、データ $X = \{x _ 1, \cdots, x _ N \}$ が手元にあるとしましょう。このデータは正規分布に従って発生していると信ずることにします。このとき、データを無限個手に入れさえすれば、正規分布の

はじめに ガウス過程の構成要素 パラメータの周辺化消去 カーネル関数 ガウス過程 ガウス過程回帰 ガウス過程分類 最後に はじめに 下記の記事の通り、非常に良いガウス過程の日本語書籍が出版されました。その気になればガウス過程を誰でも勉強できるようになったという素晴らしい状態です。 www.hellocybernetics.tech 今回は勉強フェーズは上記の書籍に完全に任せるとして、使うという立場でガウス過程を見ていきましょう。 ガウス過程の構成要素 ガウス過程は一般線形モデル $y = {\bf w \cdot \phi(x)}$ に対してカーネル法とパラメータ $\bf w$ に事前分布を設けて周辺化消去を駆使した高度なモデルになっています。ガウス過程を利用する場合には、パラメータの周辺化消去は数式上で実施されているため特に意識することはありません。 $\bf w$ が式から消えた後は

はじめに グラフィカルモデリング グラフィカルモデルと同時分布 グラフィカルモデリング まとめ 正規分布のパラメータの事後分布 回帰問題のモデリング はじめに 数式の表示がされるかテストも兼ねて、ベイズの定理を使わず事後分布の推論の話をします。 グラフィカルモデリング グラフィカルモデルと同時分布 確率モデリングをしていく上で、非常に便利に使える道具としてグラフィカルモデルを簡単に導入しておきます。 難しい話はしません。単にツールとして数式の代わりにグラフィカルモデルを「読める」ようにしておくと便利というだけの話です。 同時分布 $p(a, b, c)$ というものを扱う場合、そのグラフィカルモデルの出発点は下記のようになります。 これは無向グラフなどと呼ばれますが、兎にも角にも同時分布はこのように全ての確率変数を対等に扱ったグラフになっていることに注目しておきましょう。ここからモデリング

はじめに 目次とコメント 0章 たった5分でガウス過程が分かってしまう 1章 線形回帰モデル 2章 ガウス分布 3章 ガウス過程 4章 確率的生成モデルとガウス過程 5章 ガウス過程の計算法 6章 ガウス過程の適用 7章 ガウス過程による教師なし学習 ガウス過程のライブラリ GPy GPyTorch GPflow はじめに 既に機械学習界隈の中で気になった方は手に取っているであろう「MLP ガウス過程と機械学習」の紹介です。 ガウス過程と機械学習 (機械学習プロフェッショナルシリーズ) 作者: 持橋大地,大羽成征出版社/メーカー: 講談社発売日: 2019年03月09日メディア: 単行本(ソフトカバー)この商品を含むブログを見る ガウス過程と言えば、「ベイズ」や「カーネル法」、「確率過程」など、難しそうな言葉のオンパレードで、どうも機械学習を学びたての人にとっては敬遠しがちなものである印象が

はじめに 有限要素法の下地をひとっ走り 考える微分方程式 解の候補を絞る 解の候補が満たすべき素朴な条件:最小二乗法 解の候補が満たすべき面白い条件:重み付き残差法 欲張りな重み付き残差法 重み付き残差の準備の仕方を決める:ガラーキン法 はじめに 今日は初めて有限要素法について勉強したことを書きます。新しいことを学ぶのは量子計算の話以来です。「勉強しながらまとめていこう」とブログを初めた最初のきっかけを思い出し、とてもワクワクしております。当然のことながらこの話題が今後も続くかは謎ですし、この記事の内容も正しいのかも分かりませんし、そもそもCAE使ったこともないです。 しかし噂によると有限要素法できると1000万円くらいもらえるらしいです。燃えるぜー!皆頑張ってね(不正確:要確認)。 マジかよ!!!今から有限要素法の勉強するわ!!!!(遅い) https://t.co/IoiuzPKUvj

はじめに 確率モデリング 例 ガウス分布から生起するデータ 回帰モデル ベイズモデリング MAP推定 変分推論 VAE Normalizing Flow はじめに 確率モデルから始めて、最近ようやくVAE系統までの流れを把握できたのでまとめておきます。 確率モデリング 確率モデリングは観測データ $X$ と 観測していない潜在変数 $Z$ が主な登場人物です。潜在変数 $Z$ というのはモデルの内部に潜んでいるのだが、データとして取り出すことはできない実体のある何かである可能性もありますし、実体として結びついていなくても、何かモデルの構造に入り込んでいるであろうものを抽象的に表しているだけの可能性もあります。これは設計者が決めることです。 また、確率モデルのパラメータ等も全て潜在変数というものだとしておきます。 例 ガウス分布から生起するデータ 観測データが $$ x_i \sim {\m

はじめに AutoMLのライブラリ H20.ai Auto-Keras AutoSklearn hyperas AutoMLとは 機械学習で生ずる作業 AutoMLの役割 ハイパーパラメータ探索 モデルの選定 特徴選択 AutoMLとは 追記 はじめに AutoMLなんてものがこんなにも世の中に出てきているなんて、本当に最近知りました。個人的に商用でAutoMLの存在を把握していたのは「DataRobot」と「Google Cloud AutoML」くらいだったのですが、今はオープンソースソフトウェアとしてもいくつか出ているみたいで、先日「autokeras」なんていうものがあると知りました。 今更ですが、autokeras なんてあるんですね。 これはきっと、Kerasの高レベル感をめいいっぱい活かしたAutoMLの実装に違いない。と思ってリポジトリ行ったら import torch っ

はじめに 線形回帰と学習のコード データセット PyTorch TF2.0 違い 些細な違い:層の定義の仕方 些細な違い:ロス関数の書き方 大きな違い:勾配計算とパラメータ更新 ニューラルネットワークの簡単な書き方 PyTorch TF2.0 違い 畳み込みニューラルネットワーク PyTorch TF2.0 違い パディング 畳み込み層→線形層 traininigフラグ RNN PyTorch TF2.0 違い 大きな違い:多層化 些細な違い:Bidirectional 大きな違い:戻り値の並び 学習 はじめに 最近KerasからPyTorchに流れていく人たちが多く見受けられます。その中でて「Kerasで書いていたコードをPyTorchのコードで実装するにはどうすれば良いんだろう?」という声があります。要は、今まで使っていたフレームワークでやろうとしていたことを、別のフレームワークでやろ

はじめに コトバの定義 データ 学習データ 検証データ テストデータ 入力データと出力データ 機械学習モデル 仮説 仮説集合 損失 損失関数 予測損失 経験損失 はじめに 青いシリーズの統計的学習理論 統計的学習理論 (機械学習プロフェッショナルシリーズ) 作者: 金森敬文出版社/メーカー: 講談社発売日: 2015年08月08日メディア: 単行本(ソフトカバー)この商品を含むブログを見る こいつに書かれているコトバの定義がわかり易かったので、まとめておきます。 機械学習が何たるものであるかを端的に表現することができるので、共通の認識になると良いな。 コトバの定義 データ 観測によって得られる情報。既知の情報だけでなく将来に渡って得られる情報のことも指します。 一般には数値で表現されることが多く、多くの場合はベクトルや行列で表現されます。近年はもっと多次元の配列(テンソルと広く呼ばれている)

はじめに ベイズ推論 モデリング 事後分布 予測分布 実際に使われる予測分布 Pyroの基本 Pyroの確率変数の取扱 Pyroのハイパーパラメータの取扱 Pyroでの変分パラメータの取扱 変分ベイズ推論のコード:確率モデル 変分モデル 学習コード 変分推論のカスタマイズ pyroについて はじめに タイトルの通り基本だけ書きます。 Pyroは解説できるほど触っていないので、大したことは書けませんが、何も知識が無いよりはとっつきやすくなるであろうことを書いておきます。 ベイズ推論 モデリング ベイズモデリングとは観測データ $X$ を、パラメータだとか潜在変数だとか呼ばれる「未観測の確率変数」を使ってモデリングする試みです。例えば $X$ が正規分布に従うと思っているのならばパラメータ $\mu, \sigma$ を用いて、$ N(X | \mu, \sigma) $という確率モデルを考え

はじめに 変分ベイズ法の戦略 基本の復習 分布の評価指標 ELBO 変分ベイズ法の具体的手段 関数 $q$ をどのように置くのか はじめに 下記記事の続きで、お気持ちは理解している前提で進みます。 www.hellocybernetics.tech 変分ベイズ法の戦略 基本の復習 データ $D = {x_1, \cdots, x_N}$ が手元にあるときに確率モデル $p(x|\theta)$ と事前分布 $p(\theta)$ を設計するのがモデリングの第一歩でした。するとベイズの定理(あるいは乗法定理)から、下記の事後分布を獲得することがベイズ推論の目標になります。 $$ p(\theta | D) = \frac{p(D|\theta)p(\theta)}{p(D)} $$ さて、この分布を推論したときに最も嬉しい結果は $\theta$ を表す真の分布 $\hat p(\theta

ベイズ推論の基本 変分ベイズ学習 変分法の心 変分ベイズ法の戦略 ベイズ推論の基本 ベイズモデリングの概要については下記の記事を参考にしてください。 www.hellocybernetics.tech 概要をさらっとなぞると、ベイズ推論の基本的な話としては、観測データ $x$ の真の確率分布 $\hat p(x)$ を知る由もないので、確率モデル $p(x | \theta)$ でモデル化し、更にパラメータ $\theta$ にも事前分布 $p(\theta)$ を仮定します。 $$ p(x, \theta) = p(x | \theta)p(\theta) = p(\theta | x) p(x) $$ という確率分布に対していつでも成り立っている乗法定理から、 $$ p(\theta | x) = \frac{p(x|\theta)p(\theta)}{p(x)} $$ とできます。そ

TensorFlow 2.0発表! コード周辺の変更 tutorial TensorFlow 2.0発表! ついに動きがありましたね。APIは下記で見ることが出来ます。名前空間がスッキリしていることに気づくはずです。 www.tensorflow.org v1.12.0からv2.0へコードを書き換えるためのツールも整備されていく模様です。 tensorflow/tensorflow/tools/compatibility at master · tensorflow/tensorflow · GitHub また、2.0の発表して間もなく、githubにはチュートリアルのリポジトリが出現しました。さすがは注目度が高いですね。 github.com コード周辺の変更 さて、TensorFlow2.0でどのように書き方が変わったのかというと、以前からお伝えしてきたとおり、Eagerをデフォルトと

はじめに 上記発言の意図 アヒル本 須山ベイズ 渡辺ベイズ 確率モデリング 確率モデリングの概要 確率モデリング手順 予測モデル MAP推定値 EAP推定値 ベイズ予測分布 ベイズモデリングのまとめ はじめに 今回は下記のツイートが割と評判が合ったので、少し補足のための記事を書きたいと思います。 ベイズやるなら ●くろまるモデリング、プログラミング アヒル本 ●くろまる推論、計算 須山ベイズ ●くろまる理論 渡辺ベイズ 3冊で良いです。— HELLO CYBERNETICS (@ML_deep) 2019年1月6日 なぜかすごく「いいね」がついているので補足 ・アヒル本 数学的難易度低め、データに対するモデリングに注力 ・須山ベイズ 数学的難易度は中、腕力がいる、モデリング→推論の流れの数式操作に注力 ・渡辺ベイズ 数学的難易度は高、予測分布等の数学的性質(汎化性能との関係)などの理論に注力 https://t.

はじめに:Optunaとは 使い方 インストール 最適化問題の例 問題設定 最適化 最適化の結果 ニューラルネットワークのハイパーパラメータチューニング 問題設定 実装 ハイパーパラメータを引数に取り、ニューラルネットワークを構成する関数 ハイパーパラメータを引数にとり、最適化手法を返す関数 ハイパーパラメータを引数に取り、学習済のモデルを返す関数 ハイパーパラメータを引数に取り、最小化したい値を返す目的関数 いざ最適化 はじめに:Optunaとは OptunaとはPFNが世に送り出した最適化枝刈りライブラリです。 Pythonのコードとして機械学習のコードのどこにでも入れることができ、非常に使いやすいAPIとなっています。大体、結構丁寧なサンプル・解説が公式ドキュメントに既にあるので、分かる方は此方を読むのが一番早いでしょう。 Welcome to Optuna’s documentat

はじめに PyTorch generator discriminator 学習部分 TensorFlow eager generator discriminator loss 学習部分 edward placeholderとノイズ入力 generetor discriminator 学習部分 参考 はじめに 各ライブラリを利用した時のDCGANのコードを羅列しただけの記事です。 使い方の雰囲気だけでも比較したいときに見てください(基本的にただのメモです)。 それぞれについて要点だけを説明しておきます。 PyTorch generator PyTorchにはtorch.nn.Sequentialというクラスがあります。 この中にはtorch.nnモジュールで実装されているクラスを複数個渡すことができます。 nn.Sequentialは渡した順番で演算を実行することができるため、あたかもこれで

はじめに データの前提 分散最大化(KL展開) 取り出したい成分について 問題の定式化 問題を解く 元々の多次元信号 次元削減後の信号 寄与率 各成分が無相関になるような射影先を選ぶ 5次元の観測データ 無相関化したデータ 確率的主成分分析(最尤推定) 定式化 解法 ベイズ主成分分析(MAP推定) 補足:事前分布は任意性を持つ ベイズ学習の基本 MAP推定 主成分分析のMAP推定コード(TensorFlow Probability) インポートとデータの準備 モデル 最適化ループ 学習されたモデルからのデータの生成 はじめに PCAは色々と勉強になるので、今回ここでザッとまとめておこうと思います。実はこれまでにも何度も取り上げていて、 www.hellocybernetics.tech www.hellocybernetics.tech 等などあるのですが、その場でその場で場当たり的に比較

はじめに Eager Executionの書き方 インポート データの準備 モデルの書き方 学習コード モデルの評価 補足 Google colabでのTensorBoard 最後に はじめに TensorFlow2.0から Eager Execution と Keras API が標準になる見込みです。すでにブログではこのことを何度か取り上げています。 www.hellocybernetics.tech www.hellocybernetics.tech 今回は、TF2.0から最も標準的になると思われるコードの書き方を見ておきましょうというテーマになります。 特にディープラーニングのテクニックや手法の考察などは行わないので、あくまで書き方の参考という程度に御覧ください。 コードはgoogle colabで書いていったので、基本的にはjupyter notebookなどで動作させることを想

はじめに データを見てみましょう まずはインポート 下記の関数でデータを作ります データを可視化 直線フィッティング データの素性を知らない場合 Stanでモデルを書く データを辞書で渡す 推論(学習)開始 事後分布 ベイズ予測分布 会社毎のバラツキを考慮したモデリング 階層ベイズモデリング 辞書でデータを渡し学習 結果の可視化 まとめ データの生成過程を想像してモデリング なぜに個々にフィッティングしないか はじめに 凄い、Stanすんごく使いやすい......ナンジャコリャ。 なぜにアヒル本をTF-Pで進めようと思っていたのか謎である。— HELLO CYBERNETICS (@ML_deep) 2018年11月13日 とあるように感動したので、怒られない程度にアヒル本の中に出てくるモデルを使ってPyStanで実行してみました。 (TF-PはEdwardだったときは割と分かりやすいAPIだった

はじめに StanとRでベイズ統計モデリング 本の構成・難易度 本の詳細 目次+要約 Chapter1 統計モデリングとStanの概要 Chapter2 ベイズ推定の復習 Chapter3 統計モデリングをはじめる前に Chapter4 StanとRStanをはじめよう Chapter5 基本的な回帰とモデルのチェック Chapter6 統計モデリングの視点から確率分布の紹介 Chapter7 回帰分析の悩みどころ Chapter8 階層モデル Chapter9 一歩進んだ文法 Chapter10 収束しない場合の対処法 離散値をとるパラメータを使う 時間や空間を扱うモデル はじめに 今更感の強い紹介になってしまいます。 私自身Rを使う機会はコレまでまったくなかったので、ただただRというだけの理由でふれてこなかった本です。 そして、そんなこと気にせずに早く買えば良かったと思った本です。ちな

はじめに 概要 コードの前提 Edward2 肝は tfp.edward2.RandomVariableクラス ベイズロジスティック回帰 ロジスティック回帰を書く 事後分布を書く 事前分布のセッティング 対数尤度 MCMCの実行 事後分布を見る 最後に はじめに 概要 現在開発が急ピッチで進んできている(ように私には見える)、TensorFlow Probabilityですが、 PyroやStanなどの先発組に比べて明らかに遅れを取っているように見えます。 このことに関して「ネット上に良いサンプルコードが見当たらない」ということと「ドキュメントを読んでもどのAPIを使えば良いか分からない」ということが大きな原因かなと思います。 特にtfp.distributionsとtfp.edward2の差異は明確ではなく、どっちをどのように使うのか...というのはかなりわかりづらいところです。 結論を述べ

はじめに ガウシアンプロセスで最低限知ってほしいこと 線形回帰 ガウシアンプロセス回帰 ガウシアンプロセス回帰のまとめ ガウシアンプロセス回帰の推定 まとめ 1.ガウシアンプロセスのモデル 2.推定するべきガウシアンプロセスのパラメータ 3.カーネル関数でガウシアンプロセスのパラメータを書き換える 4.推定すべきパラメータをすり替える 補足 TensorFlow Probabilityで実践 必要なライブラリのインポート でたらめなガウシアンプロセス回帰 データの準備 パラメータをフィッティングしていないガウシアンプロセス回帰のサンプリング 学習したガウシアンプロセス回帰 データ点準備 ガウシアンプロセスのモデル構築 損失関数の設定 ガウシアンプロセス回帰のサンプラー いざ学習! 更に進むために はじめに TensorFlow Probabilityには様々な確率分布が実装されています。

ハードウェアエンジニアに向けて 製造業の企画・設計に向けて 工事中 ハードウェアエンジニアに向けて 忘れかけてた「ものづくり」という観点を思い出させてくれる一冊です。 ハードウェアハッカー ~新しいモノをつくる破壊と創造の冒険 作者: アンドリュー"バニー"ファン,山形浩生,高須正和出版社/メーカー: 技術評論社発売日: 2018年10月19日メディア: 単行本(ソフトカバー)この商品を含むブログ (2件) を見る 近年はAI・IoT・ビッグデータなどの名前とともに「ソフトウェア」に高い注目が集まっていますが、ハードウェアなくしてソフトウェアをは動きません。もちろんソフトウェアなくしてハードウェアは意味を成しませんが...、とにかく両方重要なのです。 特に、IoTのようなエッジで何かしらを動作させる必要がある場合には、安価かつ高性能なハードを量産できるかというのは極めて重要な課題です。下記の本は

はじめに Define and RunとDefine by Run Eager Execution モデルの書き方 線形回帰モデル 畳み込みニューラルネットワーク 損失関数と勾配の書き方 勾配の求め方 損失関数 学習コード 発展的事項 Eager Executionでのバッチ正規化の書き方 tf.keras.Sequentialも健在 最後に はじめに 9月の下旬に下記の記事を書きました。それなりに反響があったので、きっとTensorFlowの発展に興味を持っている人は数多くいるのだと思います。 www.hellocybernetics.tech TensorFlowメジャーアップデートに伴う代表的な変化として「EagerExecution」がデフォルトになるという点があります。 Define and RunとDefine by Run これまでTensorFlowと言えば、Chainer