はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 千葉大学/Nospareの米倉です.今回は単位根について解説したいと思います. モチベーション 次の図は,1975年1月から2005年4月までの,ドル・円の実効為替レートです. この時,第二のジョージ・ソロスになりたい貴方は,この実行為替レートの動きを予測したいとたくらみます.たくらんでるとインドの神様が脳に降臨し,「ショーンKというデータセットを与えます,説明変数にしてみなさい」と,謎のデータセット,ショーンKを与えてくれたとします. 神様には逆らえませんので,試しにドル・円の実効為替レート(rate)とショーンKの相関を求

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 千葉大学/Nospareの米倉です.今回は多重共線性について解説したいと思います. 多重共線性とは まずは次のような線形回帰モデルを考えます, $$y=X\beta+\epsilon.$$ ここで$y,X,\beta$はそれぞれ,$n$次元の被説明変数のベクトル,$X$は説明変数ベクトルからなる$n\times d$の行列,$\beta$は$d$次元のパラメータのベクトルとし,$\epsilon$は$\mathbb{E}[\epsilon]=0, Var[\epsilon]=\sigma^2$を満たす確率ベクトル(誤差ベクトル

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 千葉大学/Nospareの米倉です.今回は決定係数について解説したいと思います. 決定係数とは まずは次のような線形回帰モデルを考えます, $$y=X\beta+\epsilon.$$ ここで$y,X,\beta$はそれぞれ,$n$次元の被説明変数のベクトル,$X$は説明変数ベクトルからなる$n\times d$の行列,$\beta$は$d$次元のパラメータのベクトルとし,$\epsilon$は線形回帰分析の際の適当な仮定を満たす確率ベクトル(誤差ベクトル)とし,その分散は$\sigma^2$であるとします.またこの記事では$

はじめに 千葉大学/Nospareの米倉です.今回はノンパラメトリックな方法(分析で用いる分布を仮定しない)を用いた,探索的データ分析について解説します.ノンパラメトリックな方法を用いることにより,モデルの特定化の失敗の影響を抑えたり,またパラメトリックな方法を用いる際の予備的分析になると思います.また簡単なA/Bテストにもいいのかなと思います. Empirical Cumulative Distribution Function(ECDF) Empirical Cumulative Distribution Function(ECDF)とは,累積分布関数を経験分布を用いて推定(データから推定)したものです.確率変数$X$が$x$以下になる確率$P(X\leq x)$を累積分布関数といいます.これをデータから推定したものがECDFです.推定方法は簡単で,例えば次のJuliaのコードではso

はじめに 千葉大学/Nospareの米倉です.今回はカルマンフィルターについて解説していきたいと思います. カルマンフィルターで何が出来るの? フィルターとあるように,カルマンフィルターが出来る基本的なことは線形ガウス状態空間モデルのフィルタリング密度を逐次的に求めることです.ここで2つのキーワード,「線形ガウス状態空間モデル」と「フィルタリング密度」という単語が出てきましたので,まずはそれらについて解説します. 線形ガウス状態空間モデルとは 状態空間モデルとは2つの確率過程からなります.1つは潜在変数・状態変数・隠れ変数といわれるもので,これは直接観測できないがマルコフ連鎖に従う変数だとモデリングされます.例えば景気の良し・悪し等,概念として存在するけれど直接は観測できないものを想像してください.2つめは観測値で,これは直接観測できるもの,つまりデータです.ただし変数に依存して観測される

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 千葉大学の米倉です.今回は技術の解説の記事ではなく,研究者として企業で行っているデータ分析で感じたことを述べたいと思います.つまりはポエムです.僕は統計学者には珍しくヘルダーリンやツェランを読んでいるのでポエムには自信がある. 目次 1.OKOTOWARI 2.外れ値の存在 3.時系列データの扱い 4.ゴミデータなんてない 5.理解不足 6.頻度論的分析が多すぎる 7.初手ディープの危険性 8.ダメな分析の危険性 9.データの扱いが難しい 10.おわりに 1. OKOTOWARI 今回のポエムは特定の企業などそういった話ではな

はじめに 千葉大学/Nospareの米倉です.今回は,統計学・機械学習周辺で,僕が良いと思ったチュートリアル/サーベイ論文と講義ノートを簡単なコメント付きで紹介したいと思います.チュートリアル論文やサーベイ論文は,そのトピックの解説や教育面にフォーカスしていて,何か勉強したり,網羅的に把握するときに非常に便利だと個人的に思います.また公開されている講義ノートの中には非常に勉強になるものが多くあります.内容は僕が興味があるトピックに偏っています.またすべて無料で読めます.(教科書等の海賊版みたいなのは載せていません) 10本の紹介 Nickl "STATISTICAL THEORY" Nicklの統計学の講義ノートです.いわゆるM推定量の漸近的性質に加え,バーンスタイン・フォンミーゼズ定理等も証明付きで解説されており,上級レベルの数理統計学を学ぶのに重宝すると思います. Doucet and

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 千葉大学/Nospareの米倉です.今回はベイズ統計学でよく使われる,マルコフ連鎖モンテカルロ法(MCMC)が上手行く時・いかない時はどんな状況なのかを確認したいと思います.簡単化のために,ランダム・ウォーク・メトロポリス法を特に扱います. ランダム・ウォーク・メトロポリス法(RWM) 話に入る前に,最も簡単なMCMCの一つであるランダム・ウォーク・メトロポリス法(RWM)について確認します. 今,$\pi()$をターゲットとなる密度関数だとします.現在のポジション$x$を所与として,次のポジションの候補となる$y$を,$q(

はじめに 千葉大学/Nospareの米倉です.今回は僕が専門にしている計算機統計学・ベイズ統計学周辺で僕が勝手にお勧めだと思う教科書を10冊簡単なコメント付きで紹介したいと思います.初学者向けといより,修士・博士課程位のレベルのが多いので,ややプロ向けです. お勧めのプログラミング言語 僕は普段Julia言語を用いています.特徴は非常に高速なのと,可読性の高さでしょうか.個人的にはPythonやRより優れていると感じていて,僕の周りの専門家でも使っている人が多いです. 計算機統計学 Robert and Casella "Monte Carlo Statistical Methods" この分野のバイブルと言えばバイブルみたいな感じですが,そう呼ぶにはちょっと頼りない感じもします.けどモンテカルロ法に興味がある人はマストバイです.色々な種類のモンテカルロ法が網羅的に紹介されています. Ef