はてなブックマーク

新規作成:2017年05月16日 最終更新:2017年05月16日 ここでは、時系列データを手にした際に、どのような手順で回帰分析をかけていけばいいのか、フローチャートを交えて解説します。 時系列データは特殊でして、普通の回帰分析を行うと、p値がおかしくなり、正しく検定ができなくなることがよくあります。これを見せかけの回帰と呼びます。 シミュレーションを通して、見せかけの回帰という現象を確認したうえで、それらに対応する手法としての単位根検定・共和分検定・一般化最小二乗法(GLS)の基本的な考え方とRでの実装方法について説明します。 ソースコードはまとめてこちらに置いてあります。 スポンサードリンク 目次 時系列データへの回帰分析フローチャート 単位根と見せかけの回帰 データチェック1 単位根検定とADF検定 解決策1 差分系列への回帰分析 差分系列への回帰分析の問題点 データチェック2 共

カルマンフィルタは、状態空間モデルにおいて、内部の見えない「状態」を効率的に推定するための計算手法です。 カルマンフィルタを理解するためには、まず状態空間モデルが何なのかを理解することが必要です。そのうえでカルマンフィルタの考え方と計算方法を学びます。 この記事では、状態空間モデルもカルマンフィルタもあまり詳しくないという方を対象として、カルマンフィルタの考え方とライブラリを使わない実装方法について説明します。 最後に、R言語における有名なカルマンフィルタの計算パッケージである「dlmパッケージ」の簡単な使い方も解説します。 ソースコードはまとめてこちらに載せてあります。 ブログの内容が本になりました。 書籍サポートページはこちらです スポンサードリンク 目次 状態空間モデルの概要 状態空間モデルとカルマンフィルタの関係 カルマンフィルタの考え方 ライブラリを使わないカルマンフィルタの実装

新規作成:2017年04月16日 最終更新:2017年04月16日 カルマンフィルタを実行するには、パラメタを事前に与える必要があります。 そのパラメタを推定する方法が、今回紹介する最尤法です。 この記事では、尤度の説明をしたのちに、ローカルレベルモデルを例とした、状態空間モデルにおける尤度の計算方法を説明します。 またライブラリを使わない自作の尤度計算・最尤法実行メソッドを作って状態空間モデルを推定してみます。 この記事はカルマンフィルタの考え方の続編にあたるものです。 あらかじめこちらの記事を読んでおいた方が理解が深まるかと思います。 ソースコードはまとめてこちらに載せてあります。 スポンサードリンク 目次 尤度と最尤法の考え方 状態空間モデルにおける尤度計算 尤度計算プログラムの実装 最尤法の実装 1.尤度と最尤法の考え方 尤度とは、「パラメタを指定したときに、今手持ちのデータを再現

新規作成:2017年04月02日 最終更新:2017年06月06日 ここでは、Pythonを使った統計解析・機械学習の基礎とその勉強方法について説明します。 Pythonには2つの顔があります。 一つはWebアプリなどを作ることができる、使いやすい汎用プログラミング言語という顔。 もう一つは、データ分析、機械学習を数行のコードで書くことができる「高機能電卓」という顔です。 機械学習は、もはや電卓のような気軽さで実行できるようになりました。 けれども、その電卓は大変に高機能ですので、使いこなすには練習が必要です。 この記事ではPythonというプログラミング言語の紹介をするとともに、ネットでPythonを学ぶことのできるWebサービスを紹介します。 ※(注記)この記事は、動画でPythonデータ分析を学ぶことのできる「Udemy」というサービスについての宣伝記事も兼ねています。 スポンサードリンク

ニューロンの個数を2パタン。 ×ばつ3=6パタンも試さなければなりません。 大変に面倒ですが、このハイパーパラメタを雑に設定すると予測精度が落ちてしまうこともよくあります。 めんどくさいですが、なるべくやったほうがいいです。 4.モデルを使って予測する これは簡単。単に予測をするだけです。 パッケージを使っていれば、たいていは予測用の関数が用意されています。 5.予測の評価をする 最後は評価です。 評価をすることによって、 ・どの手法の ・どのパッケージの ・どのパラメタを 採用すべきかを判断します。 で、一番予測精度がいいやつを使って予測することになります。 たくさんの手法、たくさんのパッケージ、たくさんのパラメタの組み合わせをしらみつぶしに評価する。 普通にこれをやろうと思うと、気が遠くなってしまいますね。 そこで登場するのがパッケージ「caret」

ランダムなノイズが一切ないのにかかわらず不規則な変動を示すデータのことを「カオス」と呼びます。 ここではカオスの特徴を簡単に説明したうえで、カオスかカオスでないかの判別の方法を記します。 最後に、線形な時系列モデルであるARIMAモデルと機械学習法の一種であるニューラルネットワークをカオス時系列に当てはめてみます。 非線形時系列解析を取り扱うパッケージ「nonlinearTseries」と時系列データへの予測を行うパッケージ「forecast」を使用します。 Rのコードはすべてこちらに載せてあります。 スポンサードリンク 目次 カオス時系列の基礎 ロジスティック写像 ロジスティック写像の特徴 カオスの判別:リアプノフ指数 カオスの判別:サロゲートテスト ARIMAモデルによるカオス時系列の予測 ニューラルネットワークによるカオス時系列の予測 1.カオス時系列の基礎 記事の冒頭でも示したよう

最終更新:2020年12月19日 ここでは統計学の入門記事をまとめています。 「統計学とは何か」から始めて、一般化線形モデル、ベイズ統計学まで、幅広く「統計学の基礎」を書いていきます。 スポンサードリンク 理論から始める確率・統計 複雑な応用例や数値計算を含む多くの要素を削り、統計学の理論だけに焦点を当てた入門記事です。 ほかの統計学入門と比べて極端に短く、手早く統計学の考え方が学べます。 ・統計学とは何か ・統計学はどのような考え方で問題を解決するか ・記述統計の基礎 ・確率分布と確率変数の基礎 ・確率密度関数と正規分布 ・推定の基礎 ・統計的仮説検定の基礎 データ分析入門 ・カイ二乗検定 ・t検定の考え方 ・分散分析の基礎 ・主成分分析の考え方 統計モデル基礎 平均・分散から始める一般化線形モデル入門:サポートページ 管理人が著した、統計モデルの入門書です。 本文も一部公開しています

本格的に確率・統計を学ぶ前に、まずは基礎体力をつけます。 ここでは、記述統計と呼ばれる「データの集計方法を学ぶ学問」について説明します。 この記事を読めば、平均値と期待値の違い、分散や普遍分散、標準偏差、標準誤差の意味が理解できるはずです。 どのようにしてデータを集計するのか、そして、なぜデータの集計が必要なのかを理解してから次のステップに移ってください。 スポンサードリンク 目次 記述統計と推測統計 なぜ記述統計が必要か データの種類 度数分布 期待値と平均値 期待値の数理、平均値の数理 分散 分散の数理 不偏分散 標準偏差 標準誤差 期待値の標準偏差としての標準誤差 参考文献 1.記述統計と推測統計 統計学は、記述統計と推測統計に分かれます。 記述統計学とは「手持ちのデータを集計する方法を学ぶ学問」です。 推測統計学とは「手持ちのデータを分析して、まだ手に入れていないデータについて議論

新規作成日:2015年11月29日 最終更新日:2017年5月25日 ベイズ統計学とは、ベイズの定理を基礎とした統計学の体系です。 ここでは、ベイズの定理を、具体例を使って導入します。ベイズ更新、事前確率・事後確率の考え方を学んでください。 スポンサードリンク 目次 1.ベイズ統計学とは 2.事前確率と事後確率 3.ベイズ更新 4.データと事前確率と事後確率の関係 5.ベイズの定理 6.数式で見るベイズの定理 1.ベイズ統計学とは ベイズ統計学とは、ベイズの定理を基礎とした統計学の体系です。 というわけで、ベイズの定理がわかったら、ベイズ統計学の基礎がわかります。 ここでは、ベイズの応用はすべて無視して、ベイズの定理というベイズ統計学の基礎を学びます。 2.事前確率と事後確率 ベイズの定理を学ぶにあたって、覚えておかなくてはならない用語があります。それが、事前確率と事後確率です。 事前確率

ここでは統計学の難所、確率密度関数について説明します。 確率密度関数の意味と使い方をぜひ学んでください。 目次 1.確率密度関数とは何か 2.なぜ確率密度関数が必要か 補足:確率と確率密度 3.正規分布 4.正規分布の使い方 5.正規分布がある時とない時でのデータ分析の方法の比較 6.「○しろまる○しろまる分布に従うと仮定する」ことの意義と弊害 補足:中心極限定理 スポンサードリンク 1.確率密度関数とは何か 確率密度関数とは、確率、あるいは確率密度を計算する関数のことです。 ×ばつaで確率が求まるとします。aが3なら、確率は0.6です。このとき「a =3になる確率は0.6」と解釈します。 ×ばつa」でも、「a÷3+0.01」でもなんでもよいです。確率を計算する関数が確率密度関数です。 ただし、確率分布は、合計値が1になる必要があります。 ×ばつa」なのだとし

新規作成日:2015年12月5日 最終更新日:2016年9月22日 理論がわかっても、実践ができなければ意味がありません。 ここでは、Stanというフリーソフトを使って、ベイズ統計学をもとにしたパラメタ推定をパソコンで実行する方法を説明します。 ベイズとMCMCの組み合わせでもって統計モデルのパラメタを推定することができるのでした。この方法を、以下では「ベイズ推定」と呼ぶことにします。 ここでは、Stanを用いて統計モデルのパラメタのベイズ推定をする方法を説明します。 重要な点は、「Stanの使い方」を覚えるだけではうまくいかないということです。 Stanの内部で使われているのは乱数生成アルゴリズムです。乱数を生成してパラメタを推定するという行為は、最小二乗法なりで方程式を解き、パラメタを一発で推定するやり方とは大きく異なります。 その違いをぜひ理解なさってください。 コードをまとめたもの

最終更新:2015年12月2日 最終更新:2016年9月22日 MCMCとは乱数発生アルゴリズムです。ランダムなデータを発生させるアルゴリズムです。 MCMCを使う目的は、統計モデルのパラメタを推定することです。 このページでは、MCMCや、ギブスサンプラー、HMCといったアルゴリズムの詳細には立ち入りません。 この記事では、以下の問いに答えます。 ・なぜベイズ統計学に乱数発生アルゴリズムがかかわってくるのか ・なぜ乱数を発生させることで、統計モデルのパラメタが推定できるのか この記事はベイズ推定を応用して状態空間モデルを推定する一連の記事の一つです。 記事の一覧とそのリンクは以下の通りです。 ・ベイズ統計学基礎 ・ベイズと統計モデルの関係 ・ベイズとMCMCと統計モデルの関係 ・Stanによるベイズ推定の基礎 ・Stanで推定するローカルレベルモデル スポンサードリンク 目次 1.ベイズ

大きく2つの観点があります。 計算の仕方(逐次処理かバッチ処理か)という観点と、私たちがやらなければいけない作業(パラメタ推定を別途やるかやらないか)がどう変わるかという観点です。 逐次処理とバッチ処理 最も大きい違いは、逐次処理かバッチ処理かの違いでしょう。 フィルタ系は逐次処理、MCMC系はバッチ処理です。 バッチ処理とは「データをまとめていっぺんに使って、まとめていっぺんに計算すること」くらいの意味合いだととらえてください。 例えば、データが増えるたびに1を足すという処理があったとします。 データが来るたびに1を足すのが逐次処理。 データが5つ来たならば、「1を足す処理を最後にまとめて5回やる」のがバッチ処理です。 当然ですが、逐次処理のほうが、一回一回の計算量は少なくなります。 一方、バッチ処理の場合は、「1を足す処理を最後にまとめて5回やる」という処理を、時と場合によっては「最後

最終更新:2017年6月1日 dlmパッケージを使って、「傾きが時間によって変化する回帰モデル」を推定します。 Stanを使って「傾きが時間によって変化する回帰モデル」を推定する解説記事を以前書きました。 しかし、Stanを使うのはちょっと敷居が高いという方も多いと思います。 そこで、このサイトでもよく取り上げている、dlmパッケージを使って、"慣れ"の統計モデリングをしてみます。 dlmパッケージは本当によくできているので、短いコードですますことができますよ。 なお、この記事は、状態空間モデルをある程度知っている方を対象としています。 「状態空間モデルってなに?」という方は、リンクを張った以下の記事を参照してください。上から順番に、徐々に難易度が上がっていきます。ローカルレベルモデルまでの知識があればOKです。 ●くろまる状態空間モデル関連のページ なぜ状態空間モデルを使うのか 状態空間モデル:

新規作成:2015年12月13日 最終更新:2016年9月22日 ローカルレベルモデルくらいでしたらdlmパッケージでも簡単に推定できます。 せっかくStanを使うのですから、もっと複雑なモデルを作ってみましょう。 今回は回帰係数が時間によって変化するモデルを作成します。 なお、今回の記事はちょっと複雑なモデルを作成する都合上、実験的な要素もあります。 そのため、ほかの記事に比べると、記載内容の精度が落ちております。この記事を参考にされる場合は、この点、注意してください。 すべてのコードをまとめたものはこちらにおいておきました。コピペする際はこちらを使用してください。 この記事はベイズ推定を応用して状態空間モデルを推定する一連の記事の一つです。 記事の一覧とそのリンクは以下の通りです。 ・ベイズ統計学基礎 ・ベイズと統計モデルの関係 ・ベイズとMCMCと統計モデルの関係 ・Stanによるベ

新規作成日:2015年12月6日 最終更新日:2016年9月22日 Stanを使って、ローカルレベルモデルを推定しましょう。 今回はナイル川の流量データを対象として、ローカルレベルモデルを推定します。 なお、Stanとベイズ推定の基礎に関しては、以下の記事をご覧ください ベイズ統計学基礎 ベイズと統計モデルの関係 ベイズとMCMCと統計モデルの関係 Stanによるベイズ推定の基礎 状態空間モデルの基礎に関しては、以下の記事をご覧ください 状態空間モデルとは dlmの使い方(Stanを使わないで状態空間モデルを推定する方法について書いてあります) ローカルレベルモデル 季節とトレンド コードをまとめたものはこちらにおいておきます。コピペする際はこちらをお使いください。 スポンサードリンク 目次 1.ローカルレベルモデルとは 2.状態空間モデルの「左端」の問題 3.Stanによるローカルレベル

新規作成:2015年11月30日 最終更新:2016年9月22日 ここでは、ベイズと統計モデルの関係を説明します。 両者の違い、そしてつながりについてご理解いただければ幸いです。 この記事はベイズ推定を応用して状態空間モデルを推定する一連の記事の一つです。 記事の一覧とそのリンクは以下の通りです。 ・ベイズ統計学基礎 ・ベイズと統計モデルの関係 ・ベイズとMCMCと統計モデルの関係 ・Stanによるベイズ推定の基礎 ・Stanで推定するローカルレベルモデル スポンサードリンク 目次 1.ベイズとMCMC 2.ベイズと統計モデルの関係 3.「統計モデルを推定する」とは、どのような行為なのか 3-1.統計モデルの推定1:統計モデルの「型」を決める 3-2.統計モデルの推定2:統計モデルのパラメタを推定する 4.なぜ統計モデルの推定は2段階に分かれているのか 5.なぜ状態空間モデルの推定に、ベイ

最終更新:2015年9月23日 ここでは、時系列解析を学ぶにあたって有用と思われる文献の紹介をします。 なお、画像はすべてAmazonへのリンクとなっております。 時系列解析は、統計学における、応用・発展の位置にあると思っています。一般化線形モデルなどが理解できたうえでこちらに進まれることをお勧めします。 なので、紹介する書籍もちょっとむずかしめのものが多いです。また、読まれる方のレベルもやや高いことを想定し、余計な解説は少なめにしてあります。 統計学の基礎から学びたいという方は、統計学初心者のための読書案内をご覧ください。 これは2015年9月現在のお勧めの本です。 気が向いたら新しいリストを作ろうと思います。 目次 1.時系列解析の入門書 2.Rによる時系列解析 3.状態空間モデルの入門書 1.時系列解析の入門書 時系列解析を学ぶ際、最初に読んでおくとよさそうな本を紹介します。 経済・

最終更新:2016年1月24日 このサイトでは統計学や統計モデルの紹介を多くしています。 その中でも、状態空間モデルは、力を入れている分野の一つです。 ところで、なぜ状態空間モデルを使う必要があるのでしょうか。 そもそもにおいて、統計モデルを使う必要性はどこにあるのでしょうか。 今回は個々の手法の説明ではなく「なぜそれを使うのか」という理由を解説します。 スポンサードリンク 目次 1.なぜモデルを使うのか 2.なぜ統計モデルを使うのか 3.なぜ状態空間モデルを使うのか 4.なぜたくさんのモデルを統一的に表せると便利なのか 5.状態空間モデルを使う注意点 6.状態空間モデルの御利益 7.おまけ:統計モデルと機械学習の違い 1.なぜモデルを使うのか モデルとは、「見やすくなるように簡略化したもの」です。 モデルを作る行為、すなわちモデル化とは、「見やすくなるように簡略化すること」です。 例えば

ここでは、統計学初心者の方のための読書案内をします。 お勧めの統計学入門書を並べました。参考になれば幸いです。 また、記事の最後に、下記のニーズを持った方にお勧めする書籍と、読む順番も書きました。 1.統計学のリテラシーを身に着けたい 2.推測統計を学びたい。検定を理解したい 3.統計モデルを勉強してみたい 統計学に興味を持とう 統計学の本には2種類あります。 1つは縦書きの本。もう1つは横書きの本です。 縦書きはその仕様上、数式を載せるのがとても下手です。そのため、数式はかなり少ないです。 ですので、縦書き統計学の本は、啓蒙書だと思って読むのがよいでしょう。 縦書きの統計学入門書を読んで、統計学の理論を身に着けることができるのは稀です。 しかし、統計学に興味を持つきっかけとしては十分だと思うので、ここで紹介します。 その数学が戦略を決める ワインの品質を予測する数式、データを使った野球経

データの比較を客観的に行うために、t検定と呼ばれる手法を理解しましょう。 最初に、数式を使わない説明をします。そのあとで、もう一度同じ説明を数式を用いて行います。 1-1 期待値(平均値) 1-2 分散 1-3 有意差 1-4 サンプルサイズ 1-5 t値 1-6 t検定 1-7 p値 1-8 p値と検定 1-9 検定は偉いのか? 1-1 期待値(平均値) 最初に期待値について説明します。 期待値とは、比較する対象です。データを手に入れたとき、そこには数値がたくさんあると思います。その数値を全部そのまま扱おうとすると大変です。 例えば、以下の二つのデータを比較したいと思ったとしましょう。 データ1{1,3,5,10} データ2{6,7,8,9 } どちらの方が大きそうですか? 最小の値は1で、それはデータ1に含まれています。だから1の方が小さい? 最大の値は10で、それはデータ1に含まれて

たとえAmazonに在庫がなくても、出版社にはまだ在庫が残っておりますので、書店で取り寄せていただくと確実にお手元に届くかと思います。 お手数をおかけして申し訳ありません。 以下のネット書店も併せてご利用ください。 ★重要なお知らせ★ 本第1部3章「Rの簡単な使い方」において載っていましたCRAN筑波大学ミラーサイトが6月で閉鎖されてしまいました。 Rは統計数理研究所のミラーサイトhttp://cran.ism.ac.jp/からダウンロードしてください。 お手数をおかけして申し訳ありません。 基本情報 ・出版社 : プレアデス出版 ・著者 : 馬場真哉(このサイト、Logics of Blueの管理人です) ・タイトル : 平均・分散から始める一般化線形モデル入門 ・ISBN番号 : 978-4-903814-74-2 発売は2015年7月15日を予定しています。 (一部では14日午

最終更新:2016年1月24日 ※(注記)フォントや参考文献などを修正しました 予測のためには、実世界をモデル化しなければなりません。モデル化することさえできれば、あとはそのモデルに数値を突っ込むだけで勝手に予測が出来てしまいます。 前回(単回帰)は説明変数が一つだけでした。一つの値からまた別の値を予測すると言うだけだったので、どのモデルにすればいいのか、どの変数を使って予測すればいいのか、ということを考えなくても済みました。 しかし、実際に予測をする場合は多くの変数を用いたほうが当てはまりもよくなるし、実用的でしょう。 どの変数を用いて、どの変数を使わないのか、それを決めるための色々な方法(検定とAIC)とRによる計算方法を紹介します。 特に最後の方に紹介するパッケージMuMInはお勧めです。簡単にモデル選択ができます。 ※(注記) 2015年9月2日にMuMInの使い方を一部修正しました。 ※(注記) コピペ

最終更新:2016年1月24日 Rを用いた時系列解析の実践例を載せます。 Rを使えばARIMAもSARIMAもサクッと一瞬で計算できますよ。 時系列解析って何? という方は ・時系列解析_理論編 ・時系列解析_ホワイトノイズとランダムウォーク も参照してください。 スポンサードリンク 目次 1.使用データ 2.モデリングと予測 その1、和分過程でないデータ 3.モデリングと予測 その2、和分過程 4.モデリングと予測 その3、季節変動データ 1.使用データ シミュレーションデータと、Rにもともと入っているサンプルデータを用います。 シミュレーションデータはこちら set.seed(1) d <- arima.sim( n=400, model=list(order=c(2,0,2), ar=c(0.5,0.4), ma=c(-0.5,0.3)), sd=sqrt(1) ) order=c(

最終更新:2017年6月1日 前のページではNileデータを使ってローカルレベルモデルを推定 しました。とはいえ、ローカルレベルモデルとはいったい何なのかということを全く説明していなかったので、状態空間モデル(今回はその中の一部である動的線形モデル)の一番の基礎となるこのローカルレベルモデルについて解説します。 ●くろまる状態空間モデル関連のページ なぜ状態空間モデルを使うのか 状態空間モデル:状態空間モデルのことはじめ dlmの使い方 :Rで正規線形状態空間モデルを当てはめる ローカルレベルモデル:dlmパッケージを使ってローカルレベルモデルを当てはめる 季節とトレンド:dlmパッケージを使って季節成分とトレンドの入ったモデルを作る dlmによる時変形数モデル:dlmによる「時間によって係数が変化する回帰モデル」の作成 Pythonによる状態空間モデル:R言語ではなくPythonを使いたい方はこ

[1ページ目] 1.予測理論 について Logics of Blue 統計分析や統計的予測・意思決定理論など

最終更新:2016年1月24日 Rを用いたVARモデルの簡単な解説と計算方法を載せます。 目次 1.VARモデルとは 2.VARモデルの仕組み 3.VARな予測 4.VARあれこれ スポンサードリンク 1.VARモデルとは 以前紹介したのは1変量のARIMAモデルというものでした。 これは「過去の自分のデータから将来の自分を予測する」というものです。たとえば、2000年にサンマがたくさんいたら過去の2001年にもたくさんいることになるだろうという風に、サンマの予報をするなら、サンマの漁獲量だけに注目してして予測をします。 でも、去年餌になるプランクトンが多かったから今年はサンマが増えた、という風に、「ほかのやつら」の影響を受けているかもしれませ ん。 そんな場合をモデルで表して予測をしてやろうというのが今回扱うVARモデルというものになります。 2.VARモデルの仕組み VARとは Vec

最終更新:2017年03月11日 Rを用いた平滑化スプライン・加法モデルの簡単な解説と計算・予測方法を載せます。 単回帰・重回帰分析との比較を交えて説明します。 ここで用いたRコードは、まとめてこちらから見ることができます。 コードは2015年8月30日に動作確認をしました。動かないものがあれば、ご一報いただければ幸いです。 スポンサードリンク 目次 1.平滑化スプラインと加法モデル 2.平滑化スプラインの仕組み 3.グネグネ度(平滑化パラメータ)を推定する 4.Rによる平滑化スプライン 5.線形? それとも非線形? 6.グネグネ度の決め方 7.モデルチェック 8.薄板平滑化スプラインと平滑化スプラインANOVA 9.加法モデルによる予測 〜重回帰との比較〜 1.平滑化スプラインと加法モデル 平滑化とはなんでしょうか。正確な定義ではありませんが、ものすごく簡単に言うと、「散布図にニョロニョ