はてなブックマーク

概要 タイトルの通りなのだが、LightGBMをGPUで回すと結果の再現性が得られないことに気づいた。 CPUの場合は乱数seedを42などに固定すれば、同じ条件で何回回しても毎回同じ結果が得られる。 しかし、GPUの場合は乱数seedを固定しても回すたびに結果が変わってしまうのだ。 なぜ再現性がないのか? この問題はLightGBMの公式のissueでも議論されている。 まず、GPUを使う場合は並列で計算できる部分は並列処理をすることで効率化している。 さらに、並列化した結果を足し算するときに、順番によって微妙に値が変わってしまうということだ。 もちろん数学的には足し算の順番が変わっても結果が変わることなんてないんだけど、コンピュータでfloatなどの値を計算する以上、丸め誤差だったり複数の要因で結果が「ほんのわずかに」違うということが起きうる。 さらに、LightGBMをGPUで回した

はじめに 二値分類の評価指標について 「AUCとGini係数ってどんな関係だっけ?」 と毎回忘れては調べているので、いい加減覚える意味で体系的にまとめてみる。 この記事では AUCとは何か? Gini係数とは何か 両者はどんな関係があるか? を理解することを目的とする。 最初に結論 AUCとGini係数の間には の関係がある。 AUCは0.5から1の範囲を取るため、Gini係数は0から1までの範囲を取る。 どちらも値が大きいほど分類性能が良いことを表す。 最終的にこの式を理解することを目的としよう。 AUCを理解しよう AUC (Area Under the Curve)は二値分類における有名な評価指標の一つであり、文字通り、「ROC曲線下の面積」を表す。 ROC曲線とは? ROC (Receiver Operating Charastaristic Curve)は受信者操作特性と呼ばれる

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? データサイエンティストってなんだ? 僕は現在とあるコーヒーチェーン企業でデータサイエンティストとして働いている。 なんやかんやで社会に出てから約5年ほどが経った。 ただ、正直なところ僕自身が最近まで データサイエンティストがどのような職業なのかよくわかっていなかった。 「働いてるのに何を言っているんだ?」と思われるかもしれないが、落ち着いて聞いてほしい。 おそらくその理由はデータサイエンティストという職業に対するイメージが人によってバラバラであり、自分のやっていることが世間一般で言うところの「データサイエンティスト」なのかよくわかってい

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 最近、時系列データの予測ツールとしてProphetなるものの存在を知った。 公式のチュートリアルをやりながら使い方や利点などを紹介していきたい。 Prophetとは? Metaが公開している時系列データの統計予測モデルである。 言語はRとPythonに対応していて、統計や機械学習などの難しい知識がなくてもサクッと使うことができてとても便利。 使いどころとしては例えば過去の売り上げデータを元に将来の売上データを予測したりできる。 他にも株やFXなどの金融関連の予測だったりさまざまな用途で使えそうだ。 Prophetは複数の項を足し合

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? きっかけ(2023年4月1日) ツイッター社がTwitterのレコメンドの仕組みを公開して話題になっている。 以下が公式に公開された技術ブログとGiuHub上のソースコードである。 技術ブログ:https://blog.twitter.com/engineering/en_us/topics/open-source/2023/twitter-recommendation-algorithm GitHub:https://github.com/twitter/the-algorithm この記事ではGitHubのコードの解説は行わず、技術ブ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? きっかけ 最近ひろゆきが以下のようなツイートをしていた。 「人間が生涯に払う税金は4000万円、国が1000万円払っても元は取れるどこかプラスになる」 とう旨のもの。 政治的な是非は置いといて、効果検証の題材としてちょうどいいなーと思ったので、これを元に効果検証の考え方を一通り紹介したい。 注意事項 子どもを作る/作らないというのは非常にセンシティブな問題だ。 なんらかの信条で作らない人もいるだろうし、健康上の理由で欲しくてもできない人もいる。 ここではそう言った子供を作ること自体の是非を問うつもりはないし、政治的な意見を述べるつもりも

この記事でやること 最近表題の2つの"距離"に触れる機会があったのだが、知らなかったのでまとめる ライブラリを使った計算方法もまとめる まず最初に導入として編集距離について説明する。 編集距離とは 2つの文字列がどれくらい似ているかを調べたいとする。 このとき、編集距離を使うと便利。 編集距離とは、挿入(insertion)、削除(deletion)、置換(substitution) を何回行えば 同じ文字にすることができるか、で考えることができる。 「編集距離が大きい = 文字列を揃えるのにコストがかかる = 類似度が低い」と言える。 編集距離は上記の組み合わせによって複数パターンが考えられるが、その中でも最小ものを最短編集距離と呼ぶ。 例えば「おにぎり」と「おまいり」と比較するとする。 この場合、「に→ま」、「ぎ→い」 と2回置換すれば一致できる。 一方で置換の作業を 「に」を削除→「

概要 JavaやC++などの他のオブジェクト指向言語ではsetter/getterメソッドの使用が推奨されているが、Pythonには存在しない。 もともとJavaやC++に触れていた僕には「なぜPythonにはsetter/getterメソッドがないのか?」がすごく疑問だった。 さらに、Javaなどの言語の資料では 「クラス内部の変数はprivateにして隠蔽せよ」 と書いてあるが、逆にPythonの資料では 「privateはなるべく使わずpublicを使え」 と書いてあることが多い。 矛盾しているのでは...? 気になったのでいろいろ調べて見た結果、そこには2つの理由があることがわかった。 さらに、Pythonでsetter/getterを使いたい場合の1つの代替案があるということもわかった。 この記事では オブジェクト指向とカプセル化について Pythonにsetter/getter

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに この記事はビッグデータで用いる分散処理関連の用語について初学者向けにまとめたものです。 ある程度詳しい人にとっては退屈な内容かもしれないです。 **Hadoop、Hive、Spark、Presto、Mapreduce...**ビッグデータ周りはこういった用語が多いです。 自分は初めてこれらに触れたときに訳がわからなくて泣きそうになったのでざっくりとまとめました。 各々の説明はそんなに詳しくはしないので、イメージを掴むくらいを目的としています。 ビッグデータと分散処理 最近ビッグデータって言葉よく聞きますね。 対になる用語として

はじめに アンジャッシュ渡部さん(以下敬称略)の記者会見が世間を賑わせましたね。 この記者会見を見て皆さんいろいろと思うところがあるとは思いますが、僕は以下の記事が気になりました。 https://sn-jp.com/archives/22422 今回の記者会見の受け答えで、渡部が特定のワードを連発していたというものです。 特に「本当に」というワードに限っては100回以上使われていました。 これだけ偏った語彙の言葉が連発された記者会見を見て、僕はこう思いました 渡部のセリフをディープラーニングで学習して、渡部っぽい文章を自動生成する渡部AIを作りたい! そうして勢いのままにこの記事を書いています。 結構長くなってしまったので、手っ取り早く結果だけ知りたい人は最後の「実際にやってみた」だけでも読んでもらえればと思います。 自然言語処理の勉強をしながら書いたので間違ってる箇所や正確でない箇所が

概要 東京都知事選挙が行われましたが、小池百合子当確(当選確実)の速報がかなり早い段階で出ましたね。 ふと、「当確ってどれくらい開票すればわかるんだろう?」と思ったのでざっくり見積もってみます。 まず最初に知っておきたいのが、当確がわかるまでに必要な票数はどれくらい僅差の勝負かによるということです。圧倒的に票数を獲得している人がいる場合はすぐに確定しそうですし、1位と2位が僅差である場合はいっぱい開票しないとわからないのはなんとなくイメージできると思います。 速報結果をみる 今回は2020年7月5日に行われた都知事選挙を考え1位の小池百合子と2位の宇都宮健児に注目して見ていきます。 では早速速報結果をみていきます。以下のページを参考にしました。 https://www3.nhk.or.jp/news/html/20200705/k10012497581000.html これをみると、1位の