エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
この記事は Masked Language Model Scoring (ACL 2020) を読んで、実装を動かしたメモです。 MLM Scorin... この記事は Masked Language Model Scoring (ACL 2020) を読んで、実装を動かしたメモです。 MLM Scoring とは? 英語をちょっとでも勉強したことのある人は、 ⭕️ I have a dog. ❌ I have a dogs. 上の文章が正しく、下の文章が間違っていることが分かるでしょう。 機械が自然言語を理解するために必要なことの一つとして、このように上の文章が正しいと分かることが挙げられます。 人間が文法的にあるいは意味的に「自然」だと考える文章に対し、より高い確率を与えるような確率分布 言語モデル P_{LM}(W) に関する研究が昔から行われてきました。言語モデルは \log P_{LM}(W) = \sum_{t=1}^{|W|} \log P_{LM} (w_t | W_{<t}) というように 「今まで出力した単語から次の単語を予