エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
テキスト生成における decoding テクニック: Greedy search, Beam search, Top-K, Top-p Transf ormer ベ... テキスト生成における decoding テクニック: Greedy search, Beam search, Top-K, Top-p Transf ormer ベースの言語モデルが普及しているのは承知の通りだと思います。 中でも有名なのは BERT で、これは Transf ormer の Encoder のみを使う Autoencoding models と呼ばれるカテゴリのモデルです。入力の一部を隠してそれを復元するというタスクを大量に解かせることで事前学習を行うことになります。それゆえ、このタイプのモデルが最も向いているタスクは Token の分類(固有表現抽出等)や文章の分類など、入力の文章自体に興味がある場合です。 一方、Transf ormer の Decoder のみを使う Autoregressive models (GPT-2 など) や、 Encoder と Decoder