エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
OpenAIから発表されたGPT-3の論文。基本的にはGPT-2をスケールアップした内容であり、NLPの様々なタスク... OpenAIから発表されたGPT-3の論文。基本的にはGPT-2をスケールアップした内容であり、NLPの様々なタスクを自己回帰型の推論形式に落とし込むことでパラメータの更新なしに各タスクを処理することができる。論文は付録も含めて74ページから構成されるが、ここでは冒頭のIntroductionとApproachを紹介する。 1 Introduction Transf ormerベースのアーキテクチャをファインチューニングすることで、文章読解や質問回答などといった多くのタスクで優れた性能を得ることができている。一方で、こうしたアプローチはタスクを既知として学習しており、目標タスクの学習データが必要になるという制約がある。この制約を乗り越えることは、以下の観点から重要であると言える。 タスクによっては、十分な教師ありデータを用意するのは大変な場合がある。タスク固有の教師ありデータの必要性は、言語