エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
Abstract• Transf ormer モデルをテキスト生成タスクで使用する場合、計算コストに難がある • 計算コスト... Abstract• Transf ormer モデルをテキスト生成タスクで使用する場合、計算コストに難がある • 計算コストを抑えつつ Transf ormer の予測性能を活かすために、Positional Encoding を LSTM に置き換えた LSTM+Transf ormer モデルを考案 • 生成にかかる時間を Transf ormer の約 1/3(CPU 実行時)に抑えることができた はじめにTransf ormer は現在の自然言語処理分野における代表的な深層学習モデルの1つです。さまざまなベンチマークを総なめにした Google の BERT とその派生系 (XLNet, ALBERT, etc.) や、OpenAI の GPT-2 など、最近の研究のベースにあるのが Transf ormer です。 Transf ormer の特徴として、LSTM などの従来の RNN にあっ