エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
はじめに 先日投稿した下記記事の続きになります。 上記記事ではVRAM12GBのRTX3060を利用して、400Mパラ... はじめに 先日投稿した下記記事の続きになります。 上記記事ではVRAM12GBのRTX3060を利用して、400Mパラメータ程度のMoE付きTransf ormerを構築して、ランダム初期値のパラメータから事前学習を行い、テキストを出力させるところまで実施しました。 とはいえ、自宅にGPUがない方もいらっしゃるかと思いますので、今回は無料版のGoogle Colabでどこまでできるかを試してみた記事になります 無料版Google Colabで事前学習する上で 無料版のGoogle Colabで事前学習する上で課題となるのは下記の部分です。 無料版のGoogle Colabでは、GPU利用時、1日あたり3-4時間程度しか利用できない。 無料版のGoogle Driveを利用することが前提だと思うので、重みを保存するストレージが15GBしかない 無料版のGoogle Colabでは、学習時にかな