エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
transf ormersとaozorabunko-cleanで、日本語ModernBERTモデルを作ってみることにした。ただ、ModernBERT... transf ormersとaozorabunko-cleanで、日本語ModernBERTモデルを作ってみることにした。ただ、ModernBERT-baseのトークナイザは日本語にあまりに不向きなので、昨年1月2日の記事で作ったDebertaV2TokenizerFastを使い回すことにした。また、ModernBERTの入力トークン幅は8192と大きいので、train.txtも各行10000文字程度にした。 #! /usr/bin/python3 #pip3 install transf ormers accelerate deepspeed triton datasets fugashi unidic-lite import os,json os.system(""" if test -d transf ormers then : else git clone --depth=1 https