エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
前回の記事の続きです。 Command R+はどこまで量子化するとアホになってしまうのか? 前回の記事で、Com... 前回の記事の続きです。 Command R+はどこまで量子化するとアホになってしまうのか? 前回の記事で、Command R+(CR+)のようなモデルはまあ4bit程度までは量子化しても実用的に問題なさそうだという事が分かった。 では、今回はいよいよローカルのCR+でElyzaTasks100の採点をさせまくろう!と言いたいところだが、だがちょっと待ってほしい。 ...実は、あの後「もしかしたらCR+よりもLlama3-70Bの方が日本語能力高かったりして...」と考えて、LLama3の8Bモデルと70BモデルにElyzaTasks100を解かせていつも通りCR+に自動評価させてみた。 その結果がこれである。 な、なんと、Llama3-70BはCommand R+を上回るスコアを獲得している!つまり、Llama3-70Bの日本語での能力はCommand R+を上回ってる可能性が高い! Llama3