エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
すまほん!! » AI・人工知能 » LLMの出力が毎回変わる問題、原因はGPUではなかった?Thinking Machinesが... すまほん!! » AI・人工知能 » LLMの出力が毎回変わる問題、原因はGPUではなかった?Thinking Machinesが解決策を発見 大規模言語モデル(LLM)を利用する際、「同じプロンプトを入力しても、出力が毎回異なる」という現象が発生することがあります。 普通の自然言語でのチャットのやり取りでは、同じ入力に対してそこまで意味が異なる文章が返ってくることは少ないですが、例えばスクリプトを組んだりAI自身に最適なプロンプト文を作らせてみたりすると、明らかにこちらの意図から外れた挙動が何パターンも繰り返し出力される......という経験をした読者も多いのではないでしょうか。 この問題に対し、AIスタートアップのThinking MachinesのHorace He氏らが公開した報告「Defeating Nondeterminism in LLM Inference」では、LLMの推論結果が