エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
はじめに LLMをmacOSやiOSのアプリに組み込みたい場合は、llama.cppを使ってGGUFファイル形式のモデルを... はじめに LLMをmacOSやiOSのアプリに組み込みたい場合は、llama.cppを使ってGGUFファイル形式のモデルを読み込む方法がよく知られています。GGUFは、llama.cppでモデルファイルを読み込む際のデフォルト形式の一つです。 新しいオープンな言語モデルが発表されると、Hugging Face上に公式または有志によってGGUF形式の量子化版モデルが公開されることが多く、誰でも簡単にダウンロードできます。 最近、Sakana AIと東京科学大学のSwallowチームが共同開発した日本語対応の言語モデル「TinySwallow-1.5B」は、1.5Bというパラメータ数にもかかわらず高い応答性能を発揮しており、デバイスへの組み込みも十分現実的だと感じました。実際、TinySwallow-1.5Bのモデルサイズは約1.6GBほどです(参考までに、Llama-3-ELYZA-JP-8