エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
「Google Colab」で「XGen 」を試したので、まとめました。 XGen XGenは「Salesforce AI Research」が開... 「Google Colab」で「XGen 」を試したので、まとめました。 XGen XGenは「Salesforce AI Research」が開発した、長いシーケンスのオープンな大規模言語モデル。 特徴: 入力シーケンス長は 8K ですが、ほとんどのオープンソース言語モデルの最大シーケンス長は 2K トークンで、テキストの要約やコードの作成に役立ちます。 XGenモデルには 1.5T トークンがあります。 研究者らは、より多くのデータでトレーニングされた小規模なモデルは、パフォーマンスと推論効率の点で大規模なモデルよりも優れていることが多いと指摘しています。 XGen は、標準の NLP ベンチマークで最先端のオープンソース LLM と同等以上の結果を達成します。 モデル一覧 (2023年7月10日現在) ベースモデル XGen-7B-4K-Base: 4K シーケンス長で事前トレーニン