[フレーム]
はてなブックマークアプリ

サクサク読めて、
アプリ限定の機能も多数!

アプリで開く

気に入った記事をブックマーク

  • 気に入った記事を保存できます
    保存した記事の一覧は、はてなブックマークで確認・編集ができます
  • 記事を読んだ感想やメモを書き残せます
  • 非公開でブックマークすることもできます
適切な情報に変更

エントリーの編集

loading...

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。

タイトルガイドライン

このページのオーナーなので以下のアクションを実行できます

タイトル、本文などの情報を
再取得することができます
コメントを非表示にできます コメント表示の設定

ブックマークしました

ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください

Twitterで共有

ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します

1066users がブックマーク コメント 95

ガイドラインをご確認の上、良識あるコメントにご協力ください

0 / 0
入力したタグを追加

現在プライベートモードです 設定を変更する

おすすめタグタグについて

よく使うタグ

最近ローカルLLMがアツいらしい

ガイドラインをご確認の上、良識あるコメントにご協力ください

0 / 0
入力したタグを追加

現在プライベートモードです 設定を変更する

おすすめタグタグについて

よく使うタグ

はてなブックマーク

はてなブックマークで
関心をシェアしよう

みんなの興味と感想が集まることで
新しい発見や、深堀りがもっと楽しく

ユーザー登録

アカウントをお持ちの方はログインページへ

記事へのコメント95件

  • 注目コメント
  • 新着コメント
yusuke-k
100万円以上お金をかけてローカルLLMを動かす動機が「ChatGPTはエロチャできない」なのすごく人類の発展の歴史感ある

その他
degucho
常時600Wは物理的に熱いな

その他
Imamura
最近のLLMの動向がまとまっている。面白いなあ。研究者はすごいのを出してもそこで興味を失いメンテはしてくれないのはその通りで...IllyasvielさんForgeをお願いします...

その他
ledsun
LLM組み込んだサービスを提供するならローカルLLMを組まないとコストで負けそう。いや、20年ぶりくらいにITでハードウェア投資のしがいのあるネタが出てきたの、かも。

その他
agricola
ローカルLLMがアツいのはRAGで門外不出のデータを踏まえた回答を生成させるためだと思っとったが......。

その他
KoshianX
この前ブログにも書いた話だけどやっぱりローカルLLMのムーブメントは来てるよねえ。100万円出して Mac Studio 買うのもいいが Ryzen 9050 あたりが出ると Apple Silicon みたいな速度が出るかもという期待もあり

その他
roshi
GPUに左右されるという意味でビットコインのマイニングに沸いてた時期を思い出した。研究者と有志のモチベーションの違いも興味深い。

その他
replier
"ケースを開けてみたらもう1枚GPUを積めるスペースなんてどこにもなかった。" ほんとこれ。

その他
shodai
ChatGPT Plusなら月額3千円払うだけでGPT-4Tがたっぷり使えてしまう。もしもAPIで同じような使い方したら軽く数万円かかってしまいかねない。断然ChatGPTに課金した方がオトクだ。

その他
shag
ゲーム用のGPUを複数台組んで推論用途に使うやつ、ゲーム用GPUの価格高騰するんでやめて欲しい。

その他
strawberryhunter
情熱と時間の無駄遣いな気もするが、何もしていない人より1億倍有用だろう。

その他
peppers_white
普及にはGUI化が必須だと思うのでまあしばらくおもちゃよね

その他
mikuti2
面白。ローカルLLMが企業で外に出せない用途を思い浮かべたけれども、個人におけるプライバシーに対する個人AI(執事さん的な)とか、規制があるエロ・小説だとか、ゲーム利用があると。

その他
fnm
ケースを開けてみたらもう1枚GPUを積めるスペースなんてどこにもなかった。→その為のライザーケーブルでは?

その他
Kesin
やはり技術はオープンな方が発展が速いというのが伝わってきて面白い

その他
otoan52
研究と開発は違うからなー。

その他
l-_-ll
"Command R+で推論がしたければCohereのAPIが一カ月当たり1000回まで無料で叩けてしまうので、普段使い程度の量ならそれで十分なのではないだろうか。それで足りなければ、Gemini1.5Flashなんて1日1500回も無料で叩けてしまう"

その他
kyopeco
Local LLMが熱いのは、セキュリティ+プライバシー観点で、外出しできないデータ&リクエストを使えるからだと思ったけど違うのかしら。

その他
rosiro
mac mini

その他
ya--mada
APIの料金に比べてChatGPT Plusの料金が安すぎるという問題がある。ChatGPT Plusなら月額3千円払うだけでGPT-4Tがたっぷり使えてしまう。もしもAPIで同じような使い方したら軽く数万円かかってしまいかねない

その他
keijak
"LLMの推論というのは実は演算性能よりもメモリ帯域幅がモノを言うらしい"

その他
aoven
そもそもアマチュアエンジニアにとって最先端のAIテクノロジーが自分のパソコンで体験できるのは大きいと思う

その他
temtan
chat-GPT を触っているとエロ方面もそうだけど、とにかく1投稿毎に特定の価値観への方向への矯正を感じるのでそういうのがうざったいとは思うが価格が価格だとな

その他
ktakeda47
"そもそも、タダで推論したいだけなら大抵の人にとってはCommand R+やGemini1.5Flashの無料API枠を叩いとけば十分な状況かもしれない。現状ではローカルLLMよりもGemini1.5Flashの方が多分性能高いのだから。"

その他
shag
shag ゲーム用のGPUを複数台組んで推論用途に使うやつ、ゲーム用GPUの価格高騰するんでやめて欲しい。

2024年05月21日 リンク

その他
yoshikie
ローカルLLMがクラウドだと高すぎるわけだが、こんな理由でオンプレ回帰の動きが出てくるとは思わなかった。クラウド事業者各社もいずれ対策すると思うが

その他
pwatermark
ローカルLLMは何より「気軽に好き放題出来るから開発環境として最適」なのですよ 開発試験試行錯誤するたびにAPI課金は辛すぎるんでね ただしコンテキスト長く出来ない、コレが辛い

その他
syu-m-5151
エロと軍事はローカルLLMが絶対に必要なのではないかと思っている。なんならローカルLLMが企業の競争力の源泉になる日も近いし将来的にはローカルLLMの合同採用面談とかあるかもしれん。

その他
etah
API叩いたら"最初から負け確定"ってのは言い過ぎなんだが、この言説が広まると競合が減って弊社のポジションが相対的に勝ち確になるからどんどん広まってほしい

その他
timetrain
ローカルにエロ追及である一方、モデルの開放にオープン志向があってすごい世界だなと思う

その他
xanaduuu
個人的な用途では、必要な時にクラウドなりサービスを利用する方がトータルコストは安く上がっちゃうな。AI扱うエンジニアさんはそうはいかんだろうけど。

その他
GARAPON
gpuの排熱で部屋がアツイ

その他
gfx
"GPTのAPIはコスパが悪い。いやまあ、GPT-4じゃなくてGPT-3.5Tならかなり安いけど、今となってはしょぼくて使う気になれない。そんなだから、OpenAIのAPIよりもオープンなモデルに目を向けてみようかという動きも出てきてる"

その他
stealthinu
2024/5現在のローカルLLMの状況がまとめられてて今後何年かしたら歴史的資料価値が出そうなくらい。ローカルLLMは絶対に社外に情報だしたくないJTCとかで需要があると思う。

その他
prjpn
凄い熱量の纏め

その他
NOTG
エロもそうかもしれないけどエンタープライズ領域ではローカルが求められることになるのでは

その他
TakamoriTarou
遊んでみたい.バッチ処理はあついな

その他
ultimatebreak
4060tiですらぶん回してると部屋が暑くなるのにハイエンド複数とかエアコン代もエグそう

その他
boxmanx99
「やるなら人柱覚悟でどうぞ」うん

その他
kei_1010
俺もやりたい。不謹慎な方向で宗教談義がしたい。そもそも現実は偏見で溢れてるんだから規制せずに偏見の両極端な意見(でも論理的には筋道が通ってる意見)同士を戦わせたい。

その他

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

プレビュー
アプリのスクリーンショット
いまの話題をアプリでチェック!
  • バナー広告なし
  • ミュート機能あり
  • ダークモード搭載
アプリをダウンロード

関連記事

usersに達しました!

さんが1番目にブックマークした記事「最近ローカルLLMが...」が注目されています。

気持ちをシェアしよう

ツイートする

最近ローカルLLMがアツいらしい

最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ?... 最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ?というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 & OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し

ブックマークしたユーザー

  • Nogayama2025年09月26日 Nogayama
  • sumomonomo2025年08月23日 sumomonomo
  • shigiryou2025年08月14日 shigiryou
  • speedkun2025年07月30日 speedkun
  • quadwell2025年07月23日 quadwell
  • blueblue2025年07月21日 blueblue
  • syou4302025年07月20日 syou430
  • uokada2025年07月19日 uokada
  • funghi_seven2025年06月03日 funghi_seven
  • higed2025年05月05日 higed
  • Takuya19842025年03月03日 Takuya1984
  • hnw2025年03月03日 hnw
  • John_Kawanishi2025年02月03日 John_Kawanishi
  • strawberryhunter2025年02月03日 strawberryhunter
  • manimoto2025年01月29日 manimoto
  • tashiromachi0012025年01月23日 tashiromachi001
  • shojisuba2024年12月22日 shojisuba
  • kazuya-mitsutani2024年12月13日 kazuya-mitsutani
すべてのユーザーの
詳細を表示します

ブックマークしたすべてのユーザー

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

同時期にブックマークされた記事

いま人気の記事 - 企業メディア

企業メディアをもっと読む

はてなブックマーク

公式Twitter

はてなのサービス

Copyright © 2005-2025 Hatena. All Rights Reserved.
設定を変更しましたx

AltStyle によって変換されたページ (->オリジナル) /