[フレーム]
はてなブックマークアプリ

サクサク読めて、
アプリ限定の機能も多数!

アプリで開く

気に入った記事をブックマーク

  • 気に入った記事を保存できます
    保存した記事の一覧は、はてなブックマークで確認・編集ができます
  • 記事を読んだ感想やメモを書き残せます
  • 非公開でブックマークすることもできます
適切な情報に変更

エントリーの編集

loading...

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。

タイトルガイドライン

このページのオーナーなので以下のアクションを実行できます

タイトル、本文などの情報を
再取得することができます
コメントを非表示にできます コメント表示の設定

ブックマークしました

ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください

Twitterで共有

ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します

317users がブックマーク コメント 19

ガイドラインをご確認の上、良識あるコメントにご協力ください

0 / 0
入力したタグを追加

現在プライベートモードです 設定を変更する

おすすめタグタグについて

よく使うタグ

DeepSeekがやっていると噂の蒸留というやつを、ローカルLLMで今すぐやってみる 前編

317 users zenn.dev/yuiseki

ガイドラインをご確認の上、良識あるコメントにご協力ください

0 / 0
入力したタグを追加

現在プライベートモードです 設定を変更する

おすすめタグタグについて

よく使うタグ

はてなブックマーク

はてなブックマークで
関心をシェアしよう

みんなの興味と感想が集まることで
新しい発見や、深堀りがもっと楽しく

ユーザー登録

アカウントをお持ちの方はログインページ

記事へのコメント19

  • 注目コメント
  • 新着コメント
zgmf-x20a
こうした実験が普通にできるようになってきたというのがすごい事だと思う。

その他
andonut146
「知識蒸留 (Knowledge Distillation) とは、大きなモデル (教師) から小さなモデル (生徒) に知識を転送する手法」学びあげ。

その他
KoshianX
ふーむ、こういうふうにやるのか蒸留。これで小さくて都合のいいモデルが作れるとおもしろくなるなあ

その他
hiroomi
"phi4:14b が快適に動くGPU (VRAM 12GB程度)"

その他
harumomo2006
量子化と蒸留でもっとコンパクトなLLMができると信じてる

その他
ardarim
DeepSeekもすなる蒸留といふものを、ローカルLLMでもしてみむとてするなり

その他
sumijk
モデル崩壊(生成データを再帰的に学習したら表現力を失う現象)と蒸留は設定が全然違うので比較するのはおかしい。モデル崩壊も条件次第では抑制できることも知られている

その他
misshiki
"知識蒸留 (Knowledge Distillation) とは、大きなモデル (教師) から小さなモデル (生徒) に知識を転送する手法である"

その他
maninthemiddle
「日本人の行動」に関する知識の蒸留はこれでできるとしても、世界のその他に関するありとあらゆる茫漠をDeepSeekはどうやって埋めたんだろう

その他
kisiritooru
これらをもっと蒸留して人間には何が起こってるか解らない超知性が爆誕

その他
TakamoriTarou
AIが出力したものをAIが学習するとAIは劣化していく事がわかっているのだけれど、特定の用途に特化させて軽量化するのには向いてるんだよな。

その他
yarumato
"ollamaとPythonとLangChainをセットアップ。phi4:14b が快適に動くGPU (VRAM 12GB程度)。知識蒸留(大きなモデル (教師) から小さなモデル (生徒) に知識を転送)の実装。"

その他
koseki
魔法かと思ってた。ちゃんとわかる(わかる部分もある)

その他
hiroomi
hiroomi "phi4:14b が快適に動くGPU (VRAM 12GB程度)"

2025年02月03日 リンク

その他
Kmusiclife
"Distillation"

その他
NOV1975
(現時点における)AIとはなにか、の答えに近づいていってる気がするねえ。

その他
yuu-same
"蒸留"

その他
kagerouttepaso
これ原理的に現実世界の新進気鋭の技術者の見落としを師匠の熟練技術者は見逃さなかった的な事も起こりうるってことよね。おもろい。

その他
sds-page
「AIが出力したものをAIが学習することでAIは劣化していく」みたいな事言う人いるけど事実は逆でちゃんとした評価を挟めば性能はアップするんよね

その他
urtz
知識蒸留ってアナログ感あるよね

その他
zgmf-x20a
zgmf-x20a こうした実験が普通にできるようになってきたというのがすごい事だと思う。

2025年02月03日 リンク

その他
ardarim
ardarim DeepSeekもすなる蒸留といふものを、ローカルLLMでもしてみむとてするなり

2025年02月03日 リンク

その他
harumomo2006
harumomo2006 量子化と蒸留でもっとコンパクトなLLMができると信じてる

2025年02月03日 リンク

その他
andonut146
andonut146 「知識蒸留 (Knowledge Distillation) とは、大きなモデル (教師) から小さなモデル (生徒) に知識を転送する手法」学びあげ。

2025年02月03日 リンク

その他
KoshianX
KoshianX ふーむ、こういうふうにやるのか蒸留。これで小さくて都合のいいモデルが作れるとおもしろくなるなあ

2025年02月02日 リンク

その他

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

プレビュー
アプリのスクリーンショット
いまの話題をアプリでチェック!
  • バナー広告なし
  • ミュート機能あり
  • ダークモード搭載
アプリをダウンロード

関連記事

usersに達しました!

さんが1番目にブックマークした記事「DeepSeekがやって...」が注目されています。

気持ちをシェアしよう

ツイートする

DeepSeekがやっていると噂の蒸留というやつを、ローカルLLMで今すぐやってみる 前編

前提 この記事では、「Symbolic Knowledge Distillation: from General Language Models to Commonsense... 前提 この記事では、「Symbolic Knowledge Distillation: from General Language Models to Commonsense Models」という論文で提案されている 記号知識蒸留 を、ローカルLLMで日語で実験する。 詳細 知識蒸留 (Knowledge Distillation) とは、大きなモデル (教師) から小さなモデル (生徒) に知識を転送する手法である 具体的には、LLMの蒸留と言えば、大きなモデルが出力する確率分布(ソフトターゲット)を利用して、小さいモデルを学習させる手法が用いられていた しかし、論文では、「象徴的」な知識蒸留として、単に数値的な蒸留ではなく、 テキスト (symbolic knowledge) の形で知識を抽出し転送すること を提案している 必要な知識と開発環境 ollamaとPythonとLang

ブックマークしたユーザー

  • techtech05212025年07月23日 techtech0521
  • walkalone2025年05月29日 walkalone
  • ba2dppy2025年03月25日 ba2dppy
  • hush_in2025年03月06日 hush_in
  • heatman2025年03月04日 heatman
  • flatbird2025年02月07日 flatbird
  • caramelcoffee2025年02月05日 caramelcoffee
  • sumijk2025年02月05日 sumijk
  • jp-myk2025年02月04日 jp-myk
  • misshiki2025年02月04日 misshiki
  • wishe2025年02月04日 wishe
  • whitetiger-212025年02月04日 whitetiger-21
  • zyxwv2025年02月04日 zyxwv
  • yamada_k2025年02月04日 yamada_k
  • pascal2562025年02月04日 pascal256
  • paul_oguri2025年02月04日 paul_oguri
  • ls-ltr2025年02月04日 ls-ltr
  • meshitahiro2025年02月04日 meshitahiro
すべてのユーザーの
詳細を表示します

ブックマークしたすべてのユーザー

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

同時期にブックマークされた記事

いま人気の記事 - 企業メディア

企業メディアをもっと読む

はてなブックマーク

公式Twitter

はてなのサービス

Copyright © 2005-2025 Hatena. All Rights Reserved.
設定を変更しましたx

AltStyle によって変換されたページ (->オリジナル) /