エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください
Twitterで共有ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します
概要 この記事の対象者:LLMの内部処理をコードレベルで具体的に理解し、自分で簡易的なモデルを動かし... 概要 この記事の対象者:LLMの内部処理をコードレベルで具体的に理解し、自分で簡易的なモデルを動かしてみたいエンジニアや研究者。 この記事の内容:Raschka著『作りながら学ぶLLM入門』第2章をベースに、トークン化からサブワード分割、特殊トークン付与、データローダー作成、埋め込みまでの前処理工程をPythonコード付きで解説。 この記事を読んでできること:前処理の各ステップを自力で実装し、英語・日本語を問わずLLMの学習データを準備するパイプラインを構築できる。 序説 (長いので、お急ぎの方はスキップしてください) MCP、AIエージェント等盛り上がりを見せてますが、 そもそもLLMってなんで動いているんでしょうか?? Transf ormerっていうのが内部にあって、 確率的分布に従って、 RLHFで人間のフィードバックで学習させてetc、、、 理論的な説明はよく見かけます。 ですが、