GitHub - karpathy/minbpe: Minimal, clean code for the Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization.

関連記事

GitHub - karpathy/minbpe: Minimal, clean code for the Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization.

Minimal, clean code for the (byte-level) Byte Pair Encoding (BPE) algorithm commonly used in LLM ...概要を表示 Minimal, clean code for the (byte-level) Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization. The BPE algorithm is "byte-level" because it runs on UTF-8 encoded strings. This algorithm was popularized for LLMs by the GPT-2 paper and the associated GPT-2 code release from OpenAI. Sennrich et al. 2015 is cited as the original reference for the use of BPE in NLP applications. Today,

• llm
• algorithm
• github
• ai
• あとで読む

ブックマークしたユーザー

• kasumigasekix2024年02月19日 kasumigasekix
• keysuccess2024年02月19日 keysuccess
• tasukuchan2024年02月18日 tasukuchan
• laughing2024年02月18日 laughing
• toshikish2024年02月18日 toshikish
• hasunuma06132024年02月18日 hasunuma0613
• dhesusan46492024年02月18日 dhesusan4649
• gogatsu262024年02月18日 gogatsu26
• manabou2024年02月18日 manabou
• jamalen2024年02月18日 jamalen
• p-baleine2024年02月18日 p-baleine
• wata882024年02月18日 wata88
• marutaku01312024年02月17日 marutaku0131