• Algorithm Codings
• Researches
  • Transformer 🪄 LLM 🚀
    • 大模型微调 (SFT · RLHF) 💥
    • Agent
  • Machine Learning 🤖
  • Deep Learning 🧠
  • NLP 🔤
  • Algorithms 🧩
  • Paper Notes 📝
• Engineerings
  • Python 🐍
  • Big Data 📊
  • Tools 🛠️
  • Design Pattern 🏗️
• Other · Drafts
• Wiki

• 2025年10月21日 QA 合集 🧣📋¹¹⁴📌
• 2025年11月01日 LLM 训练优化 📋 ²
• 2025年10月03日 策略梯度定理及其推导 🧣
• 2025年09月09日 位置编码 ( Position Encoding ) 📋 ²⁴
• 2025年09月05日 Transformer 模型架构 ✒️ ³📋 ²³
• 2025年09月24日 策略梯度算法 ( RLHF 背景 ) 🧣✒️ ²📋 ⁶
• 2025年09月18日 RLHF ( 基于人类反馈的强化学习 ) 🧣✒️📋 ¹³
• 2025年08月22日 AutoPhrase 备忘
• 2025年08月21日 复合词检测
• 2025年08月08日 VSCode 备忘
• 2025年08月06日 开发环境配置 ( 基于 WSL )
• 2025年08月05日 uv 备忘
• 2025年08月02日 批量删除历史已提交文件
• 2025年07月08日 链表操作备忘
• 2025年07月08日 过拟合与正则化 ✒️
• 2025年07月08日 设计模式 Wiki

• 中等 ⁽¹⁶⁷⁾
• 简单 ⁽¹⁰⁷⁾
• 困难 ⁽³⁹⁾

• 经典 ⁽³⁸⁾
• LeetCode Hot 100 ⁽³³⁾
• 热门 ⁽¹⁷⁾

• 牛客 ⁽¹³¹⁾
• LeetCode ⁽¹⁰¹⁾
• 剑指Offer ⁽⁷⁵⁾

• Transformer 基础架构 ✒️ ³📋 ²³

  Encoder-Decoder • 注意力机制 (MHA) • FFN • 正弦位置编码
  

  • Transformer 改进 ✒️ ¹

    位置编码 📋 ²⁴ • 相对位置编码 • 旋转位置编码 (RoPE)🔥 • MoE (混合专家) ✒️ ¹📋 ⁸
    

• LLM 训练优化 📋 ²
• LLM 基座模型 ✒️ ¹📋 ⁶✨

  LLaMA • DeepSeek
  

• Transformer 常见面试问题 💾
• Transformer Wiki 💾
• BERT + CRF 备忘 💾

• SFT 基础概念 📋 ⁹

  PEFT • LoRA 📋 ¹⁰
  

  • 训练数据构建 ✒️

    覆盖率 • 多样性 • 一致性
    

• RLHF ( 偏好学习, 对齐学习 ) 🧣✒️📋 ¹³

  快速回顾 • 奖励模型 • BT 模型
  

  • 强化学习基础 ( LLM-based )

    基础术语 • 价值函数 ↝ 优势函数 • 策略优化 • 贝尔曼方程 • 时序差分算法 • 广义优势估计
    

  • 策略梯度定理及其推导 🧣

    基本形式 • Q函数形式 • A函数形式 • Score Function 恒等式 • 基线不变性
    

  • 策略梯度算法 🧣✒️ ²📋 ⁶

    PPO • DPO • GRPO
    

• Prompt Engineering 📋 ⁴

  ReAct • Plan & Execute • Reflexion • Debate
  

• 概率论基础

  期望 • 全期望公式
  

• 机器学习 Wiki ✒️ ²

  归纳偏置 • 似然 • 正则化 • KL 散度 • 蒙特卡洛方法 • 重要性采样 • 拒绝采样 • MCMC 采样 ✒️
  

• XGBoost 学习笔记 ✒️
  • GBDT/XGBoost 备忘

• 过拟合与正则化 ✒️
• 激活函数
• 损失函数

• RNN 备忘
• CNN 备忘
• Attention 备忘 ✒️

• 爱因斯坦标记法
• HuggingFace 离线使用

• 基于对比学习的表示学习训练框架
• 基于互信息的表示学习
• 向后兼容 ( Backward-Compatible ) 的表示学习
• Sentence-BERT 论文笔记

• 预训练模型的轻量化微调

• 不平衡学习概述
• 论文-2022-YiboYang
• 综述-2019-Johnson

• 统一视角下的 NLP 任务
• 语言模型
• NLP 任务与应用

• NER Wiki
• 商品 NER 标签设计
• GLiNER 阅读笔记

• 知识图谱备忘
• 短语挖掘
  • AutoPhrase 备忘
  • 复合词检测
  • 利用搜索引擎做短语质量评估
• 实体链接
• 关系挖掘备忘
  • 同义词挖掘
  • 上下位挖掘

• 搜索与 NLP

• NLP 标注工具

• 印尼语 NLP

技巧

• 树形递归技巧
• 从递归到递推 ( 动态规划 )

模板

• 链表操作备忘
• 滑动窗口模板
• 二分查找相关

• QA 合集 🧣📋¹¹⁴
• 强化学习相关
• HuggingFace ( 博客 & 代码 )
• GitHub ( 仓库 )

• Copilot_备忘

• [el.2015.WSDM.01] Fast and Space-Efficient Entity Linking for Queries | 高效的 Query 实体链接
• [synonym.2012.KDD.01] A framework for robust discovery of entity synonyms | 基于统计方法的通用同义词挖掘框架 ⏳

• 类方法中 self 的含义
• python 装饰器的本质
• python 类变量和成员变量的最佳实践
• dataclass 使用记录
• Python 容器基类的使用
• Python 函数声明中单独的正斜杠 ( / ) 和星号 ( * ) 是什么意思

• python 国内镜像源
• uv 备忘
• VSCode 配置 for Python
• PyCharm 配置

• SQL 字符串处理
• PySpark SQL 备忘
• HiveSQL 常用操作

• 开发环境配置 ( 基于 WSL )
• VSCode 备忘
• Markdown 备忘
  • Markdown 简历工具
  • LaTeX in Markdown 备忘
• Github Action 备忘
• Docker 备忘

Git

• git 备忘
• 批量删除历史已提交文件
• git-subtree 的基本用法

Linux

• 后台运行
• glob 备忘
• awk 备忘
• WSL2 使用记录
• Shell 脚本备忘
• Linux 解压缩

• 设计模式 Wiki
• 建造者模式 ( Python 实现 )
• 工厂模式 ( Python 实现 )