AI 大模型相关算法中手写的面试题,(非 LeetCode),一般比 LeetCode 更考察一个人的综合能力,又更贴近业务和基础知识一点
- 欢迎关注我的博客:chaofa用代码打点酱油 ,内容一般会首先更新到博客上面,并且有更好的阅读体验。
- 当前也欢迎关注同名公众号 chaofa用代码打点酱油 ,这样可以获得订阅更新
| 题目 | 难度 | 知识点 | 文字解读 | 视频解读 |
|---|---|---|---|---|
| 手写 Self-Attention | ⭐⭐⭐ | 注意力机制 | 手写 Self-Attention 的四重境界 | bilibili Youtube |
| 手写 Multi-Head Self-Attention | ⭐⭐⭐ | 注意力机制 | 手写 Multi-Head Self-Attention | bilibili Youtube |
| 手写 Group-Query Attention | ⭐⭐⭐ | 注意力机制 | 手写大模型组件之Group Query Attention,从 MHA -> MQA -> GQA | bilibili Youtube |
| 手写 Transformer Decoder(Causal Language Model, LM) | ⭐⭐⭐⭐ | Transformer 架构 | 手写 Transformer Decoder | bilibili Youtube |
| 计算 LLM (Decoder) 模型的参数量 | ⭐⭐⭐ | 模型参数量 | TODO | bilibili Youtube |
| LLM 模型训练推理显存占用预估 | ⭐⭐⭐⭐ | 显存占用 | LLM 大模型训练-推理显存占用分析 | |
| 手写 AUC | ⭐⭐ | 模型评估 | TODO | |
| 手写 KMeans | ⭐⭐⭐⭐⭐ | 聚类 | TODO | |
| 手写 线性回归 | ⭐⭐⭐⭐⭐ | 线性回归 | TODO | |
| 手写 BPE 分词器 | ⭐⭐⭐⭐⭐ | 分词 | TODO | |
| 手写 LayerNorm | ⭐⭐ | 归一化 | TODO | |
| 手写 BatchNorm | ⭐⭐ | 归一化 | TODO | |
| 手写 Softmax | ⭐⭐ | 激活函数 | TODO |
| 题目 | 难度 | 知识点 | 文字解读 | 视频解读 |
|---|---|---|---|---|
| 手写 LoRA | ⭐⭐⭐⭐⭐ | 目的是为了深入了解 LoRA | LoRA 原理和 PyTorch 代码实现 中文可运行 Notebook |
bilibili |