手把手带你实战Transformers课程的代码仓库
-
torch==2.2.1+cu118
-
transformers==4.42.4
-
peft==0.11.1
-
datasets==2.20.0
-
accelerate==0.32.1
-
bitsandbytes==0.43.1
-
faiss-cpu==1.7.4
-
tensorboard==2.14.0
-
基础入门篇:Transformers入门,从环境安装到各个基础组件的介绍,包括Pipeline、Tokenizer、Model、Datasets、Evaluate、Trainer,并通过一个最基本的文本分类实例将各个模块进行串讲
-
实战演练篇:Transformers实战,通过丰富的实战案例对Transformers在NLP任务中的解决方案进行介绍,包括命名实体识别、机器阅读理解、多项选择、文本相似度、检索式对话机器人、掩码语言模型、因果语言模型、摘要生成、生成式对话机器人
-
高效微调篇:Transformers模型高效微调,以PEFT库为核心,介绍各种常用的参数高效微调方法的原理与实战,包括BitFit、Prompt-tuning、P-tuning、Prefix-Tuning、Lora和IA3
-
低精度训练篇:Transformers模型低精度训练,基于bitsandbytes库,进行模型的低精度训练,包括LlaMA2-7B和ChatGLM2-6B两个模型的多个不同精度训练的实战演练,包括半精度训练、8bit训练、4bit训练(QLoRA)
-
分布式训练篇:Transformers模型分布式训练,基于accelerate库讲解transformers模型的分布式训练解决方案,介绍分布式训练的基本原理以及accelerate库的基本使用方式,包括与Deepspeed框架的集成
-
对齐训练篇: ...
-
性能优化篇: ...
-
系统演示篇: ...
课程视频发布在B站与YouTube,代码与视频会逐步进行更新,目前课程主要更新在B站,YouTube后续会持续更新
-
01- 基础知识与环境安装
-
02 基础组件之 Pipeline |
-
03 基础组件之 Tokenizer
-
04 基础组件之 Model(上) 基本使用
-
04 基础组件之 Model(下) BERT文本分类代码实例
-
05 基础组件之 Datasets
-
06 基础组件之 Evaluate
-
07 基础组件之 Trainer
-
08 基于 Transformers的 NLP解决方案
-
09 实战演练之 命名实体识别
-
10 实战演练之 机器阅读理解(上,过长截断策略)
-
10 实战演练之 机器阅读理解(下,滑动窗口策略)
-
11 实战演练之 多项选择
-
12 实战演练之 文本相似度(上,基于交互策略)
-
12 实战演练之 文本相似度(下,基于匹配策略)
-
13 实战演练之 检索式对话机器人
-
14 实战演练之 预训练模型
-
15 实战演练篇之 文本摘要(上,基于T5模型)
-
15 实战演练篇之 文本摘要(下,基于GLM模型)
-
16 实战演练篇之 生成式对话机器人(基于Bloom)
-
17 参数高效微调与BitFit实战
-
18 Prompt-Tuning 原理与实战
-
19 P-Tuning 原理与实战
-
20 Prefix-Tuning 原理与实战
-
21 LoRA 原理与实战
-
22 IA3 原理与实战
-
23 PEFT 进阶操作
-
24 低精度训练与模型下载
-
25 半精度模型训练(上,基于LLaMA2的半精度模型训练)
-
25 半精度模型训练(下,基于ChatGLM3的半精度模型训练)
-
26 量化与8bit模型训练
-
27 4bit量化与QLoRA模型训练
-
28 分布式训练基础与环境配置
-
29 Data Parallel原理与应用
-
30 Distributed Data Parallel原理与应用
-
31 Accelerate 分布式训练入门
-
32 Accelerate 使用进阶(上)
-
32 Accelerate 使用进阶(下)
-
33 Accelerate + Deepspeed
