• 项目概述
• 一,数学基础专栏
• 二,神经网络基础部件
• 三,深度学习炼丹
• 四,深度学习模型压缩
• 五,模型推理部署
• 六,异构计算
• 七,进阶课程
• 参考资料

本仓库项目是个人总结的深度学习炼丹、优化及部署落地笔记,包含深度学习数学基础知识、深度学习基础知识、神经网络基础部件详解、构建 CNN 网络总结、深度学习炼丹策略、深度学习模型压缩算法、以及深度学习推理框架代码解析及动手实战。

• 深度学习数学基础-概率与信息论
• 深度学习基础-机器学习基本原理
• 随机梯度下降法的数学基础

1,神经网络基础部件:

1. 神经网络基础部件-卷积层详解
2. 神经网络基础部件-BN 层详解
3. 神经网络基础部件-激活函数详解
4. 神经网络基础部件-Transformer 详解

2,深度学习基础:

• 反向传播与梯度下降详解
• 深度学习基础-参数初始化详解
• 深度学习基础-损失函数详解
• 深度学习基础-优化算法详解

1. 深度学习炼丹-数据标准化
2. 深度学习炼丹-数据增强
3. 深度学习炼丹-不平衡样本的处理
4. 深度学习炼丹-超参数设定
5. 深度学习炼丹-正则化策略

1. 深度学习模型压缩算法综述
2. 模型压缩-轻量化网络设计与部署总结
3. 模型压缩-剪枝算法详解
4. 模型压缩-知识蒸馏详解
5. 模型压缩-量化算法详解

1,模型部署:

• 卷积神经网络复杂度分析
• 模型压缩部署概述
• FasterTransformer 速览

2,模型推理:

• 矩阵乘法详解
• 模型推理加速技巧-融合卷积和BN层

3,ncnn 框架源码解析:

• ncnn 源码解析-sample 运行
• ncnn 源码解析-Net 类
• ncnn 源码解析-Layer 层
• ncnn 源码解析-常见算子

1. 移动端异构计算:neon 编程
2. GPU 端异构计算:cuda 编程

通用矩阵乘法 gemm 算法解析与优化、neon、cuda 编程等内容,以及 ncnn 框架代码解析总结。

1,推荐几个比较好的深度学习模型压缩与加速的仓库和课程资料:

1. awesome-emdl: 嵌入式与移动端深度学习研究资料合集。
2. AI-System: 深度学习系统。
3. pytorch-deep-learning

2,一些笔记好的博客链接:

• The Illustrated Transformer: 国内比较好的博客大都参考这篇文章。
• C++ 并发编程(从C++11到C++17): 不错的 C++ 并发编程教程。
• What are Diffusion Models?
• annotated_deep_learning_paper_implementations

• 《深度学习》
• 《机器学习》
• 《动手学深度学习》
• 《AI-EDU》
• 《AI-System》
• 《PyTorch_tutorial_0.0.5_余霆嵩》
• 《动手编写深度学习推理框架 Planer》

chatglm-6b 模型

• 单机单卡
• 测试设备 T4
• 测试 promot:
  • 你是现代诗人,用'红包、美好、表白、夕阳、月光、慢慢'关键词生成2首表白唯美打油诗
  • 写一篇500字的武侠小说,主角名字为李纯白

测试框架:HuggingFace + Transformers + DeepSpeed

测试框架:HuggingFace + Transformers

使用 chatglm 自带的量化函数进行量化,虽然对显存的要求低了,但是性能 tps 下降了很多,原因还在分析。