| 日期 | 标题 | 封面 | 时长 | 视频(播放数) |
|---|---|---|---|---|
| 9/17/22 | CLIP 改进工作串讲(下) | 1:04:26 | ||
| 9/2/22 | CLIP 改进工作串讲(上) | 1:14:43 | bilibili | |
| 7/29/22 | ViLT 论文精读 | 1:03:26 | bilibili | |
| 7/22/22 | 理由、论据和担保【研究的艺术·四】 | 44:14 | bilibili | |
| 7/15/22 | 如何讲好故事、故事里的论点【研究的艺术·三】 | 43:56 | bilibili | |
| 7/8/22 | DALL·E 2 逐段精读 | 1:27:54 | bilibili | |
| 7/1/22 | 明白问题的重要性【研究的艺术·二】 | 1:03:40 | bilibili | |
| 6/24/22 | 跟读者建立联系【研究的艺术·一】 | 45:01 | bilibili | |
| 6/17/22 | Zero 逐段精读 | 52:21 | bilibili | |
| 6/10/22 | DETR 逐段精读 | 54:22 | bilibili | |
| 6/3/22 | Megatron LM 逐段精读 | 56:07 | bilibili | |
| 5/27/22 | GPipe 逐段精读 | 58:47 | bilibili | |
| 5/5/22 | Pathways 逐段精读 | 1:02:13 | bilibili | |
| 4/28/22 | 视频理解论文串讲(下) | 1:08:32 | bilibili |
|
| 4/21/22 | 参数服务器(Parameter Server) 逐段精读 | 1:37:40 | bilibili |
|
| 4/14/22 | 视频理解论文串讲(上) | 51:15 | bilibili |
|
| 3/31/22 | I3D 论文精读 | 52:31 | bilibili |
|
| 3/24/22 | 斯坦福 2022 年 AI 指数报告 精读 | 1:19:56 | bilibili |
|
| 3/17/22 | AlphaCode 论文精读 | 44:00 | bilibili |
|
| 3/10/22 | OpenAI Codex 论文精读 | 47:58 | bilibili zhihu |
|
| 3/3/22 | GPT, GPT-2, GPT-3 精读 | 1:29:58 | bilibili |
|
| 2/24/22 | Two-Stream 逐段精读 | 52:57 | bilibili |
|
| 2/10/22 | CLIP 逐段精读 | 1:38:25 | bilibili zhihu |
|
| 2/6/22 | 你(被)吐槽过论文不够 novel 吗? | 14:11 | bilibili zhihu |
|
| 1/23/22 | AlphaFold 2 精读 | 1:15:28 | bilibili zhihu |
|
| 1/18/22 | 如何判断(你自己的)研究工作的价值 | 9:59 | bilibili zhihu |
|
| 1/15/22 | Swin Transformer 精读 | 1:00:21 | bilibili zhihu |
|
| 1/7/22 | 指导数学直觉 | 52:51 | bilibili zhihu |
|
| 1/5/22 | AlphaFold 2 预告 | 03:28 | bilibili | |
| 12/20/21 | 对比学习论文综述 | 1:32:01 | bilibili zhihu |
|
| 12/15/21 | MoCo 逐段精读 | 1:24:11 | bilibili zhihu |
|
| 12/9/21 | 如何找研究想法 1 | 5:34 | bilibili | |
| 12/8/21 | MAE 逐段精读 | 47:04 | bilibili zhihu |
|
| 11/29/21 | ViT 逐段精读 | 1:11:30 | bilibili zhihu |
|
| 11/18/21 | BERT 逐段精读 | 45:49 | bilibili zhihu |
|
| 11/9/21 | GAN 逐段精读 | 46:16 | bilibili zhihu |
|
| 11/3/21 | 零基础多图详解 图神经网络(GNN/GCN) | 1:06:19 | bilibili zhihu |
|
| 10/27/21 | Transformer 逐段精读 (视频中提到的文献 1 ) |
1:27:05 | bilibili zhihu |
|
| 10/22/21 | ResNet 论文逐段精读 | 53:46 | bilibili zhihu |
|
| 10/21/21 | 撑起计算机视觉半边天的 ResNet | 11:50 | bilibili zhihu |
|
| 10/15/21 | AlexNet 论文逐段精读 | 55:21 | bilibili zhihu |
|
| 10/14/21 | 9年后重读深度学习奠基作之一:AlexNet | 19:59 | bilibili zhihu |
|
| 10/06/21 | 如何读论文 | 06:39 | bilibili zhihu |
包括已经录制完成和之后将要介绍的论文。选取的原则是10年内深度学习里有影响力文章(必读文章),或者近期比较有意思的文章。当然这十年里重要的工作太多了,不可能一一过一遍。在选取的时候我会偏向一些之前 直播课 中没讲到过的。 欢迎大家在 讨论区 里提供建(点)议(歌)。
总论文数 67,录制完成数 32
(这里引用采用的是 semanticscholar,是因为它提供 API 可以自动获取,不用手动更新。)
| 已录制 | 年份 | 名字 | 简介 | 引用 |
|---|---|---|---|---|
| ✅ | 2012 | AlexNet | 深度学习热潮的奠基作 | citation |
| 2014 | VGG | 使用 3x3 卷积构造更深的网络 | citation | |
| 2014 | GoogleNet | 使用并行架构构造更深的网络 | citation | |
| ✅ | 2015 | ResNet | 构建深层网络都要有的残差连接。 | citation |
| 2017 | MobileNet | 适合终端设备的小CNN | citation | |
| 2019 | EfficientNet | 通过架构搜索得到的CNN | citation | |
| 2021 | Non-deep networks | 让不深的网络也能在ImageNet刷到SOTA | citation |
| 已录制 | 年份 | 名字 | 简介 | 引用 |
|---|---|---|---|---|
| ✅ | 2020 | ViT | Transformer杀入CV界 | citation |
| ✅ | 2021 | CLIP | 图片和文本之间的对比学习 | citation |
| ✅ | 2021 | Swin Transformer | 多层次的Vision Transformer | citation |
| 2021 | MLP-Mixer | 使用MLP替换self-attention | citation | |
| ✅ | 2021 | MAE | BERT的CV版 | citation |
| 已录制 | 年份 | 名字 | 简介 | 引用 |
|---|---|---|---|---|
| ✅ | 2014 | GAN | 生成模型的开创工作 | citation |
| 2015 | DCGAN | 使用CNN的GAN | citation | |
| 2016 | pix2pix | citation | ||
| 2016 | SRGAN | 图片超分辨率 | citation | |
| 2017 | WGAN | 训练更加容易 | citation | |
| 2017 | CycleGAN | citation | ||
| 2018 | StyleGAN | citation | ||
| 2019 | StyleGAN2 | citation | ||
| 2020 | DDPM | Diffusion Models | citation | |
| 2021 | Improved DDPM | 改进的 DDPM | citation | |
| 2021 | Guided Diffusion Models | 号称超越 GAN | citation | |
| 2021 | StyleGAN3 | citation |
| 已录制 | 年份 | 名字 | 简介 | 引用 |
|---|---|---|---|---|
| 2014 | R-CNN | Two-stage | citation | |
| 2015 | Fast R-CNN | citation | ||
| 2015 | Faster R-CNN | citation | ||
| 2016 | SSD | Single stage | citation | |
| 2016 | YOLO | citation | ||
| 2017 | Mask R-CNN | citation | ||
| 2017 | YOLOv2 | citation | ||
| 2018 | YOLOv3 | citation | ||
| 2019 | CenterNet | Anchor free | citation | |
| ✅ | 2020 | DETR | Transformer | citation |
| 已录制 | 年份 | 名字 | 简介 | 引用 |
|---|---|---|---|---|
| ✅ | 2018 | InstDisc | 提出实例判别和memory bank做对比学习 | citation |
| ✅ | 2018 | CPC | 对比预测编码,图像语音文本强化学习全都能做 | citation |
| ✅ | 2019 | InvaSpread | 一个编码器的端到端对比学习 | citation |
| ✅ | 2019 | CMC | 多视角下的对比学习 | citation |
| ✅ | 2019 | MoCov1 | 无监督训练效果也很好 | citation |
| ✅ | 2020 | SimCLRv1 | 简单的对比学习 (数据增强 + MLP head + 大batch训练久) | citation |
| ✅ | 2020 | MoCov2 | MoCov1 + improvements from SimCLRv1 | citation |
| ✅ | 2020 | SimCLRv2 | 大的自监督预训练模型很适合做半监督学习 | citation |
| ✅ | 2020 | BYOL | 不需要负样本的对比学习 | citation |
| ✅ | 2020 | SWaV | 聚类对比学习 | citation |
| ✅ | 2020 | SimSiam | 化繁为简的孪生表征学习 | citation |
| ✅ | 2021 | MoCov3 | 如何更稳定的自监督训练ViT | citation |
| ✅ | 2021 | DINO | transformer加自监督在视觉也很香 | citation |
| 已录制 | 年份 | 名字 | 简介 | 引用 |
|---|---|---|---|---|
| ✅ | 2017 | Transformer | 继MLP、CNN、RNN后的第四大类架构 | citation |
| ✅ | 2018 | GPT | 使用 Transformer 解码器来做预训练 | citation |
| ✅ | 2018 | BERT | Transformer一统NLP的开始 | citation |
| ✅ | 2019 | GPT-2 | 更大的 GPT 模型,朝着zero-shot learning迈了一大步 | citation |
| ✅ | 2020 | GPT-3 | 100倍更大的 GPT-2,few-shot learning效果显著 | citation |
| 已录制 | 年份 | 名字 | 简介 | 引用 |
|---|---|---|---|---|
| ✅ | 2014 | 参数服务器 | 支持千亿参数的传统机器学习模型 | citation |
| ✅ | 2018 | GPipe | 流水线(Pipeline)并行 | citation |
| ✅ | 2019 | Megatron-LM | 张量(Tensor)并行 | citation |
| ✅ | 2019 | Zero | 参数分片 | citation |
| ✅ | 2022 | Pathways | 将Jax拓展到上千TPU核上 | citation |
| 已录制 | 年份 | 名字 | 简介 | 引用 |
|---|---|---|---|---|
| ✅ | 2021 | 图神经网络介绍 | GNN的可视化介绍 | citation |
| 已录制 | 年份 | 名字 | 简介 | 引用 |
|---|---|---|---|---|
| 2014 | Adam | 深度学习里最常用的优化算法之一 | citation | |
| 2016 | 为什么超大的模型泛化性不错 | citation | ||
| 2017 | 为什么Momentum有效 | Distill的可视化介绍 | citation |
| 已录制 | 年份 | 名字 | 简介 | 引用 |
|---|---|---|---|---|
| 2016 | AlphaGo | 强化学习出圈 | citation | |
| 2020 | AlphaFold | 赢得比赛的的蛋白质3D结构预测 | citation | |
| ✅ | 2021 | AlphaFold 2 | 原子级别精度的蛋白质3D结构预测 | citation |
| ✅ | 2021 | Codex | 使用注释生成代码 | citation |
| ✅ | 2021 | 指导数学直觉 | 分析不同数学物体之前的联系来帮助发现新定理 | citation |
| ✅ | 2022 | AlphaCode | 媲美一般程序员的编程解题水平 | citation |