深度学习高手笔记（卷1）：基础算法

封面

版权信息

版权

内容提要

献言

序1

序2

前言

资源与支持

第一篇 卷积神经网络

第1章 基础骨干网络

1.1 起源：LeNet-5和AlexNet

1.2 更深：VGG

1.3 更宽：GoogLeNet

1.4 跳跃连接：ResNet

1.5 注意力：SENet

1.6 更密：DenseNet

1.7 模型集成：DPN

1.8 像素向量：iGPT

1.9 Visual Transformer之Swin Transformer

1.10 Vision Transformer之CSWin Transformer

1.11 MLP? :MLP-Mixer

第2章 轻量级CNN

2.1 SqueezeNet

2.2 MobileNet v1和MobileNet v2

2.3 Xception

2.4 ResNeXt

2.5 ShuffleNet v1和ShuffleNet v2

2.6 CondenseNet

第3章 模型架构搜索

3.1 PolyNet

3.2 NAS

3.3 NASNet

3.4 PNASNet

3.5 AmoebaNet

3.6 MnasNet

3.7 MobileNet v3

3.8 EfficientNet v1

3.9 EfficientNet v2

3.10 RegNet

第二篇 自然语言处理

第4章 基础序列模型

4.1 LSTM和GRU

4.2 注意力机制

4.3 Transformer

4.4 Transformer-XL

第5章 模型预训练

5.1 RNN语言模型

5.2 ELMo

5.3 GPT-1、GPT-2和GPT-3

5.4 BERT

5.5 BERT“魔改”之RoBERTa、ALBERT、MT-DNN和XLM

5.6 XLNet

5.7 ERNIE（清华大学）

5.8 ERNIE（百度）和ERNIE 2.0

第三篇 模型优化

第6章 模型优化方法

6.1 Dropout

6.2 BN

6.3 LN

6.4 WN

6.5 IN

6.6 GN