更新时间：2023-11-07 16:35:10
封面
版权信息
内容简介
赞誉
前言
第1章 了解ChatGPT
1.1 ChatGPT的由来
1.1.1 什么是ChatGPT
1.1.2 ChatGPT的发展历史
1.2 ChatGPT的工作流程
1.3 ChatGPT用例
1.3.1 日常任务
1.3.2 编写代码
1.3.3 文本生成
1.3.4 办公自动化
1.4 本章小结
第2章 ChatGPT原理解构
2.1 背景知识
2.1.1 自然语言处理的发展历程
2.1.2 大型语言模型的发展历程
2.2 ChatGPT同类产品
2.2.1 BlenderBot 3.0
2.2.2 LaMDA
2.2.3 Sparrow
2.3 ChatGPT的工作原理
2.3.1 预训练与提示学习阶段
2.3.2 结果评价与奖励建模阶段
2.3.3 强化学习与自我进化阶段
2.4 算法细节
2.4.1 标注数据
2.4.2 建模思路
2.4.3 存在的问题
2.5 关于ChatGPT的思考
2.6 本章小结
第3章 预训练语言模型
3.1 Transformer结构
3.2 基于Encoder结构的模型
3.2.1 BERT
3.2.2 RoBERTa
3.2.3 ERNIE
3.2.4 SpanBERT
3.2.5 MacBERT
3.2.6 ALBERT
3.2.7 NeZha
3.2.8 UniLM
3.2.9 GLM
3.2.10 ELECTRA
3.3 基于Decoder结构的模型
3.3.1 GPT
3.3.2 CPM
3.3.3 PaLM
3.3.4 OPT
3.3.5 Bloom
3.3.6 LLaMA
3.4 基于Encoder-Decoder结构的模型
3.4.1 MASS
3.4.2 BART
3.4.3 T5
3.5 基于夸夸闲聊数据的UniLM模型实战
3.5.1 项目简介
3.5.2 数据预处理模块
3.5.3 UniLM模型模块
3.5.4 模型训练模块
3.5.5 模型推理模块
3.6 本章小结
第4章 强化学习基础
4.1 机器学习的分类
4.1.1 有监督学习
4.1.2 无监督学习
4.1.3 强化学习
4.2 OpenAI Gym
4.2.1 OpenAI Gym API简介
4.2.2 环境简介
4.3 强化学习算法
4.3.1 Q-learning算法
4.3.2 SARSA算法
4.3.3 DQN算法
4.3.4 Policy Gradient算法
4.3.5 Actor-Critic算法
4.4 本章小结
第5章 提示学习与大型语言模型的涌现
5.1 提示学习
5.1.1 什么是提示学习
5.1.2 提示模板设计
5.1.3 答案空间映射设计
5.1.4 多提示学习方法
5.2 上下文学习
5.2.1 什么是上下文学习
5.2.2 预训练阶段提升上下文学习能力
5.2.3 推理阶段优化上下文学习的效果
5.3 思维链
5.4 基于提示的文本情感分析实战
5.4.1 项目简介
5.4.2 数据预处理模块
5.4.3 BERT模型模块
5.4.4 模型训练模块
5.4.5 模型推理模块
5.5 本章小结
第6章 大型语言模型预训练
6.1 大型预训练模型简介
