更新时间：2024-11-13 10:19:51
封面
版权信息
内容简介
前言
第1章 大型语言模型基础
1.1 Transformer基础
1.2 常用的大型语言模型
1.2.1 GPT系列模型
1.2.2 OPT模型
1.2.3 Bloom模型
1.2.4 GLM系列模型
1.2.5 LLaMA系列模型
1.2.6 Baichuan系列模型
1.2.7 Qwen系列模型
1.2.8 Skywork模型
1.3 领域大型语言模型
1.3.1 法律大型语言模型
1.3.2 医疗大型语言模型
1.3.3 金融大型语言模型
1.3.4 教育大型语言模型
1.4 大型语言模型评估
1.4.1 大型语言模型的评估内容
1.4.2 大型语言模型的评估方法
1.4.3 大型语言模型评估榜单
1.5 本章小结
第2章 大型语言模型的常用微调方法
2.1 数据构造与清洗
2.1.1 数据构造方法
2.1.2 数据清洗方法
2.2 分词器构造
2.2.1 分词器概述
2.2.2 BPE分词器
2.2.3 WordPiece分词器
2.2.4 Unigram分词器
2.2.5 SentencePiece分词器
2.2.6 词表融合
2.3 大型语言模型的微调方法
2.3.1 前缀调优
2.3.2 提示调优
2.3.3 P-Tuning v2
2.3.4 LoRA
2.3.5 DyLoRA
2.3.6 AdaLoRA
2.3.7 QLoRA
2.3.8 QA-LoRA
2.3.9 LongLoRA
2.3.10 VeRA
2.3.11 S-LoRA
2.4 基于PEFT的LLaMA模型微调实战
2.4.1 项目介绍
2.4.2 数据预处理
2.4.3 模型微调
2.4.4 模型预测
2.5 本章小结
第3章 大型语言模型的人类偏好对齐
3.1 基于人类反馈的强化学习框架
3.2 前沿偏好对齐方法
3.2.1 RRHF
3.2.2 RLAIF
3.2.3 DPO
3.2.4 APO
3.3 基于DPO的偏好对齐实战
3.3.1 数据集介绍
3.3.2 TRL框架介绍
3.3.3 训练代码解析
3.4 本章小结
第4章 创建个人专属的ChatGPT——GPTs
4.1 GPTs初体验
4.2 GPTs的初阶使用
4.2.1 知识库的使用
4.2.2 内置插件的使用
4.2.3 知识库与内置插件的结合使用
4.3 GPTs的高阶使用
4.4 本章小结
第5章 大型语言模型SQL任务实战
5.1 公开数据集
5.1.1 英文公开数据集
5.1.2 中文公开数据集
5.2 主流方法
5.2.1 基于规则的方法
5.2.2 基于深度学习的方法
5.2.3 基于预训练语言模型的方法
5.2.4 基于大型语言模型的方法
5.3 Text2SQL任务实战
5.3.1 项目介绍
5.3.2 数据预处理
5.3.3 模型微调
5.3.4 模型预测
5.4 本章小结
第6章 大型语言模型的角色扮演应用
6.1 角色扮演
6.1.1 大型语言模型如何进行角色扮演
6.1.2 角色扮演数据的构造方法
6.1.3 大型语言模型角色扮演的能力评估
6.2 角色扮演实战测试
6.3 基于Baichuan的角色扮演模型微调
6.3.1 项目介绍
6.3.2 数据预处理
6.3.3 模型微调
6.3.4 模型预测
