第2章 ChatGPT原理解构

分而治之，各个击破。

——《孙子兵法》

在ChatGPT诞生之前的一年里，很多人对人工智能的发展并不看好，主要源于大众对所谓“智能化”产品的交互体验失去信心。然而，ChatGPT的火爆出圈，让大众对人工智能重拾信心。对于不少非专业人士来说，ChatGPT仿佛一夜诞生，运用完全独特的算法横空出世。当我们基于Open AI官方论文及其报告内容解构ChatGPT原理的时候，会发现一系列前人的丰功伟绩：大规模预训练语言模型、提示学习、强化学习、近端策略优化算法等。本章重点介绍ChatGPT内部构造，基于AIGC相关背景知识，逐步展开ChatGPT背后所应用的技术栈，让读者对ChatGPT有更加完整的认知。