1.2 为什么需要RAG

1.2.1 大模型的知识更新问题

前文提到大模型的知识源于预训练阶段。通过大量的无监督数据，利用下一个词预测任务来完成训练。待训练完成之后，模型便能将大量的知识压缩到自身的参数中。然而，在互联网时代，知识更新迅速，导致大模型难以实时更新所蕴含的知识。

由于存在知识更新问题，当询问模型一些训练语料截止日期之后的问题时，模型很可能会给出过时的答案。如图1-3所示，当询问GPT-3.5-turbo（0315）“拼多多的CEO是谁？”时，它回答：“拼多多的CEO是黄峥。”然而，实际上早在2020年7月，黄峥就已公开表示卸任拼多多的CEO。

同样的问题，我们可以咨询Bing Chat。Bing Chat是微软发布的一个针对浏览器的CoPilot。整体上，这个CoPilot是一个典型的RAG落地应用。当浏览器获取到用户咨询的问题之后，会借助自己的搜索引擎搜索出问题相关的网页，最后结合网页的内容以及用户问题进行答案生成。如图1-4所示，当向Bing Chat询问“拼多多的CEO是谁？”时，我们得到了正确的答案。

图1-3 GPT-3.5-turbo（0315）回答结果

图1-4 Bing Chat回答结果