大模型导论
上QQ阅读APP看书,第一时间看更新

1.3.1 确定项目目标

对于大模型的开发,确定项目目标至关重要。它不仅是整个开发流程的起点,而且为后续的数据准备、模型设计、模型训练等提供了明确的方向。在开发大模型前,应先明确模型需要解决的具体问题,只有这样,才能选择合适的模型和训练数据,进而设计出高效且符合需求的系统框架。

以金融任务为例,假设项目目标为在有限的硬件资源下构建财务问答系统。由于这项任务主要涉及文字处理与生成,因此可以选用参数规模适中的开源大模型,如ChatGLM3-6B、LLaMA2-7B、Baichuan2-13B等。这些模型在保持较高性能的同时,对硬件资源的需求相对较低,更适合目标场景。

在数据准备方面,我们可以使用人工标注的公司年报和金融知识等数据。这些数据与项目目标高度相关,可以提升模型的训练效果。为了进一步提高数据标注的效率,可以将大模型作为数据集构造器,通过让其学习少量标注数据的内容和形式自动扩充数据集,从而为该项目提供更多的训练样本。

在模型训练方面,以P-tuning v2、QLoRA等高效微调技术对模型进行训练。这些技术能够在有限的训练数据下实现快速且有效的模型微调。

对上述构思进行归纳与整理,便可以得到完整的财务问答系统的框架,如图1-8所示。需要说明的是,这里使用了少量标准格式的数据来引导模型的输出格式。这种方式可以确保模型在生成回答时能够遵循一定的结构和规范,从而提升生成内容的可读性和准确性。这也体现了提示工程在大模型开发中的重要作用。

图1-8给出了简单的系统框架,其中涉及的各项技术会在后续章节中介绍。以项目目标为核心,设计行之有效、结构合理的系统框架是大模型获得成功的关键。

图1-8 财务问答系统的框架