【博士论文】面向数据的语言生成模型研究

自然语言处理（NLP）领域的最新进展显著提升了语言模型的能力，吸引了学术界和工业界研究者的高度关注。这些模型在大量文本数据集上进行训练，在各种语言任务中表现出色，如翻译、摘要、问答和对话生成。支撑这些发展的核心是数据，作为NLP的命脉，尤其在当前的大型语言模型需要庞大的数据集才能有效学习和生成精确输出的背景下，数据的作用更加至关重要。本论文聚焦于面向数据的优化方法，旨在提升语言模型在各种NLP应用中的性能。它提出了创新的方法，改进模型对数据的摄取和处理方式，从而在实际应用中取得了显著的进展。 本研究通过深入探讨NLP中数据驱动的各个方面，涵盖数据的数量和质量。通过自上而下的方法，本研究跨越了数据生命周期的各个环节，涉及数据的利用、增强和构建。在数据利用方面，研究首先在有限数据下调整模型，然后利用无标签数据的潜力，通过持续学习提升模型性能。转向数据增强部分，研究通过提升合成生成数据的质量，以巩固模型的知识，为持续学习提供支持。接着，设计了一种方法控制指令数据的复杂性，并研究其对大型语言模型性能的影响。在数据构建方面，研究首先开发了一个因果完备的大规模预训练语料库，专门针对文档基础的对话任务。除此之外，本研究还利用大型语言模型的能力，创建了多种工具的指令数据集，从而赋予模型工具使用的能力。 总之，本论文对数据驱动的NLP研究做出了贡献，系统地涵盖了数据处理的完整周期。本论文提出的创新方法旨在显著提升语言模型的能力，并改善其在各种实际场景中的应用效果。