(资料图)
大模型时代，调参为王
调参是指通过输入数据集对训练模型进行优化，达到提升模型效果的方法。预训练和微调两大阶段都涉及到参数的调整，大语言模型训练范式为“两步走战略”：先通过预训练获得通用大模型能力，再经过模型微调掌握专项任务或细分领域的能力，通过对参数的不断调整，使其抓取文本重点、理解文本、输出文本可以更加精确。同时两者也存在根本上的差异：预训练阶段，核心是找到最优的数据配比与最优的架构设计从而得到最有效的参数数值，通过向模型喂入大量的无标注数据进行无监督训练，大力出奇迹，使模型涌现出更好的基础能力，使其在不同任务上都获得较好效果；而模型微调阶段，是在预训练模型参数的基础上，通过提供少量高质量、有标注的数据进行有监督训练，微调的核心是找到调整哪些参数、如何调整能够使得模型呈现在特定领域更加优异的表现。
大模型调参技术壁垒有望降低，“强力基座+专向调参”或将成为商业范式高效微调工具有望打破模型微调过程中的调参困境，加速中小型应用厂商商业化落地。当前时点，基座模型仍在逐步优化的阶段，为了实现模型整体的优化，互联网巨头厂商及行业龙头厂商仍旧优先选择全参数微调的方式来力求模型的高质量表现。但由于全参微调成本高昂，调参时间单次耗时较长，以及技术壁垒较高，使其成为中小型厂商应用进一步铺开的限制因素，使其无法通过“强力基座+全参数微调”实现应用高效高质量落地。随着行业逐步发展，行业巨头逐步摸索出调参更优范式，逐渐涌现以LoRA 为代表的高效微调工具，通过微调少量额外参数即可获得强大的性能，实现了低成本高性能的有效平衡。伴随高效微调工具应用范围的逐渐扩大与优化，其有望打破大模型在中小型应用厂商落地的困境，进一步驱动应用扩容。
如何做好调参？算力决定下限，数据拉高上限
微调过程中的调参是一项工程性项目。拥有高算力的厂商能够在更短的时间内通过经验的不断积累得到调参的合理配方，以更好地调参能力来弥补由于数据质量或者其他因素造成的对模型性能的影响。同时可以继续加码模型的参数量规模以争取实现模型能够达到更好的质变效果。
换句话说，当调参还没有完全形成高效可用的范式工具时，大厂商会由于资源优势、技术优势具备更强的护城河壁垒。但是当调参具备范式，调参工具不断优化，真正开始得到有效应用的时候，数据的稀缺性、数据质量、数据配方才是最终决定模型性能天花板的核心竞争力。对比国内外大模型可以发现， 在几乎同等参数规模下，GPT-4 以及GPT-3.5 在大部分任务的表现上要优于国内诸多自研模型。其核心原因在于微调过程中如何调参的经验值的差距，以及微调过程中使用数据的质量和最优配方的差距，因此算力在一定程度上决定着模型的下限，而数据仍是影响模型性能天花板的顶梁柱。
风险提示
1、AI 技术发展不及预期；
2、下游应用需求不及预期。
关键词：
质检
推荐
