21世纪资管研究院研究员李览青、杨梦雪 

从电子化到数字化到智能化，金融行业在科技应用上始终位于前沿。

作为推动AI大模型发展的“三驾马车”，数据、算力、算法关系着大模型商业化落地的成败，全面启动数智化转型、拥有自主创新能力以及庞大数据规模的金融行业，被视作大模型落地的最优选之一。在大模型时代来临前，金融业已在智能营销、智能风控、智能投研、智能客服等领域，通过“小模型”实现了场景应用的智能化。

无疑，大模型对金融机构的基础设施架构、技术路线应用、数据生态、业务场景等多个方面都带来全新的机遇。然而，牵一发而动全身，大模型作为一项新兴技术的落地应用并不是一蹴而就的，金融机构面临着数据治理、数据安全保护、科技投入成本以及工程化能力等等多重挑战。

围绕大模型在金融领域的创新应用，以及当下机构布局的难点痛点，近日由南方财经全媒体集团指导、21世纪资管研究院主办的“金融大模型潮起——大模型如何重塑金融业态”闭门研讨会在上海虹口举行。来自金融机构、科技公司、研究机构的多位嘉宾参与讨论。

以下为21世纪资管研究院整理的部分会议内容。

落地困境：合规风险与数据治理难题

在金融行业探索大模型应用时，有三条主流路径：一是基于现有开源大模型、基础大模型进行微调落地，二是与厂商联合创新自研大模型，三是通过API接口接入商用大模型或通过外挂知识库实现部分功能的使用。

从2022年末开始，多家金融机构组建了大模型研发相关团队，对上述路径均有所尝试。其中基于开源基础大模型，将相关业务数据在机构内部进行微调，是机构率先尝试的办法，但从行业反馈来看，机构遇到不小的挑战。

一家券商金融科技部门大模型业务负责人表示，在大模型落地应用前，首先应梳理好风险点，而法律法规的风险、训练和应用的风险值得关注。

他指出，在法律法规的风险方面，一些机构使用基于开源基础模型进行微调，特别是在直接使用境外大模型提供的SaaS服务，或基于境外大模型进行二次训练及微调时，需要重视其中涉及的数据合法性和合规性。例如，用户数据的跨境传输问题、不同国家和地区数据保护法规差异问题、数据主权、数据泄露等等问题都值得高度关注。

在合规风险之外，另一个限制微调效果的因素是巨大参数规模的高质量语料集。

“相关高校研究成果表明，参数规模在百亿级以下的大模型智能化水平不高，而千亿级大模型的微调对数据量要求非常高，要达到基础大模型数据量的20%。以1000亿token参数规模的大模型微调为例，需要1000万篇的专业性万字长文，这对于金融行业而言是一个巨大的挑战。”一位银行科技部门人士指出，在微调数据量不充足的情况下，大模型可能会出现“幻觉”、“遗忘”、“胡言乱语”等问题。

在东方财富人工智能研究院高级研究员张恺看来，依靠纯金融的语料来构建一个大模型，还比较困难。因此现阶段金融垂直大模型还是以通用语料作为基础能力，再加上金融语料通过反复试验后调整一个配比，最终形成一个既具备通用能力，又具备金融理解力的金融大模型。他指出，在金融行业一些对结果输出要求比较高的场景做适配落地时，通过对通用模型的应用或微调很难快速达到理想效果，原因是通用基础模型的预训练过程中就没有学习较多的金融相关知识和表达方式，因此即使微调，也可能只能学到一些表象，大模型无法理解真正金融任务。

破局之道：“小模型+大模型”实现场景应用

一方面合规风险影响基础模型使用，另一方面数据质量影响微调效果，金融机构如何破局？

在与会嘉宾看来，出于成本和实际应用场景考量，庞大参数的金融行业通用大模型目前还没有能力，也或许尚无必要训练。在已有通用大模型的基础上，叠加小模型的理解能力，可以实现智能化的应用。

一家城商行大模型团队负责人提到，基于他的观察，金融机构在大模型领域的应用探索主要分为三大类。第一类是极大降低传统NLP（自然语言处理）的封装门槛，过去的NLP技术即使有预训练模型，银行还是要做下游任务的封装，有了大模型以后只要用prompt（AI提示词）就可以驱动它。第二是“知识张成”，即知识向量张成到知识空间，基于大模型的知识学习能力，在实践过程中发现大模型可以理解一段code（代码）或者SQL（数据库语言），但目前让大模型来生成代码的可用性还比较低。第三是“零熵模式”，由于大模型原有的知识可能与银行提供的外部知识库是冲突的，因此银行一般希望大模型的信息熵是0，但又可以帮助其建立起企业级知识库，这种模式下比较常见的应用是RAG（检索增强生成），但在训练过程中需要关注部分数据纰漏。

前述银行科技部门人士同样表示，大模型的出现对金融机构的技术演进产生了重要影响。首先是企业级知识库的梳理，他指出，要解决大模型“幻觉”、“遗忘”、“胡言乱语”等问题，核心就是要打通各个部门的知识体系，统一建立起企业级的知识库。如今，其所在团队基于RAG（检索增强生成）架构，已在探索将各部门的固有知识库建立起来做增强式检索，以解决场景应用的难题，提高业务应用的精准性。

在某股份行大模型技术负责人团队的实践中，他们发现以大模型技术基于人机协同的方式赋能一线工作人员提高工作效率是比较可行的方向，通用大模型本身在办公辅助方面也出现了爆发式增长的趋势。他同样认为，大模型不会取代一些小模型，传统的小模型会跟大模型做一个大小模型的协同，来赋能不同的场景。

“大模型对商业银行未来经营模式的影响无疑是颠覆性的。”上海农商行金融科技部总经理助理查晓隽表示。他认为，各大银行数字化转型发展趋势，目前主要包括场景生态化、产品自助化、渠道综合化、经营数字化、风控智能化、运营自动化等六个方向。

对此，金融机构一方面需要积极面对，做好相应的知识储备，另一方面需要对行业进行持续追踪，在部分创新业务场景下实现大模型的应用落地。