全国首个以金融业务能力为核心的团体标准《金融大模型应用评测指南》在上海发布

《金融大模型应用评测指南》致力于以金融业务为核心，全方位构建了一个系统的金融领域大模型能力测评框架。该指南从模型基础、金融安全与价值对齐、金融风险控制、金融专业认知、金融业务辅助拓展等五个关键维度出发，细化至185项具体指标要求，旨在为金融领域的大模型应用提供全面的评测依据。同时，该指南还详细阐述了相应的评测方法与工具，并制定了明确的评测分级标准，为金融大模型的应用与发展提供了有力支持。

以模型基础能力方面为例，围绕模型基础理解和推演功能，指南定义了包括文本分类、信息抽取等在内的11项单模态，图文检索、视频问答等在内的6项多模态指标要求。金融安全与价值对齐能力方面，围绕模型的可靠性、可解释性以及隐私保护，指南设计了内容合规、文化价值、伦理价值等在内的9项指标要求。

金融大模型评测数据集(2024版)作为衡量金融领域大模型应用成效的关键工具，为金融机构提供了一个精确的评测平台。依据《金融大模型应用评测指南》的能力测评框架，该数据集精心设计，包含超过44000句对评测数据，旨在助力大模型更好地处理数据。据悉，该评测数据集参照了业界最高水平和最佳标准，具备规模庞大、结构优化、价值匹配度高等显著特点，充分满足了金融领域对于知识更新、多样性以及高密度的综合需求。未来，金融评测数据集将定期进行更新，而样例集也已正式在Open Data Lab和开放原子社区公开发布，为行业提供了宝贵的数据资源。