記者 張楊

  上海標(biāo)準(zhǔn)再次在金融領(lǐng)域落地。昨天，在中共上海市委金融委員會(huì)辦公室、上海市經(jīng)濟(jì)和信息化委員會(huì)指導(dǎo)下，上海市人工智能行業(yè)協(xié)會(huì)和上海金融業(yè)聯(lián)合會(huì)聯(lián)合發(fā)布全國(guó)首個(gè)以金融業(yè)務(wù)能力為核心的團(tuán)體標(biāo)準(zhǔn)《金融大模型應(yīng)用評(píng)測(cè)指南》，上海庫(kù)帕思科技有限公司發(fā)布多維度金融大模型評(píng)測(cè)數(shù)據(jù)集（2024版）。

  《金融大模型應(yīng)用評(píng)測(cè)指南》以金融業(yè)務(wù)為核心，從模型基礎(chǔ)、金融安全與價(jià)值對(duì)齊、金融風(fēng)險(xiǎn)控制、金融專(zhuān)業(yè)認(rèn)知、金融業(yè)務(wù)輔助拓展等5個(gè)維度185項(xiàng)指標(biāo)要求著手，構(gòu)建了金融領(lǐng)域大模型的能力測(cè)評(píng)框架，同時(shí)給出了相關(guān)的評(píng)測(cè)方法與工具以及評(píng)測(cè)分級(jí)標(biāo)準(zhǔn)。

  以模型基礎(chǔ)能力方面為例，圍繞模型基礎(chǔ)理解和推演功能，指南定義了包括文本分類(lèi)、信息抽取等在內(nèi)的11項(xiàng)單模態(tài)，圖文檢索、視頻問(wèn)答等在內(nèi)的6項(xiàng)多模態(tài)指標(biāo)要求。金融安全與價(jià)值對(duì)齊能力方面，圍繞模型的可靠性、可解釋性以及隱私保護(hù)，指南設(shè)計(jì)了內(nèi)容合規(guī)、文化價(jià)值、倫理價(jià)值等在內(nèi)的9項(xiàng)指標(biāo)要求。

  金融大模型評(píng)測(cè)數(shù)據(jù)集（2024版）是用于評(píng)測(cè)金融領(lǐng)域大模型應(yīng)用成效的重要抓手。金融機(jī)構(gòu)比照《金融大模型應(yīng)用評(píng)測(cè)指南》能力測(cè)評(píng)框架，共設(shè)計(jì)評(píng)測(cè)數(shù)據(jù)44000余句對(duì)，幫助大模型“跑數(shù)據(jù)”。據(jù)介紹，評(píng)測(cè)數(shù)據(jù)集比照最高水平、最好標(biāo)準(zhǔn)，具有規(guī)模大、結(jié)構(gòu)優(yōu)、價(jià)值對(duì)齊等特點(diǎn)，符合金融領(lǐng)域?qū)χR(shí)鮮活度、多樣性和高密度的整體要求。后續(xù)，金融評(píng)測(cè)數(shù)據(jù)集將定期更新，樣例集已在Open Data Lab和開(kāi)放原子社區(qū)發(fā)布。