這項(xiàng)由武漢大學(xué)人工智能學(xué)院的謝倩倩教授領(lǐng)導(dǎo)的研究團(tuán)隊在2025年8月發(fā)表，論文題為《From Scores to Skills: A Cognitive Diagnosis Framework for Evaluating Financial Large Language Models》，該研究首次將教育心理學(xué)中的認(rèn)知診斷理論引入到金融AI評估領(lǐng)域。有興趣深入了解的讀者可以通過GitHub項(xiàng)目頁面https://github.com/WHUNextGen/FinCDM訪問完整研究成果。

當(dāng)我們?nèi)メt(yī)院體檢時，醫(yī)生不會只告訴你"身體狀況70分"就完事，而是會詳細(xì)檢查你的心臟、肝臟、肺部各個器官的具體情況，告訴你哪里健康、哪里需要注意。但令人意外的是，在評估金融AI模型時，我們卻一直在用那種簡單粗暴的"總分"方式。

考慮這樣一個場景：兩個學(xué)生都考了80分，但一個是因?yàn)閿?shù)學(xué)好語文差，另一個是語文好數(shù)學(xué)差。如果只看總分，我們永遠(yuǎn)不知道該給他們推薦什么樣的補(bǔ)習(xí)班。武漢大學(xué)的研究團(tuán)隊發(fā)現(xiàn)，評估金融AI模型時也存在完全相同的問題。目前所有的評估方法都只給出一個總體得分，比如"在金融問答任務(wù)上準(zhǔn)確率85%"，但這個分?jǐn)?shù)完全無法告訴我們這個AI在具體的金融知識點(diǎn)上表現(xiàn)如何。

研究團(tuán)隊通過深入分析現(xiàn)有評估方法發(fā)現(xiàn)了兩個關(guān)鍵問題。第一個問題他們稱為"分?jǐn)?shù)扁平化"，就像把一幅色彩豐富的畫壓縮成一個灰度值一樣，所有的細(xì)節(jié)信息都丟失了。舉個例子，GPT-4o和專門的金融AI模型FinMA在某個金融測試上得分差不多，但實(shí)際上GPT-4o更擅長數(shù)值計算（比如計算現(xiàn)金流變化），而FinMA更擅長識別金融概念（比如辨認(rèn)什么是股東權(quán)益）。傳統(tǒng)評估方法完全掩蓋了這些重要差異。

第二個問題是"覆蓋不平衡"，就像一個偏食嚴(yán)重的體檢項(xiàng)目，只檢查心臟和肺，完全忽略肝臟和腎臟。現(xiàn)有的金融AI測試題目嚴(yán)重偏向某些特定領(lǐng)域，比如大部分題目都在問總收入和凈利潤，而稅務(wù)、法規(guī)等同樣重要的領(lǐng)域卻很少涉及。這就導(dǎo)致我們對AI模型能力的了解存在嚴(yán)重盲區(qū)。

為了解決這個問題，研究團(tuán)隊開發(fā)出了一套全新的評估框架，他們稱之為FinCDM（金融認(rèn)知診斷模型）。這個框架的靈感來自教育心理學(xué)中的認(rèn)知診斷理論，就像一個超級精細(xì)的醫(yī)學(xué)檢查設(shè)備，能夠準(zhǔn)確診斷出AI模型在每個具體金融知識點(diǎn)上的掌握情況。

想象你是一個經(jīng)驗(yàn)豐富的教師，面對一群學(xué)生的考試答卷。傳統(tǒng)方法只告訴你每個學(xué)生的總分，但FinCDM就像擁有透視眼的老師，能夠從學(xué)生的答題模式中推斷出他們對每個知識點(diǎn)的掌握程度。如果一個學(xué)生在所有涉及"資產(chǎn)負(fù)債表"的題目上都答錯了，不管這些題目表面上看起來多么不同，這個框架就能識別出學(xué)生在這個特定知識點(diǎn)上存在缺陷。

FinCDM的工作原理可以用拼圖游戲來類比。每道測試題就像一塊拼圖，需要多個知識技能才能完成。比如一道關(guān)于企業(yè)財務(wù)分析的題目，可能需要會計知識、稅法知識和財務(wù)分析技能這三塊"拼圖"。如果一個AI模型缺少其中任何一塊，就無法正確回答這道題。通過分析大量題目的答題模式，F(xiàn)inCDM能夠反推出每個模型具體缺少哪些"拼圖塊"。

一、構(gòu)建全面的金融知識地圖

為了實(shí)現(xiàn)精準(zhǔn)診斷，研究團(tuán)隊首先需要構(gòu)建一個全面的金融知識框架。他們選擇了注冊會計師（CPA）考試作為基礎(chǔ)，這就像選擇了一個被廣泛認(rèn)可的"標(biāo)準(zhǔn)體檢項(xiàng)目單"。CPA考試涵蓋了會計、審計、財務(wù)成本管理、公司戰(zhàn)略與風(fēng)險管理、經(jīng)濟(jì)法和稅法六大核心領(lǐng)域，基本覆蓋了金融專業(yè)人士需要掌握的所有重要知識。

基于CPA考試的內(nèi)容和技能規(guī)格說明，研究團(tuán)隊梳理出了70個核心金融概念，就像建立了一個包含70個房間的知識大廈。這些概念從基礎(chǔ)的"固定資產(chǎn)"、"負(fù)債"，到復(fù)雜的"長期投資決策"、"企業(yè)合并"，形成了一個完整的知識網(wǎng)絡(luò)。每個概念都有明確的定義和邊界，確保診斷結(jié)果的準(zhǔn)確性。

為了確保這個知識框架的質(zhì)量，研究團(tuán)隊采用了嚴(yán)格的專家標(biāo)注流程。三位金融領(lǐng)域?qū)＜遥òㄒ幻究粕?、一名研究生和一名副教授）組成了標(biāo)注團(tuán)隊，就像三個不同經(jīng)驗(yàn)層次的醫(yī)生共同會診。對于70個金融概念中的每一個，三位專家都要獨(dú)立創(chuàng)建三道不同的測試題，確保從多個角度全面考察該概念。

這個標(biāo)注過程就像制作一道復(fù)雜菜品，需要多道工序和質(zhì)量檢查。首先，每位專家根據(jù)指定的金融概念創(chuàng)建題目，確保題目清晰、準(zhǔn)確且沒有歧義。然后，其他兩位專家要獨(dú)立檢查這些題目，評估其相關(guān)性、清晰度以及與預(yù)期概念的匹配程度。如果出現(xiàn)分歧，三人會進(jìn)行討論直到達(dá)成一致。

研究團(tuán)隊還建立了嚴(yán)格的質(zhì)量控制標(biāo)準(zhǔn)，就像工廠的質(zhì)檢流程。他們使用Krippendorff's alpha等專業(yè)指標(biāo)來衡量專家之間的一致性，結(jié)果顯示一致性達(dá)到了0.937，這是一個非常高的水平，說明專家們對題目質(zhì)量和知識點(diǎn)歸屬的判斷高度一致。最終，他們構(gòu)建了包含210道高質(zhì)量題目的CPA-KQA數(shù)據(jù)集，為精準(zhǔn)診斷提供了可靠的"檢測工具"。

二、揭示傳統(tǒng)評估的盲區(qū)

為了更好地展示現(xiàn)有評估方法的局限性，研究團(tuán)隊還對廣泛使用的FinEval基準(zhǔn)測試進(jìn)行了重新標(biāo)注。這就像給一個老舊的體檢設(shè)備安裝新的診斷軟件，看看能發(fā)現(xiàn)什么新問題。

通過用他們的70個金融概念框架重新審視FinEval中的101道會計相關(guān)題目，研究團(tuán)隊發(fā)現(xiàn)了一個令人驚訝的現(xiàn)象：這些題目的分布極不均勻，就像一個偏食嚴(yán)重的營養(yǎng)餐。在FinEval中，"金融工具"這個概念被考了13次，而很多同樣重要的概念卻完全沒有涉及，形成了嚴(yán)重的評估盲區(qū)。

這種不平衡會導(dǎo)致什么問題呢？想象一下，如果學(xué)校考試只考語文和數(shù)學(xué)，從不考英語和科學(xué)，那么一個英語很好但數(shù)學(xué)很差的學(xué)生可能會被錯誤地評價為"學(xué)習(xí)能力差"。同樣地，如果金融AI評估只關(guān)注某些熱門概念，那些在冷門但重要領(lǐng)域表現(xiàn)出色的模型就會被埋沒。

相比之下，CPA-KQA數(shù)據(jù)集在70個概念上保持了相對均衡的分布，就像一份營養(yǎng)均衡的體檢套餐。這種平衡設(shè)計能夠更公正、全面地評估AI模型的金融知識掌握情況，避免因?yàn)闇y試偏向而產(chǎn)生的誤導(dǎo)性結(jié)論。

三、認(rèn)知診斷的技術(shù)原理

FinCDM的核心技術(shù)原理可以用一個精密的推理游戲來解釋。假設(shè)你面前有一個巨大的拼圖，每個AI模型都在嘗試完成不同的拼圖片段，而你需要從他們的成功和失敗模式中推斷出每個模型具體擁有哪些"拼圖技能"。

整個診斷過程基于一個關(guān)鍵假設(shè)：如果一個AI模型能夠正確回答某道題目，說明它掌握了解決這道題目所需的所有知識技能；如果答錯了，說明它在某些必需的知識點(diǎn)上存在缺陷。通過觀察大量題目的回答模式，系統(tǒng)就能逐步推斷出每個模型的知識掌握"地圖"。

從數(shù)學(xué)角度來看，F(xiàn)inCDM使用了一種叫做"非負(fù)矩陣共分解"的技術(shù)。這個聽起來復(fù)雜的名詞其實(shí)可以用簡單的比喻來理解：想象你有一個巨大的答題成績表，行是題目，列是AI模型，每個格子里是對錯記錄。FinCDM的任務(wù)就是將這個大表格分解成三個更簡單的小表格：一個描述每道題目需要哪些技能，一個描述每個模型掌握各項(xiàng)技能的程度，還有一個描述技能與知識概念之間的對應(yīng)關(guān)系。

這種分解過程就像考古學(xué)家從破碎的文物片段中重建古代文明的全貌。通過巧妙的數(shù)學(xué)推理，系統(tǒng)能夠從看似雜亂的答題數(shù)據(jù)中提取出清晰的知識掌握模式。每個AI模型都會得到一個詳細(xì)的"技能檔案"，顯示它在70個金融概念上的掌握程度，就像一個多維度的能力雷達(dá)圖。

四、大規(guī)模模型評估的驚人發(fā)現(xiàn)

研究團(tuán)隊將FinCDM應(yīng)用于30個不同的AI模型，包括GPT-4、Claude、Gemini等知名的通用模型，以及專門為金融領(lǐng)域開發(fā)的特化模型。這次大規(guī)模測試就像給30位不同背景的"學(xué)生"進(jìn)行全面體檢，結(jié)果揭示了許多令人意外的發(fā)現(xiàn)。

最令人印象深刻的發(fā)現(xiàn)是模型間的"隱藏差異"現(xiàn)象。表面上看起來表現(xiàn)相似的模型，實(shí)際上在具體知識領(lǐng)域的掌握上存在巨大差異。比如，Doubao模型在中國特有的法規(guī)制度和專業(yè)會計領(lǐng)域表現(xiàn)突出，而Gemini則在"債務(wù)重組"、"租賃"、"資產(chǎn)負(fù)債表后事項(xiàng)"等通用會計概念上展現(xiàn)出卓越理解力。這兩個模型在傳統(tǒng)的總分評估中可能得分相近，但它們的知識結(jié)構(gòu)完全不同，就像兩個總分相同但特長完全不同的學(xué)生。

另一個重要發(fā)現(xiàn)是"語言資源效應(yīng)"的關(guān)鍵作用。那些在中文語料上訓(xùn)練不足的模型，比如Falcon-7B，不僅在總體準(zhǔn)確率上表現(xiàn)糟糕（只有15%），在具體概念掌握上也幾乎一片空白。這說明充分的語言基礎(chǔ)是掌握專業(yè)領(lǐng)域知識的前提條件，就像一個不懂中文的外國人很難理解中國的法律條文一樣。

研究還揭示了現(xiàn)有基準(zhǔn)測試的嚴(yán)重不足。通過概念級別的分析，研究團(tuán)隊發(fā)現(xiàn)傳統(tǒng)測試嚴(yán)重忽視了一些關(guān)鍵但復(fù)雜的金融概念，比如遞延稅負(fù)債、租賃分類、監(jiān)管比率等。這些概念在實(shí)際金融工作中極其重要，但在現(xiàn)有測試中幾乎見不到，導(dǎo)致我們對AI模型在這些關(guān)鍵領(lǐng)域的能力完全不了解。

五、模型聚類與行為模式識別

通過分析不同模型在70個金融概念上的掌握模式，研究團(tuán)隊還發(fā)現(xiàn)了一個有趣的現(xiàn)象：某些模型會表現(xiàn)出相似的"學(xué)習(xí)偏好"，形成不同的能力集群。這就像在一個班級里，有些學(xué)生在理科方面相似，有些在文科方面相似，反映出不同的知識獲取和處理策略。

比如，GPT-3.5和DeepSeek-VL在財務(wù)報告和估值分析方面表現(xiàn)出相似的優(yōu)勢，它們都擅長處理數(shù)字化的、計算密集型的金融任務(wù)。而FinGPT和FinQwen則在監(jiān)管要求和宏觀經(jīng)濟(jì)推理方面展現(xiàn)出一致的能力，反映出它們在處理政策性、法規(guī)性內(nèi)容方面的特長。

這種聚類模式不是偶然的，而是反映了不同模型訓(xùn)練數(shù)據(jù)和優(yōu)化目標(biāo)的差異。通過識別這些模式，我們可以更好地理解不同AI模型的"個性"特征，為特定應(yīng)用場景選擇最合適的模型。比如，如果你需要處理大量的財務(wù)計算工作，選擇第一類模型可能更合適；如果你需要分析政策變化的影響，第二類模型可能是更好的選擇。

六、技術(shù)方法的有效性驗(yàn)證

為了驗(yàn)證FinCDM方法的有效性，研究團(tuán)隊進(jìn)行了詳細(xì)的技術(shù)比較和案例研究。他們將自己的方法與其他認(rèn)知診斷技術(shù)進(jìn)行了對比，包括神經(jīng)網(wǎng)絡(luò)類方法和圖神經(jīng)網(wǎng)絡(luò)方法。結(jié)果顯示，基于矩陣共分解的FinCDM方法在準(zhǔn)確率、AUC值和誤差控制方面都顯著優(yōu)于其他方法，準(zhǔn)確率提升了17.7個百分點(diǎn)。

研究團(tuán)隊還進(jìn)行了一個特別有說服力的案例研究。他們選擇了Claude 3.5模型，重點(diǎn)分析其在F3和F5兩個概念（分別是消費(fèi)稅法和個人所得稅法）上的表現(xiàn)。FinCDM診斷顯示這個模型在這兩個概念上掌握不足，進(jìn)一步檢查發(fā)現(xiàn)，Claude 3.5確實(shí)在相關(guān)的6道題目上全部答錯了。

更有趣的是，研究團(tuán)隊邀請了5位注冊審計師專家來獨(dú)立驗(yàn)證這個診斷結(jié)果。這5位專家在不知道原始標(biāo)簽的情況下，獨(dú)立判斷這6道題目主要考察什么概念。結(jié)果顯示，其中4位專家的判斷與FinCDM的診斷完全一致，第5位專家的判斷也非常接近。專家間的一致性達(dá)到0.80，這個高一致性強(qiáng)有力地證明了FinCDM診斷結(jié)果的可靠性。

七、對未來的啟示和應(yīng)用前景

這項(xiàng)研究的意義遠(yuǎn)不止于提供一個更好的評估工具，它實(shí)際上開啟了AI模型評估的新范式。傳統(tǒng)的"一刀切"評估方式就像用一把尺子測量所有東西，而FinCDM提供了一整套精密的測量儀器，能夠針對不同維度進(jìn)行精確測量。

對于AI模型的開發(fā)者來說，這種詳細(xì)的診斷信息極其寶貴。以前他們只知道模型"在金融任務(wù)上表現(xiàn)一般"，現(xiàn)在他們可以精確知道模型在哪些具體概念上需要改進(jìn)。這就像醫(yī)生能夠告訴病人具體哪個器官有問題，而不是簡單地說"身體不太好"。開發(fā)者可以據(jù)此調(diào)整訓(xùn)練數(shù)據(jù)，針對性地改進(jìn)模型在薄弱環(huán)節(jié)的表現(xiàn)。

對于需要選擇AI模型的企業(yè)用戶來說，F(xiàn)inCDM提供了前所未有的選擇指導(dǎo)。不同的業(yè)務(wù)場景需要不同的知識技能組合，現(xiàn)在他們可以根據(jù)自己的具體需求，選擇在相關(guān)概念上表現(xiàn)最好的模型。比如，專門做稅務(wù)咨詢的公司可以選擇在稅法相關(guān)概念上表現(xiàn)出色的模型，而投資銀行可能更需要在估值和風(fēng)險管理方面強(qiáng)的模型。

從更廣闊的視角來看，這種認(rèn)知診斷方法不僅適用于金融領(lǐng)域，還可以推廣到醫(yī)療、法律、教育等其他專業(yè)領(lǐng)域。每個領(lǐng)域都可以建立自己的概念框架和診斷體系，形成一個更加精細(xì)、可靠的AI能力評估生態(tài)系統(tǒng)。

研究團(tuán)隊已經(jīng)將所有數(shù)據(jù)集和評估腳本公開發(fā)布，這意味著其他研究者可以在此基礎(chǔ)上繼續(xù)改進(jìn)和擴(kuò)展這個框架。未來我們可能會看到更多語言版本、更多專業(yè)領(lǐng)域的認(rèn)知診斷工具，最終形成一個全面的AI能力"體檢中心"。

這項(xiàng)研究還為AI模型的"個性化訓(xùn)練"提供了新思路。就像個性化醫(yī)療根據(jù)每個人的基因特征制定專門的治療方案一樣，未來我們可能能夠根據(jù)每個AI模型的具體知識缺陷，制定個性化的訓(xùn)練策略，讓每個模型都能在自己的優(yōu)勢領(lǐng)域發(fā)揮最大價值。

說到底，F(xiàn)inCDM最重要的貢獻(xiàn)在于改變了我們看待AI能力的方式。它告訴我們，AI模型不是簡單的"好"與"壞"，而是復(fù)雜的、多維度的智能系統(tǒng)，每個模型都有自己獨(dú)特的知識結(jié)構(gòu)和能力特征。只有深入了解這些特征，我們才能更好地利用AI技術(shù)，讓它們在合適的地方發(fā)揮合適的作用。

這種精細(xì)化的評估方法也為AI的可解釋性研究提供了新方向。當(dāng)我們能夠準(zhǔn)確知道一個AI模型具體掌握了哪些知識、缺少哪些技能時，它的行為就變得更加可預(yù)測和可信任。這對于金融這樣的高風(fēng)險領(lǐng)域尤其重要，因?yàn)樵谶@里，了解AI的能力邊界往往比了解它能做什么更加關(guān)鍵。

Q&A

Q1：FinCDM是什么？它和傳統(tǒng)的AI評估方法有什么不同？

A：FinCDM是武漢大學(xué)開發(fā)的金融AI認(rèn)知診斷框架，就像給AI做全面體檢一樣。傳統(tǒng)方法只給AI一個總分（比如"金融任務(wù)80分"），而FinCDM能詳細(xì)診斷AI在70個具體金融概念上的掌握情況，告訴你AI具體在哪些知識點(diǎn)上強(qiáng)或弱，就像醫(yī)生告訴你心臟好但肝臟有問題一樣精確。

Q2：為什么需要對金融AI進(jìn)行這種精細(xì)化評估？

A：因?yàn)楝F(xiàn)有評估方法存在嚴(yán)重問題。研究發(fā)現(xiàn)，兩個總分相同的AI模型實(shí)際能力可能完全不同，一個擅長數(shù)值計算，另一個擅長概念識別。而且傳統(tǒng)測試覆蓋不全面，大量重要的金融概念（如稅務(wù)、法規(guī)）很少被測到。精細(xì)化評估能幫助企業(yè)根據(jù)具體需求選擇合適的AI，避免用錯模型造成損失。

Q3：CPA-KQA數(shù)據(jù)集有什么特別之處？

A：CPA-KQA是基于注冊會計師考試構(gòu)建的全面金融知識測試集，包含70個核心金融概念和210道高質(zhì)量題目。與現(xiàn)有測試不同，它保持了概念分布的均衡性，避免了某些概念被過度測試而其他重要概念被忽視的問題。所有題目都經(jīng)過三位金融專家嚴(yán)格標(biāo)注和交叉驗(yàn)證，確保質(zhì)量可靠。