G0阿里云

大金融模型新篇章

NewChapterofFinancialLLM

作者

張翅

阿里云智能集團(tuán)副總裁

新金融行業(yè)總經(jīng)理

簡(jiǎn)介

張翅先生曾經(jīng)在螞蟻金服智能科技團(tuán)隊(duì)負(fù)責(zé)螞蟻金服

科技產(chǎn)品的開(kāi)放合作，推動(dòng)內(nèi)部技術(shù)產(chǎn)品化和金融行

業(yè)數(shù)字化轉(zhuǎn)型.從17年開(kāi)始先后負(fù)責(zé)了從銀行、保

險(xiǎn)、證券到金融服務(wù)等多個(gè)重要客戶的數(shù)字化項(xiàng)目，

深耕金融科技、云原牛.分布式架構(gòu)、移動(dòng)平臺(tái)、大數(shù)

據(jù)、人工智能、區(qū)塊鏈等數(shù)字金融技術(shù)領(lǐng)域。在加入

阿里云和螞蟻金服前，張翅先生先后供職于甲骨文、

Pivotal,領(lǐng)導(dǎo)參與了多個(gè)重大項(xiàng)目的建設(shè)，擁有卡富

的企業(yè)架構(gòu)設(shè)計(jì)、1T戰(zhàn)略規(guī)劃、產(chǎn)品研發(fā)及團(tuán)隊(duì)管理

等專業(yè)經(jīng)驗(yàn)。

GO阿里云

FOREWARD1一］阿里云

山不讓塵，川不辭盈。2024年是互聯(lián)網(wǎng)進(jìn)入中國(guó)的第30個(gè)年頭，中國(guó)金融行業(yè)也走過(guò)了金融科技和數(shù)字化

的10個(gè)年頭?？萍冀鹑谶@篇大文章正方興未艾，智能金融隨著大模型日新月異發(fā)展突然按下了加速鍵。如果將過(guò)

去一年大模型的發(fā)展比作《三體》中描述的“技術(shù)爆炸”，正形象地展現(xiàn)出了AI領(lǐng)域前所未有的快速變革。這種爆

炸式增長(zhǎng)不僅僅是技術(shù)參數(shù)的簡(jiǎn)單膨脹，更是整個(gè)技術(shù)生態(tài)、商業(yè)應(yīng)用以及社會(huì)影響層面深刻變化的綜合體現(xiàn)。在這

個(gè)發(fā)展過(guò)程中，我們看到了如浪潮般涌現(xiàn)的新技術(shù)核心要素與傳統(tǒng)IT發(fā)展規(guī)律的交織：

?摩爾定律的延伸與挑戰(zhàn)：雖然摩爾定律近年來(lái)面臨物理極限挑戰(zhàn)，但通過(guò)創(chuàng)新架構(gòu)（如GPU、

TPU）、分布式計(jì)算以及算法優(yōu)化，讓大模型的發(fā)展有機(jī)會(huì)遵循類似的加速發(fā)展軌跡，變革性實(shí)現(xiàn)計(jì)算效率和模

型規(guī)模的雙重躍升。

?安迪-比爾定律的演變：在大模型場(chǎng)景卜，這一規(guī)律體現(xiàn)為模型規(guī)模和復(fù)雜度的增加，不斷馱動(dòng)著對(duì)更強(qiáng)大

算力和存儲(chǔ)的需求，同時(shí)也激發(fā)了云計(jì)算的快速發(fā)展，以確?；A(chǔ)設(shè)施能跟上AI應(yīng)用的需求步伐。

今年以來(lái)，走遍中華大地拜訪過(guò)上千家金融機(jī)構(gòu)，我們發(fā)現(xiàn)，金融行業(yè)并不缺乏大模型應(yīng)用的場(chǎng)景，但是有

限的算力、持續(xù)迭代的大模型開(kāi)源和商業(yè)化生態(tài)，加之金融行業(yè)對(duì)數(shù)據(jù)安全、風(fēng)險(xiǎn)控制、合規(guī)性以及精準(zhǔn)決策有著

極高的要求，使得金融行業(yè)的大模型之路進(jìn)入前所未有的選擇陷阱。金融行業(yè)正處于數(shù)字化轉(zhuǎn)型和采用云原生技術(shù)

的關(guān)鍵時(shí)期，這?過(guò)程中，大模型的引入無(wú)疑增加了額外的復(fù)雜性，但也帶來(lái)了前所未有的機(jī)遇。在過(guò)去的?年，大

礴型加持的金融代碼能力、金融多模態(tài)能力、金融信息閱讀理解能力、金融信息抽取分類加工能力、金融風(fēng)險(xiǎn)管理

能力在金融行為學(xué)、金融市場(chǎng)與投資學(xué)、零售金融、公司金融、財(cái)富資管、大健康、大投研等等各個(gè)金融數(shù)字化領(lǐng)

域都有了星星之火一樣的嘗試。

隨著大模型技術(shù)的成熟，從基于數(shù)據(jù)集的開(kāi)發(fā)轉(zhuǎn)向基于大規(guī)模預(yù)訓(xùn)練模型的應(yīng)用工程體系，我們可以想象未來(lái)

大模型通過(guò)API化與云原生環(huán)境下的金融業(yè)務(wù)流程與技術(shù)架構(gòu)的深度整合，從而解決一些從前我們不敢想象的融合問(wèn)

題，比如金融模型應(yīng)用的成本效率與穩(wěn)定性，金融知識(shí)的準(zhǔn)確及專業(yè)性、金融合格的嚴(yán)謹(jǐn)可解釋性等。不僅如此，

云原生和大模型融合的新范式，非常需要新的大模型應(yīng)用平臺(tái)降低從特定領(lǐng)域到廣泛場(chǎng)景到AI應(yīng)用的門援。本文取

名“百煉成金一大金融模型新篇章”，“百煉"彳密反復(fù)錘煉、磨礪，達(dá)到精熟完美的大模型工具鏈，“點(diǎn)金”象征著創(chuàng)造價(jià)

，立、實(shí)現(xiàn)質(zhì)變的大模型應(yīng)用集。百煉必定成金，新質(zhì)生產(chǎn)力會(huì)催生新質(zhì)勞動(dòng)力，謹(jǐn)以此文拋磚引玉，希望與業(yè)內(nèi)的

各位朋友?同探討如何積極擁抱并運(yùn)用大模型技術(shù)，以應(yīng)對(duì)和駕馭不斷變化的市場(chǎng)環(huán)境，實(shí)現(xiàn)科技金融持續(xù)穩(wěn)定的

遑質(zhì)增效和創(chuàng)新發(fā)展，攜手開(kāi)啟金融大模型未來(lái)新篇章。

張翅

阿里云智能集團(tuán)副總裁

新金融行業(yè)總經(jīng)理

百煉成金I大金融模型新篇章

RECOMMEND1一］阿里云

推薦語(yǔ)

在數(shù)字化浪潮中，金融行業(yè)正經(jīng)歷著前所未有的變革?！栋贌挸山?大金融模型新篇章》為我們揭開(kāi)了AI大

模型在金融領(lǐng)域應(yīng)用的神秘面紗，深入探討了AI大模型如何成為數(shù)字轉(zhuǎn)型時(shí)代的重要驅(qū)動(dòng)力，并詳細(xì)討論了其在金

融領(lǐng)域的具體應(yīng)用。從智能投顧到風(fēng)險(xiǎn)管理，大模型技術(shù)正不斷推動(dòng)金融業(yè)務(wù)流程的智能化和創(chuàng)新。

《百煉成金-大金融模型新篇章》不僅分析了A1大模型的發(fā)展趨勢(shì)，還深入探討了金融企業(yè)在采納大模型技

術(shù)時(shí)面臨的挑戰(zhàn)。作者提出了金融級(jí)A1原生的六大要素，包括可靠性、低延時(shí)、擴(kuò)展性、安全性、準(zhǔn)確性和開(kāi)放性,

為金融行業(yè)AI應(yīng)用的安全性和有效性提供了重要參考。這些要素對(duì)于痂保金融行業(yè)在利用AI大模型時(shí)能夠滿足行業(yè)

特有的嚴(yán)格要求至關(guān)重要。

報(bào)告通過(guò)深刻的行業(yè)洞察、豐富的案例分析以及前脂性的技術(shù)討論，為金融企業(yè)提供了金融大模里應(yīng)用的路

線圖和實(shí)踐指南。相信無(wú)論是金融行業(yè)的專業(yè)人士，還是對(duì)金融科技充滿熱情的學(xué)者和研究者，都能從這個(gè)報(bào)告中

獲得深刻的洞見(jiàn)和啟發(fā)。

曾剛

上海金融與發(fā)展實(shí)驗(yàn)室主任

國(guó)家金融與發(fā)展實(shí)驗(yàn)室副主任

在全球科技巨擘競(jìng)逐的“萬(wàn)模大戰(zhàn)”中，金融行業(yè)逐漸成為大模型技術(shù)的重要應(yīng)用場(chǎng)景。通過(guò)持續(xù)創(chuàng)新和優(yōu)化,

生成式大模型在金融領(lǐng)域展現(xiàn)出了巨大的潛力和廣泛的應(yīng)用前景。本文從大模型的技術(shù)發(fā)展趨勢(shì)和金融行業(yè)面臨的

實(shí)際痛點(diǎn)出發(fā)，通過(guò)翔實(shí)的研究、嚴(yán)密的分析、深刻的洞察，定義了金融級(jí)Ai原生的六大要素，并結(jié)合金融業(yè)務(wù)全

流程鏈條，針對(duì)實(shí)際落地場(chǎng)景，提供了一?系列AI原生應(yīng)用實(shí)施路徑建議，在金融行業(yè)的數(shù)智化發(fā)展建設(shè)方面，具備良好的

言迪和借鑒意義。相信隨著大模型技術(shù)的不斷進(jìn)步，金融AI應(yīng)用的廣度和深度將進(jìn)一步拓展，為行業(yè)帶來(lái)全新的發(fā)

展機(jī)遇和變革力量。

肖京

平安集團(tuán)首席科學(xué)家

生成式大模型技術(shù)的突破將為產(chǎn)業(yè)發(fā)展注入新的動(dòng)能，也為改變未來(lái)生活帶來(lái)了無(wú)限的想象空間，金融業(yè)是

大模型應(yīng)用的重要戰(zhàn)場(chǎng)，金融機(jī)構(gòu)紛紛入局，搭建平臺(tái)、訓(xùn)練領(lǐng)域模型、探索場(chǎng)景應(yīng)用。但大模型技術(shù)仍在演進(jìn)過(guò)

程中，尚未形成成熟的技術(shù)解決方案，在產(chǎn)業(yè)應(yīng)用的深度、廣度和效果上仍需突破。木文基于對(duì)大模型發(fā)展趨勢(shì)的

判斷，提出了金融級(jí)AI原生的宏大藍(lán)圖，針對(duì)構(gòu)建藍(lán)圖的六大核心要素，結(jié)合豐富的金融場(chǎng)景案例，給出了系統(tǒng)性

曲建金融級(jí)AI原生應(yīng)用的解決方案。這為金融機(jī)構(gòu)規(guī)劃和實(shí)施大模型戰(zhàn)略、構(gòu)建新?代AI平臺(tái)、建設(shè)安全可信的AI

原生應(yīng)用提供了全面性指導(dǎo)，具有重要的參考價(jià)值。金融是用戶、知識(shí)、服務(wù)密集型行業(yè)，相信云十大數(shù)據(jù)

+AI大模型的組合一定會(huì)為金融業(yè)帶來(lái)生產(chǎn)力質(zhì)的提升和用戶體驗(yàn)質(zhì)的飛躍。

王磊

太保集團(tuán)數(shù)智研究院院長(zhǎng)

百煉成金I大金融模型新篇章

01大模型發(fā)展背景與趨勢(shì)01

大模型是DT時(shí)代標(biāo)志性產(chǎn)物02

大模型發(fā)展的趨勢(shì)03

02金融企業(yè)擁抱大模型面臨的挑戰(zhàn)08

問(wèn)題1:“有限算力+持續(xù)進(jìn)化的算力”，雙重制約下的算力資源09

問(wèn)題2:“開(kāi)源模型vs商業(yè)模型”，左右互搏的自建大模型之路10

問(wèn)題3:“大模型vs越來(lái)越大的模型"，模型SIZE的軍備競(jìng)賽11

問(wèn)題4:“大模型RAG一天入門vs365天的持續(xù)優(yōu)化"，RAG系統(tǒng)的修行12

問(wèn)題5:“殺手級(jí)通用大模型vs百花齊放專屬大模型”，企業(yè)級(jí)AI應(yīng)用的價(jià)值自證？13

問(wèn)題6:“大模型廣泛應(yīng)用vs應(yīng)用安全隱患”，大模型面臨的安全挑戰(zhàn)14

03金融級(jí)AI原生的要素與藍(lán)圖15

金融級(jí)AI原生的發(fā)展16

金融級(jí)AI原生的六大要素17

構(gòu)建金融級(jí)A1原生的藍(lán)圖30

04金融級(jí)AI原生應(yīng)用實(shí)踐34

1、應(yīng)用場(chǎng)景與技術(shù)架構(gòu)選型35

2、AI原生應(yīng)用實(shí)施路徑43

05結(jié)語(yǔ)46

大模型

發(fā)展背景與趨勢(shì)

?大模型是DT時(shí)代標(biāo)志性產(chǎn)物

?大模型發(fā)展的趨勢(shì)

C-D阿里云

大模型發(fā)展背景與趨勢(shì)GO阿里云

大模型是DT時(shí)代標(biāo)志性產(chǎn)物

大模型是數(shù)字轉(zhuǎn)型（DT）時(shí)代的產(chǎn)物，標(biāo)志著人工智能技術(shù)的一次重大突破，尤其是在自

然語(yǔ)言處理（NLP）、圖像識(shí)別、推薦系統(tǒng)等領(lǐng)域。這些大模型，如QpenAI的GPT系列、

MetaL1ama>Goog1e的Gemini,基于Transformer架構(gòu)，通過(guò)消化海量數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，獲

得了對(duì)人類語(yǔ)言、圖像等數(shù)據(jù)的深入理解和處理能力。

知識(shí)@大模型

過(guò)去五千年，人類的知識(shí)過(guò)去五千年，人類的知識(shí)現(xiàn)在，人類的知識(shí)體系

被存儲(chǔ)在文字中被存儲(chǔ)在互聯(lián)網(wǎng)上被構(gòu)建在大語(yǔ)言模型中

楔形文字/甲骨文谷歌/百度大語(yǔ)言模型GPT/BERT

造紙術(shù)/印刷術(shù)維基百科/知乎ChatGPT/通義千問(wèn)

二十四史/大英百科全書(shū)臉書(shū)/m通用人工智能（AGI）

AI大模型：人類知以存儲(chǔ)、傳承和使用方式的一次重構(gòu)

在數(shù)字轉(zhuǎn)型時(shí)代，大模型為企業(yè)提供了前所未有的機(jī)遇，使其能夠通過(guò)高效的數(shù)據(jù)分析和

決策，實(shí)現(xiàn)業(yè)務(wù)流程的智能化、優(yōu)化客戶體驗(yàn)和創(chuàng)新產(chǎn)品服務(wù)。從金融行業(yè)的智能投顧和欺詐

監(jiān)測(cè)，到醫(yī)療行業(yè)的智能診斷和藥物發(fā)現(xiàn)，再到零售行業(yè)的個(gè)性化推薦，大模型的應(yīng)用正深刻

改變著傳統(tǒng)行業(yè)的運(yùn)作模式和價(jià)值鏈。

在《全域數(shù)據(jù)“觀”》一書(shū)中，我們?cè)鴶嘌裕骸睌?shù)據(jù)的下一站是智能，數(shù)據(jù)最終會(huì)走向與業(yè)

務(wù)系統(tǒng)的數(shù)智融合”，數(shù)據(jù)消費(fèi)正在由“人”變成“系統(tǒng)”。未來(lái)數(shù)據(jù)技術(shù)將與云原生和智能化

全面融合，形成“云數(shù)智一體化”服務(wù)。云原生技術(shù)棧，為企業(yè)帶來(lái)了資源彈性、異構(gòu)算力、容器和微

服務(wù)等技術(shù)手段，為業(yè)務(wù)創(chuàng)新和系統(tǒng)建設(shè)提供了高效、敏捷以及成本低、可擴(kuò)展的解決方案；數(shù)

據(jù)中臺(tái)的興起，讓企業(yè)將數(shù)據(jù)庫(kù)里“不會(huì)說(shuō)話”的表格，轉(zhuǎn)換成指標(biāo)、標(biāo)簽、因子、

百煉成金I大金融模型新篇章02

大模型發(fā)展背景與趨勢(shì)GO阿里云

特征等數(shù)據(jù)資產(chǎn)形態(tài)，并直接用于分析與業(yè)務(wù)決策?，F(xiàn)如今，AI大模型正在以驚人的速度重構(gòu)各

行各業(yè)的業(yè)務(wù)流程與系統(tǒng)產(chǎn)品，一方面云原生為大模型訓(xùn)練與推理提供了資源保障，數(shù)據(jù)中臺(tái)為

大模型應(yīng)用提供高質(zhì)量語(yǔ)料和結(jié)構(gòu)化知識(shí)；另一方面在大模型全面“智能涌現(xiàn)”能力的驅(qū)動(dòng)下，

將傳統(tǒng)偏零散化的數(shù)據(jù)能力進(jìn)一步體系化和智能化，加快BI+AI的融合，實(shí)現(xiàn)從“洞見(jiàn)”到“決

策”，推動(dòng)企業(yè)加速走向“云數(shù)智一體化”的終極形態(tài)，最終為客戶帶來(lái)更為全新的產(chǎn)品服務(wù)體

驗(yàn)。

大模型發(fā)展的趨勢(shì)

趨勢(shì)一：“Cloud+AI”

大模型與云的結(jié)合日益緊密

在信息技術(shù)領(lǐng)域，無(wú)疑地，云計(jì)算和人工智能（AI）大模型的快速發(fā)展正FI益成為推動(dòng)現(xiàn)

代社會(huì)進(jìn)步的兩大驅(qū)動(dòng)力。特別是在中國(guó)和美國(guó)，這兩種技術(shù)不僅誕生并蓬勃發(fā)展，還持續(xù)引

領(lǐng)著全球技術(shù)革命的浪潮。隨著時(shí)間的推移，大模型與云計(jì)算的結(jié)合口益緊密，這種融合在推

動(dòng)著科技界走向新的里程碑。

首先，觀察全球技術(shù)發(fā)展格局可以發(fā)現(xiàn)，中國(guó)和美國(guó)無(wú)疑是云技術(shù)和AI大行1（創(chuàng)新

的兩大中心。這兩個(gè)國(guó)家不僅擁有領(lǐng)先的技術(shù)研發(fā)實(shí)力，還具備廣闊的市場(chǎng)應(yīng)用場(chǎng)景和成熟的

產(chǎn)業(yè)生態(tài)，促進(jìn)了云計(jì)算和AI大模型技術(shù)的飛速發(fā)展，并在全球范圍內(nèi)形成了巨大的影響力。

進(jìn)一步而言,大模型的迭代進(jìn)化E要發(fā)生在云端.這是因?yàn)樵朴?jì)算提供了高度可擴(kuò)展的計(jì)

算資源，使得研究人員和開(kāi)發(fā)者能夠在無(wú)需自建龐大物理基礎(chǔ)設(shè)施的情況下，進(jìn)行模型的訓(xùn)練

和部署。云平臺(tái)上的彈性資源和高效管理工具為大模型的開(kāi)發(fā)和優(yōu)化提供了理想的環(huán)境，極大

地加速J'AI大模型的迭代周期，使得模型能夠更快地進(jìn)化和優(yōu)化，更好地適應(yīng)各種復(fù)雜的應(yīng)用需

求。

而且，大模型所遵循的規(guī)模定律（ScalingLaw）規(guī)模定律正重塑著算力基礎(chǔ)設(shè)施。隨著

模型規(guī)模的不斷擴(kuò)大，其對(duì)計(jì)算資源的需求也呈指數(shù)級(jí)增長(zhǎng)，這一現(xiàn)象催生了對(duì)更高性能、更

高效率算力基礎(chǔ)設(shè)施的需求。云計(jì)算平臺(tái)通過(guò)部署先進(jìn)的硬件技術(shù)、優(yōu)化計(jì)算資源分配和加強(qiáng)

百煉成金I大金融模型新篇章03

大模型發(fā)展背景與趨勢(shì)GO阿里云

數(shù)據(jù)處理能力來(lái)應(yīng)對(duì)這一需求，進(jìn)而推動(dòng)了算力基礎(chǔ)設(shè)施的快速進(jìn)化。這種進(jìn)化不僅滿足了當(dāng)

前大模型對(duì)算力的高需求，也為未來(lái)AI技術(shù)的持續(xù)創(chuàng)新和應(yīng)用提供了堅(jiān)實(shí)的支撐。

大模型與云計(jì)算的緊密結(jié)合，不僅體現(xiàn)在中國(guó)和美國(guó)這兩個(gè)技術(shù)強(qiáng)國(guó)的快速發(fā)展上，更在于

云端成為大模型迭代進(jìn)化的主戰(zhàn)場(chǎng)，以及大模型對(duì)算力基礎(chǔ)設(shè)施的重新塑形。這種趨勢(shì)預(yù)示著，未來(lái)

科技的進(jìn)步將在這樣的融合與互動(dòng)中繼續(xù)加速，推動(dòng)人類社會(huì)進(jìn)入?個(gè)全新的智能時(shí)代。

趨勢(shì)二："AIEverywhere”

大模型無(wú)處不在，成為企業(yè)數(shù)字化標(biāo)配

在當(dāng)今的數(shù)字化時(shí)代，大模型技術(shù)以其強(qiáng)大的數(shù)據(jù)處理能力和智能化水平，正逐步成為企

業(yè)數(shù)字化轉(zhuǎn)型的標(biāo)配.其廣泛的應(yīng)用不僅僅局限于傳統(tǒng)的計(jì)算中心，更是與小模型、新終端以

及數(shù)據(jù)中臺(tái)結(jié)合，共同構(gòu)筑起一個(gè)多元化部署與互聯(lián)互通的新生態(tài)，極大地深化了對(duì)數(shù)據(jù)資源

的挖掘與運(yùn)用能力。

首先大模型與小模型的結(jié)合體現(xiàn)了模型部署的多元化。大模型因其強(qiáng)大的學(xué)習(xí)和預(yù)測(cè)能力，

成為許多復(fù)雜任務(wù)的首選。然而，針對(duì)一些對(duì)實(shí)時(shí)性、資源消耗有嚴(yán)格要求的場(chǎng)景，小模型以其

輕量級(jí)、高效率的特性，更為適合。通過(guò)將大模型預(yù)訓(xùn)練的強(qiáng)大認(rèn)知能力與小模型的靈活部署結(jié)

合，企業(yè)能夠更高效、更經(jīng)濟(jì)地解決廣泛的業(yè)務(wù)問(wèn)題，實(shí)現(xiàn)智能決策和操作的優(yōu)化。

接著，大模型「咚端的結(jié)合拓展了模型鏈接的多元化。隨著物聯(lián)網(wǎng)（loT）的蓬勃發(fā)展，

智能終端遍布生活的每一個(gè)角落。大模型不再局限于服務(wù)器端的運(yùn)算，而是通過(guò)云計(jì)算和邊緣

計(jì)算下沉至各種智能終端，如智能手機(jī)、智能家居、自動(dòng)駕駛車輛等。這種變化使得大模型的

應(yīng)用場(chǎng)景得到極大拓展，為用戶帶來(lái)更加豐富、便捷、個(gè)性化的智能服務(wù)。

最后，大模型與數(shù)據(jù)中臺(tái)的標(biāo)合，促進(jìn)了圖像、音視頻、文木據(jù)集的多詞］數(shù)

據(jù)中臺(tái)作為企業(yè)數(shù)據(jù)管理和運(yùn)營(yíng)的核心平臺(tái)，為大模型提供了豐富、高質(zhì)量的數(shù)據(jù)支持，通過(guò)

有效地聚合和整合企業(yè)內(nèi)外的各類數(shù)據(jù)資源，大模型可以在更加多元化的數(shù)據(jù)基礎(chǔ)上進(jìn)行訓(xùn)練

和優(yōu)化，能夠處理和理解更加及雜多變的業(yè)務(wù)場(chǎng)景，如圖像識(shí)別、語(yǔ)音視頻處理、語(yǔ)言應(yīng)用等，從

而極大地提高了企業(yè)的業(yè)務(wù)處理能力和用戶交互體驗(yàn)。

大模型正逐步滲透到企業(yè)數(shù)字化建設(shè)的各個(gè)層面，與小模型、新終端以及數(shù)據(jù)中臺(tái)等多元

化的元素相結(jié)合，進(jìn)一步拓寬了其應(yīng)用范圍，提升了處理效率和智能水平。大模型無(wú)處不在，

已經(jīng)成為推動(dòng)企'也數(shù)字化轉(zhuǎn)型的關(guān)鍵力量。

百煉成金I大金融模型新篇章04

大模型發(fā)展背景與趨勢(shì)GO阿里云

趨勢(shì)三："AINativeSaaSRise”

大模型企業(yè)級(jí)市場(chǎng)崛起，向深度化、產(chǎn)'也化、垂直化方向發(fā)展

大模型技術(shù)的崛起已成為推動(dòng)企業(yè)級(jí)市場(chǎng)向深度化、產(chǎn)業(yè)化、垂直化方向發(fā)展的關(guān)鍵動(dòng)力。

企業(yè)正越來(lái)越傾向于將這?技術(shù)作為核心驅(qū)動(dòng)力，深入挖掘其在特定行業(yè)中的應(yīng)用價(jià)值和潛力，進(jìn)

而實(shí)現(xiàn)智能化升級(jí)與業(yè)務(wù)創(chuàng)新。

首先，大模型在企業(yè)級(jí)市場(chǎng)中的深度化應(yīng)用成為一種不可逆轉(zhuǎn)的曲勢(shì)。它們不僅被應(yīng)用于

優(yōu)化傳統(tǒng)的數(shù)據(jù)處理和分析流程，更在預(yù)測(cè)分析、個(gè)性化服務(wù)、自動(dòng)決策制定等領(lǐng)域中展現(xiàn)出

強(qiáng)大的能力。這種深度化應(yīng)用的背后，是企業(yè)對(duì)于數(shù)據(jù)價(jià)值認(rèn)知的提升以及對(duì)于操作效率和決

策質(zhì)量改進(jìn)的需求。

“小切||,大縱深”的發(fā)展策略，正加速人楨咱仁心定行業(yè)中的亞直化和產(chǎn)業(yè)化落地。企

業(yè)通過(guò)聚焦于行業(yè)的細(xì)分領(lǐng)域，利用大模型深耕特定的痛點(diǎn)和需求，不僅提升了解決方案的適

配性和有效性，也推動(dòng)了整個(gè)行業(yè)的智能化水平。這種策略的實(shí)施，充分顯示了大模型在解決

復(fù)雜行業(yè)問(wèn)題時(shí)的獨(dú)特優(yōu)勢(shì)，促進(jìn)了技術(shù)與行業(yè)深度融合，實(shí)現(xiàn)了產(chǎn)業(yè)升級(jí)。

企業(yè)間的開(kāi)放新形態(tài)，特別是在金融領(lǐng)域涌現(xiàn)的新的OpenBanking模式，為大模型技

術(shù)的應(yīng)用開(kāi)棉了更加廣闊的舞臺(tái)。OpenBanking帶來(lái)的數(shù)據(jù)共享和API開(kāi)放不僅有利于現(xiàn)有

金融服務(wù)的增值，還為金融科技創(chuàng)新和跨行業(yè)合作打開(kāi)了大門。這為大模型技術(shù)的應(yīng)用和發(fā)展

提供了更加廣闊的舞臺(tái)和應(yīng)用場(chǎng)景。

大模型技術(shù)在企業(yè)級(jí)市場(chǎng)的崛起，不僅預(yù)示著企業(yè)對(duì)于數(shù)據(jù)和智能的更深層次應(yīng)用和挖掘，也

引領(lǐng)了向產(chǎn)業(yè)化、垂直化方向的戰(zhàn)略發(fā)展。

趨勢(shì)四："AIAPIFirst”

大模型功能性能力突破性增長(zhǎng)

近段時(shí)間以來(lái)，大模型正在經(jīng)歷功能性能力的快速增長(zhǎng)和重大突破，其中多模態(tài)、Agent

模式以及AssistantAPI成為了推動(dòng)這一進(jìn)程的關(guān)鍵力量，這些技術(shù)革新不僅擴(kuò)展了大模型在不

同領(lǐng)域的應(yīng)用范圍，還為人機(jī)交互和應(yīng)用開(kāi)發(fā)帶來(lái)了新的可能。

8模態(tài)技術(shù)的出現(xiàn)和成熟拓展了大模型的廣度，讓機(jī)器能夠同時(shí)處理和理解文本、圖像、

音頻等多種類型的數(shù)據(jù)，實(shí)現(xiàn)了對(duì)人類溝通方式的更全面理解。這標(biāo)志著A1從處理單一類型數(shù)

百煉成金I大金融模型新篇章05

大模型發(fā)展背景與趨勢(shì)GO阿里云

據(jù)向綜合理解不同數(shù)據(jù)類型的重大進(jìn)步。多模態(tài)大模型在提升信息獲取的全面性和準(zhǔn)確性方面

展示了巨大潛力，極大地豐富了AI在自動(dòng)化內(nèi)容創(chuàng)作、跨媒體信息檢索、以及增強(qiáng)現(xiàn)實(shí)等方面

的應(yīng)用場(chǎng)景。

Agent模式的崛起，成為人類與AI協(xié)作的一種重要方式。在這種模式下，AI可以作為一個(gè)

個(gè)體（agent）,擁有自我學(xué)習(xí)和自主決策的能力，在特定的環(huán)境中根據(jù)既定的目標(biāo)執(zhí)行任務(wù)。這

不僅表明了AI的工作模式正變得更加智能化和個(gè)性化，也為人類提供了強(qiáng)大的助手，從簡(jiǎn)單的

數(shù)據(jù)分析到復(fù)雜的決策制定，AIAgem能夠有效地輔助人類完成各種任務(wù)，推動(dòng)人機(jī)協(xié)作進(jìn)入新

的階段。

AssisumtAPI的推出，為開(kāi)發(fā)者提供「全新的能九大幅降低/開(kāi)發(fā)門檻。通過(guò)簡(jiǎn)單的

API調(diào)用，開(kāi)發(fā)者可以輕松地將大模型的強(qiáng)大功能集成到自己的應(yīng)用或服務(wù)中，無(wú)需深入了解模

型內(nèi)部的復(fù)雜機(jī)埋，即可搭建出智能化程度島、用戶體驗(yàn)好的應(yīng)用產(chǎn)品。這種開(kāi)放的、低門檻的

開(kāi)發(fā)方式，不僅加速了創(chuàng)新應(yīng)用的推出，也讓更多企業(yè)和個(gè)人能夠享受到A1技術(shù)帶來(lái)的紅利。

趨勢(shì)五："AICyberSecurity”

大模型更小:視隱私和數(shù)據(jù)安全

隨著大模型的廣泛應(yīng)用，對(duì)隱私和數(shù)據(jù)安全的重視程度口益搟強(qiáng)。企業(yè)和研究機(jī)構(gòu)正在通

過(guò)實(shí)施一系列措施，來(lái)加強(qiáng)對(duì)用戶數(shù)據(jù)的保護(hù)，確保信息安全和隱私被妥善處理。這些措施的

核心在于構(gòu)建一個(gè)有效、可靠的數(shù)據(jù)管理及隱私防護(hù)框架，確保大模型安全評(píng)估體系的全面性，并

解決AI工作的可解釋性問(wèn)題。

有效的數(shù)據(jù)分類分級(jí)制度成為奠定波據(jù)管小收隱私防護(hù)也架的基礎(chǔ)。通過(guò)對(duì)數(shù)據(jù)進(jìn)行系統(tǒng)

的分類和分級(jí)，明確不同類別數(shù)據(jù)的處理要求和安全標(biāo)準(zhǔn)，可以更加有針對(duì)性地制定保護(hù)措施。這

種方法不僅有助于提升數(shù)據(jù)處理的效率和精準(zhǔn)度，也有利于識(shí)別和保護(hù)那些最敏感和價(jià)值最高

的數(shù)據(jù)，從而有效減少數(shù)據(jù)泄露和濫用的風(fēng)險(xiǎn)。

構(gòu)建一套全面的安全評(píng)。牛系依「人?？审w系至關(guān)重要。這套體系應(yīng)涵蓋大模型訓(xùn)練、部署、

應(yīng)用生命周期的各個(gè)階段，從數(shù)據(jù)的收集、存儲(chǔ)、使用到銷毀等，每個(gè)環(huán)節(jié)都應(yīng)進(jìn)行嚴(yán)格的安全

審查和評(píng)估。通過(guò)定期進(jìn)行安全審計(jì)、漏洞掃描和風(fēng)險(xiǎn)評(píng)估等活動(dòng)，可以及時(shí)發(fā)現(xiàn)和修復(fù)安全漏

洞，強(qiáng)化系統(tǒng)的安全防護(hù)能力，減輕外部攻擊和內(nèi)部泄露的風(fēng)險(xiǎn)。

百煉成金I大金融模型新篇章06

大模型發(fā)展背景與趨勢(shì)

隨著大模型應(yīng)用到越來(lái)越多的場(chǎng)景，其工作的可解釋性問(wèn)題越來(lái)越受到舊視。大模型，特

別是transformer的架構(gòu)被認(rèn)為是“黑盒”，難以解釋其決策邏輯和過(guò)程。增強(qiáng)八1I作的川解

釋性不僅有助于建立用戶對(duì)AI決策的信任，也是確保模型公平、無(wú)偏見(jiàn)的關(guān)鍵。通過(guò)開(kāi)發(fā)和應(yīng)用

新的解釋性技術(shù)和方法，讓7的決策過(guò)程更加透明，可以有效提升模型的公正性和安全性，減少錯(cuò)

誤決誼和偏差帶來(lái)的風(fēng)險(xiǎn).

百煉成金I大金融模型新篇章07

金融企業(yè)擁抱

大模型面臨的挑戰(zhàn)

?問(wèn)題1:“有限算力+持續(xù)進(jìn)化的算力”，雙重制約下的算力資源

?問(wèn)題2:“開(kāi)源模型vs商業(yè)模型”，左右互搏的自建大模型之路

?問(wèn)題3:“大模型vs越來(lái)越大的模型"，模型size的軍備競(jìng)賽

?問(wèn)題4:“大模型RAG一天入門vs365天的持續(xù)優(yōu)化"，RAG系統(tǒng)的修行

?問(wèn)題5:“殺手級(jí)通用大模型vs百花齊放專屬大模型”，企業(yè)級(jí)AI應(yīng)用的價(jià)值自證?

?問(wèn)題6:“大模型廣泛應(yīng)用vs應(yīng)用安全隱患”，大模型面臨的安全挑戰(zhàn)

C-D阿里云

金融企業(yè)擁抱大模型面臨的挑戰(zhàn)GO阿里云

“科技本質(zhì)上是工具，其真正價(jià)值在于解決我們面臨的各種問(wèn)題，而非僅限于自我展示的

華麗舞臺(tái)?！边@一觀點(diǎn)在大模型領(lǐng)域同樣適用且更具象化。我們可以定位大模型：“大模型之

于問(wèn)題，恰似鑰匙之于鎖，其存在的意義在于解鎖通往智慧殿堂的大門，而非僅供觀瞻的浮華

裝飾?！?/p>

大模型在金融領(lǐng)域的廣泛應(yīng)用并非?片坦途，它在為金融機(jī)構(gòu)帶來(lái)顯著價(jià)值增益的同時(shí)，亦

暴露出一系列不容忽視的問(wèn)題與挑戰(zhàn)。這些問(wèn)題不僅關(guān)乎技術(shù)層面的可行性與穩(wěn)定性，更延伸至

合規(guī)、安全、倫理等多個(gè)關(guān)鍵維度，對(duì)金融企業(yè)的穩(wěn)健運(yùn)營(yíng)與長(zhǎng)期發(fā)展構(gòu)成潛在考驗(yàn)。因此，深入探討

金融企業(yè)采用大模型可能面臨的問(wèn)題，對(duì)于理性評(píng)估其戰(zhàn)略價(jià)值，制定科學(xué)的應(yīng)對(duì)策略，乃至推動(dòng)

整個(gè)行業(yè)在技術(shù)創(chuàng)新與風(fēng)險(xiǎn)管理之間找到平衡至關(guān)重要。

問(wèn)題1:“有限算力+持續(xù)進(jìn)化的算力”，

雙重制約下的算力資源

“有限算力+持續(xù)進(jìn)化的算力”，這種雙重制約下的算力資源現(xiàn)狀，體現(xiàn)了大模型時(shí)代中一

個(gè)核心的矛盾和挑戰(zhàn)：如何在當(dāng)前資源的限制之下，同時(shí)規(guī)劃和適應(yīng)不斷進(jìn)化和增強(qiáng)的計(jì)算能力。

這對(duì)應(yīng)用場(chǎng)景選擇、資源投入、大模型部署方式等方面提出了復(fù)雜的要求。

1、第力永遠(yuǎn)短缺：隨著大模型參數(shù)量的持續(xù)膨張，其對(duì)算力資源的消耗顯著增長(zhǎng)。同時(shí)，

在Ai持續(xù)“重塑”業(yè)務(wù)流程的過(guò)程中，對(duì)算力資源的需求也出現(xiàn)了急劇飆升。這兩方面因素相疊

加，共同加劇了現(xiàn)有算力資源供不應(yīng)求的局面，使得算力短缺成為了一個(gè)常態(tài)性的挑戰(zhàn)。

2、硬件高速迭代：GPU每18到24個(gè)月，迭代出一代新產(chǎn)品，配備更先進(jìn)的架構(gòu)和更

強(qiáng)大的計(jì)算能力，而通常采購(gòu)周期都以年為單位，使得我們將不得不面對(duì)，剛上線的算力資源，

就被新一代所淘汰，性價(jià)比下降，同時(shí)還要面對(duì)算力利用率不高，資源極度浪費(fèi)的情況。

3、資源兼容優(yōu)化配置：國(guó)內(nèi)外的不同廠商GPU算力水平參差不齊，技術(shù)框架互不兼容，

整合這些異構(gòu)的資源，管理配置和優(yōu)化算力的使用，將是我們面臨的又?個(gè)挑戰(zhàn)。

百煉成金I大金融模型新篇章09

金融企業(yè)擁抱大模型面臨的挑戰(zhàn)GO阿里云

問(wèn)題2:“開(kāi)源模型vs商業(yè)模型”，左右

互搏的自建大模型之路

在大模型選型之路上，是選擇開(kāi)源模型還是商業(yè)模型？開(kāi)源大模型和開(kāi)源軟件是?回事嗎？

I成熟開(kāi)源軟件與當(dāng)下開(kāi)源模型區(qū)別：

1、成熟開(kāi)源軟件通常是技術(shù)和能力相對(duì)成熟和穩(wěn)定的軟件應(yīng)用和系統(tǒng)，分享的是完整的代

碼庫(kù)和文檔，用戶可以自由地對(duì)與自身業(yè)務(wù)有關(guān)的代碼進(jìn)行修改，一般以使用核心能力為主定

制為輔，版本迭代周期相對(duì)比較慢，同時(shí)也會(huì)規(guī)定了用戶使用軟件的權(quán)利和限制條件。

2、當(dāng)下開(kāi)源模型是專注于數(shù)據(jù)科學(xué)、人工智能和相關(guān)領(lǐng)域，作為數(shù)據(jù)處理和分析的關(guān)鍵組

件，正處于技術(shù)迭代的高速發(fā)展期，一般以月或季度為單位進(jìn)行新版本發(fā)布，并且技術(shù)和能力

持續(xù)性攀升，一般版本開(kāi)源是有限的，無(wú)法按照客戶業(yè)務(wù)進(jìn)行深度的定制，并且全局能力一般

不建議調(diào)整。

|開(kāi)源模型與商業(yè)模型的優(yōu)勢(shì)與不足：

1、開(kāi)源模通常允許用戶審查和驗(yàn)證模型的代碼和架構(gòu)，不需要支付額外的許可費(fèi)用，

能夠通過(guò)社區(qū)迭代升級(jí)。但需要專業(yè)人才研究和業(yè)務(wù)磨合嘗試，周期長(zhǎng)見(jiàn)效慢，缺少專門維護(hù)

和支持，不包含商業(yè)產(chǎn)品中的安全和穩(wěn)定性，文檔和易用性支持較弱，模型升級(jí)迭代周期一般

6-12個(gè)月，業(yè)務(wù)集成應(yīng)用的時(shí)間會(huì)更長(zhǎng)。我們不應(yīng)該拘泥于對(duì)種類繁多參數(shù)的基礎(chǔ)模型進(jìn)行訓(xùn)

練或微調(diào)，模型能力比對(duì)和測(cè)評(píng)，應(yīng)該把更多精力放在如何讓模型在業(yè)務(wù)中產(chǎn)生價(jià)值，因?yàn)椴?/p>

同的模型因訓(xùn)練數(shù)據(jù)的差別，業(yè)務(wù)適配能力乂有不同。

2、商業(yè)模型：提供商雖然提供全面的客戶支持和服務(wù)，附帶明確的服務(wù)等級(jí)協(xié)議（SLA）,

模型迭代升級(jí)非常快，公有云以月為單位小版本迭代，線下以季度訂閱更新，并提供對(duì)兼容性、穩(wěn)

定性和安全性的保證，能夠滿足金融行業(yè)的法規(guī)和遵從性要求，也提供完整的解決方案，軟硬件

產(chǎn)品的良好整合，降低業(yè)務(wù)場(chǎng)景落地的風(fēng)險(xiǎn)。但技術(shù)透明性較差，長(zhǎng)期依賴特定的商業(yè)模型和平

臺(tái)可能導(dǎo)致供應(yīng)商鎖定，降低切換供應(yīng)商的靈活性。

百煉成金I大金融模型新篇章10

金融企業(yè)擁抱大模型面臨的挑戰(zhàn)GO阿里云

問(wèn)題3:“大模型vs越來(lái)越大的模型”，

模型size的軍備競(jìng)賽

OpenAI的研究者在2020年發(fā)現(xiàn)，大語(yǔ)言模型也遵循著規(guī)模定律(ScalingLaw),模

型參數(shù)數(shù)量的增加常常被看作是提高模型性能的一個(gè)關(guān)鍵因素。這導(dǎo)致了一種被業(yè)界戲稱為“模

型參數(shù)的軍備競(jìng)賽”的現(xiàn)象，即科研機(jī)構(gòu)和科技公司不斷推出參數(shù)量更大、計(jì)算需求更高的模型，以追

求在特定任務(wù)上的最佳性能。然而，這種軍備競(jìng)賽帶來(lái)了諸多挑戰(zhàn)：

越來(lái)越大的模型通常具有更強(qiáng)的學(xué)習(xí)能力和泛化能力，因?yàn)橛懈嗟膮?shù)可以捕捉數(shù)據(jù)中

的復(fù)雜特征和模式。能夠處理更復(fù)雜的任務(wù)和數(shù)據(jù)集，通常在各種基準(zhǔn)和實(shí)際問(wèn)題上表現(xiàn)更好。隨

著參數(shù)數(shù)量的增加，模型通常能夠更好地理解語(yǔ)言的細(xì)微差別或更精準(zhǔn)地識(shí)別圖像中的對(duì)象。

但越來(lái)越大的模型帶來(lái)能力提升的同時(shí)，也帶來(lái)了海量的算力消耗，如何根據(jù)不同的業(yè)務(wù)

場(chǎng)景選擇合適的模型將是一個(gè)迫在眉睫的問(wèn)題？

大模型推理運(yùn)行時(shí)，核心消耗的資源是顯存，推理過(guò)程中除「要加載對(duì)應(yīng)參數(shù)的模型，還

與輸入輸出的參數(shù)量有關(guān)，輸入?yún)?shù)越多顯存消耗越大，輸出參數(shù)量越多模型響應(yīng)越慢，我們

根據(jù)一個(gè)簡(jiǎn)單的估算公式，來(lái)評(píng)估不同業(yè)務(wù)場(chǎng)景的資源消耗：

大模型推理的總顯存占用公式：/v/erMemory=1.2*ModelMemory

(詳見(jiàn)參考：TransformerInferenceArithmetickipplysblog)

以72B參數(shù)的模型，在BF16精度下(浮點(diǎn)數(shù)2個(gè)字節(jié))

InferMemory1.2*ModelMe?nory(72億*2)=172.8G

運(yùn)行一個(gè)72B的大模型至少需要3張A100(80G),現(xiàn)以企業(yè)知識(shí)庫(kù)和智能外呼場(chǎng)景為

例進(jìn)行資源評(píng)估：

打識(shí)陣檢索場(chǎng)景：典型的RAG增強(qiáng)檢索高并發(fā)場(chǎng)景，輸入少輸出多，每次問(wèn)題請(qǐng)求處理時(shí)

間在l-2s,峰值支持50并發(fā)(按照5000人的金融機(jī)構(gòu)有1%的并發(fā)率〉，需要的GPU卡

的數(shù)量在150-300張A100(80G),如果想要更精準(zhǔn)的回復(fù)，可以選擇200B或更大的模型，

百煉成金I大金融模型新篇章11

金融企業(yè)擁抱大模型面臨的挑戰(zhàn)GO阿里云

但200B大模型算力消耗會(huì)有2.7倍的增加。

智能外呼場(chǎng)景：典型的高并發(fā)低延時(shí)場(chǎng)景，輸入多輸出少，每次意圖識(shí)別響應(yīng)時(shí)間200-

300ms，峰值支持1000并發(fā)，需要的GPU卡的數(shù)量在600-900張A100(80G)。

在正式生產(chǎn)業(yè)務(wù)應(yīng)用時(shí)，業(yè)務(wù)是仃典型的波峰波谷的，如果我們按照波峰要求建設(shè)算力池，

勢(shì)必會(huì)帶來(lái)資源的低效使用，例如：知識(shí)庫(kù)檢索應(yīng)用的平均資源利用率在20%-30%：智能外

呼應(yīng)用的平均資源利用率在5%-10%?如何提高算力資源利用率將是一個(gè)頗具挑戰(zhàn)的問(wèn)題？

問(wèn)題4:“大模型RAG一天入門vs365

天的持續(xù)優(yōu)化"，RAG系統(tǒng)的修行

Retrieval-AugmentedGeneration(RAG)技術(shù)巧妙融合/信息檢索與文本牛.成的雙重

優(yōu)勢(shì)，為應(yīng)對(duì)復(fù)雜查詢和生成任務(wù)(如問(wèn)答系統(tǒng)、內(nèi)容創(chuàng)造)提供了強(qiáng)有力的支持。盡管RAG

技術(shù)展現(xiàn)出顯著提升模型效能與拓展應(yīng)用領(lǐng)域的潛力，它也遭遇了幾點(diǎn)核心挑戰(zhàn)，制約著其性

能的極致發(fā)揮：

1、語(yǔ)義檢索難關(guān)：實(shí)現(xiàn)精準(zhǔn)的語(yǔ)義檢索面臨重重障礙，首要在于深入理解用戶查詢與文檔

內(nèi)容的深層含義，并準(zhǔn)確評(píng)估兩者間的語(yǔ)義契合度。當(dāng)前普遍采用基于數(shù)據(jù)向量化的手段，在

向量空間通過(guò)距離或相似度指標(biāo)來(lái)衡量語(yǔ)義接近度，但這種方法難以完美解決語(yǔ)義多義性、信

息粒度不匹配、全局與局部相關(guān)性的權(quán)衡，以及向量空間分布不均帶來(lái)的檢索效率與效果問(wèn)題。

2、倍息增強(qiáng)的精細(xì)度：整合檢索信息的過(guò)程中，若缺乏對(duì)上下文的把握，生成的文本容

易顯得碎片化，連貫性缺失。特別是在處理來(lái)自多個(gè)來(lái)源、風(fēng)格迥異的段落時(shí)，既要避免內(nèi)容

重復(fù)，又要依據(jù)查詢語(yǔ)境對(duì)檢索片段精挑細(xì)選并合理排序，以確保輸出的一致性和流暢度，這

一過(guò)程考驗(yàn)著信息增強(qiáng)機(jī)制的智能化水平。

3、延遲挑戰(zhàn)：在即時(shí)交互場(chǎng)景，如在線客服對(duì)話系統(tǒng)中，檢索與生成的響應(yīng)時(shí)間直接關(guān)

系到用戶體驗(yàn)。為了減少延遲，優(yōu)化模型效率與系統(tǒng)架構(gòu)成為迫切需求，要求RAG技術(shù)能在

高時(shí)效性要求的應(yīng)用中穩(wěn)定運(yùn)行。

百煉成金I大金融模型新篇章12

金融企業(yè)擁抱大模型面臨的挑戰(zhàn)GO阿里云

問(wèn)題5:“殺手級(jí)通用大模型vs百花齊放

專屬大模型”，企業(yè)級(jí)AI應(yīng)用的價(jià)值自證？

企'也在利用大模型進(jìn)行業(yè)務(wù)升級(jí)改造時(shí)，選擇使用?個(gè)殺手級(jí)通用大模型，還是百花齊放

的專屬大模型，取決于您具體的業(yè)務(wù)需求、戰(zhàn)略目標(biāo)和資源限制。無(wú)論選擇哪種模式，都會(huì)面

臨挑戰(zhàn)和價(jià)值自證。

殺手級(jí)通用大模型：選擇大參數(shù)的基礎(chǔ)模型，結(jié)合企業(yè)的數(shù)據(jù)進(jìn)行微調(diào)，構(gòu)建企業(yè)級(jí)的殺

手級(jí)通用大模型。其優(yōu)勢(shì)在于能快速處理多樣化的任務(wù)和應(yīng)用場(chǎng)景，更快的帶來(lái)直接的業(yè)務(wù)價(jià)

值和經(jīng)濟(jì)收益；其挑戰(zhàn)在于越大參數(shù)的模型微調(diào)需要的數(shù)據(jù)量就越大，算力消耗也更大，而且

也較難應(yīng)對(duì)特殊的高并發(fā)低延時(shí)場(chǎng)景。

仃花齊放的七屬大模？!：根據(jù)不同知識(shí)域的業(yè)務(wù)需要，選擇適合參數(shù)的大模型微調(diào)業(yè)務(wù)專

屬大模型，能夠吸引和滿足更廣泛的客戶群體和個(gè)性化定制服務(wù)的需要。通常情況越小參數(shù)的

大模型，微調(diào)的效果越好，越大參數(shù)的模型微調(diào)的效果越難保障。多樣化的模型和應(yīng)用需求，

可以快速推動(dòng)企業(yè)在不同領(lǐng)域進(jìn)行技術(shù)和業(yè)務(wù)創(chuàng)新。但多樣化專屬大模型，貴在精不在多，如

何決策需要構(gòu)建哪些專屬大模型呢？又如何解決多個(gè)專屬大模型統(tǒng)一運(yùn)維管理的挑戰(zhàn)？

無(wú)論選擇哪種方式，都要確保大模型構(gòu)建的AI應(yīng)用能夠與企業(yè)的長(zhǎng)期戰(zhàn)略相契合，并在實(shí)

現(xiàn)業(yè)務(wù)目標(biāo)的同時(shí)，提升客戶體驗(yàn)和企業(yè)運(yùn)營(yíng)效率。因企業(yè)的自身特有數(shù)據(jù)量有限，大模型的

微調(diào)需量力而行，比如當(dāng)前千億參數(shù)以上的大模型就不適合微調(diào)，不僅成本消耗大且能力提升

有限，有可能還會(huì)影響原有大模型的推理能力。更為重要的是要建立收集反饋和定期評(píng)估應(yīng)用

的機(jī)制，推動(dòng)大模型和業(yè)務(wù)應(yīng)用的優(yōu)化，在不斷調(diào)整和完善中體現(xiàn)出AI大模型的價(jià)值。

百煉成金I大金融模型新篇章13

金融企業(yè)擁抱大模型面臨的挑戰(zhàn)GO阿里云

問(wèn)題6:“大模型廣泛應(yīng)用vs應(yīng)用安全隱

患”，大模型面臨的安全挑戰(zhàn)

隨著大模型深入應(yīng)用，一些因大模型關(guān)聯(lián)引發(fā)的安全問(wèn)題讓大家重視起來(lái)，如大規(guī)模數(shù)據(jù)

采集和應(yīng)用帶來(lái)的個(gè)人隱私泄露和濫用的問(wèn)題，大模型生成內(nèi)容可能帶有的偏見(jiàn)歧視、違法違

規(guī)、科技倫理類問(wèn)題，以及利用大模型強(qiáng)大能力用于欺詐等惡意應(yīng)用場(chǎng)景的問(wèn)題等。總的來(lái)說(shuō)，大

模型在安全方面面臨大模型自身安全和模型應(yīng)用安全兩個(gè)方面的挑戰(zhàn)。

I大模型自身安全的挑戰(zhàn)：

1、大模中訓(xùn)練安全：如何使用數(shù)字加密技術(shù)和差分隱私技術(shù)在訓(xùn)練過(guò)程中保護(hù)敏感數(shù)據(jù)安

全？如何清洗訓(xùn)練數(shù)據(jù)，以避免潛在的惡意數(shù)據(jù)注入或偏差造成的訓(xùn)練問(wèn)題？如何定期對(duì)訓(xùn)練

數(shù)據(jù)和模型權(quán)重進(jìn)行審計(jì)，以檢測(cè)潛在的安全隱患或異常模式？

2、大模型力成為風(fēng)險(xiǎn)：涉及敏感知識(shí)點(diǎn)的問(wèn)題不允許答錯(cuò)：但大模型本身的幻覺(jué)問(wèn)題嚴(yán)重，怎

樣避免？隱晦風(fēng)險(xiǎn)和多輪對(duì)話上下文：傳統(tǒng)的防控手段很難應(yīng)對(duì)這么復(fù)雜的風(fēng)險(xiǎn)，怎么辦？復(fù)雜

的指令對(duì)抗：對(duì)于層出不窮為誘導(dǎo)、變種等攻擊，怎樣能做到全面的防控？

|大模型應(yīng)用與部署安全的挑戰(zhàn)：

1、大模型那％安全:如何針對(duì)模型抵抗對(duì)抗性攻擊做強(qiáng)化訓(xùn)練，例如將對(duì)抗性樣本加入訓(xùn)

練集進(jìn)行魯棒性提升？如何對(duì)模型輸入實(shí)施嚴(yán)格的驗(yàn)證和過(guò)濾機(jī)制，以防止惡意輸入？如何實(shí)

施訪問(wèn)控制和身份驗(yàn)證機(jī)制，確保只有授權(quán)用戶才能訪問(wèn)和使用模型？

2、模型應(yīng)用部署安全:如何針對(duì)模型應(yīng)用服務(wù)訪問(wèn)控制和輸入輸出進(jìn)行安全防控?如何

進(jìn)行防御DDoS攻擊、防范惡意勒索、大促安全風(fēng)控、遠(yuǎn)程辦公安全等風(fēng)險(xiǎn)的實(shí)時(shí)防護(hù)？如何持

續(xù)監(jiān)控模型性能和行為，以及它們對(duì)輸入反饋的響應(yīng)，以便及時(shí)發(fā)現(xiàn)問(wèn)題，實(shí)施日志記錄和異

常檢測(cè)系統(tǒng)來(lái)追蹤潛在的安全事件？如何構(gòu)建有效的大模型安全圍欄，制定安全措施和策略，保

障大模型應(yīng)用的完整性、隱私、可控性和抵御外部攻擊？

百煉成金I大金融模型新篇章14

金融級(jí)AI原生的

要素與藍(lán)圖

?金融級(jí)AI原生的發(fā)展

?金融級(jí)AI原生的六大要素

?構(gòu)建金融級(jí)AI原生的藍(lán)圖

W阿里云

金融級(jí)AI原生的要素與藍(lán)圖GO阿里云

金融級(jí)AI原生的發(fā)展

講到AI,業(yè)內(nèi)主要分為生成式AI(GenerativeAl)與判別式Al(DiscriminantAI)這

兩種不同類型的機(jī)那學(xué)習(xí)模型，它們?cè)跀?shù)據(jù)建模和應(yīng)用領(lǐng)域上存在顯著差異。

判別式AI,主要關(guān)注基于已有數(shù)據(jù)進(jìn)行分析和預(yù)測(cè)。它通過(guò)學(xué)習(xí)輸入和輸出之間的關(guān)系來(lái)

建立決策邊界，對(duì)新的輸入數(shù)據(jù)進(jìn)行分類或回歸等任務(wù)。常見(jiàn)的判別式AI模型包括邏輯回歸、

支持向量機(jī)和深度神經(jīng)網(wǎng)絡(luò)等。判別式AI在推薦系統(tǒng)、風(fēng)控系統(tǒng)等領(lǐng)域有廣泛應(yīng)用。

生成式A1則關(guān)注學(xué)習(xí)輸入數(shù)據(jù)的分布規(guī)律，并模擬出與輸入數(shù)據(jù)類似的新數(shù)據(jù)。它不僅能預(yù)

測(cè)數(shù)據(jù)之間的關(guān)系，還能夠生成新的數(shù)據(jù)。

AI原生系統(tǒng)從一開(kāi)始就被設(shè)計(jì)成能夠充分利用判別式AI和生成式A［技術(shù)，以實(shí)現(xiàn)數(shù)據(jù)驅(qū)

動(dòng)、智能化決策和服務(wù)的自動(dòng)化。AI原生涵蓋了從數(shù)據(jù)處理、模型訓(xùn)練、推理應(yīng)用到迭代優(yōu)化

的全過(guò)程，目的是讓AI技術(shù)如同操作系統(tǒng)一樣成為日常業(yè)務(wù)運(yùn)行的基礎(chǔ)。

百煉成金I大金融模型新篇章16

金融級(jí)AI原生的要素與藍(lán)圖GO阿里云

A1原生是一種全新的技術(shù)架構(gòu)和思維方式，將AI技術(shù)作為一種基礎(chǔ)能力，深度整合到企

業(yè)的基礎(chǔ)設(shè)施、業(yè)務(wù)流程、產(chǎn)品設(shè)計(jì)和服務(wù)模式中。

金融機(jī)構(gòu)作為國(guó)民經(jīng)濟(jì)的中樞支柱，其運(yùn)作效能、風(fēng)險(xiǎn)管控及服務(wù)質(zhì)量對(duì)社會(huì)經(jīng)濟(jì)的整體穩(wěn)

定與發(fā)展具有深遠(yuǎn)影響。金融級(jí)AI原生(Financial-GradeAINative)是一個(gè)綜合性概念,旨

在描述那些專為滿足金融行業(yè)最嚴(yán)格需求而設(shè)計(jì)和優(yōu)化的A1系統(tǒng)和應(yīng)用。這些系統(tǒng)不僅在技術(shù)層

面上高度先進(jìn)，還在安全性、可靠性、可擴(kuò)展性和合規(guī)性等方面達(dá)到了金融行業(yè)的高標(biāo)準(zhǔn)。

金融級(jí)AI原生的六大要素

AI技術(shù)在金融行業(yè)中扎根生長(zhǎng)并深入應(yīng)用，必須嚴(yán)格遵循金融行業(yè)的業(yè)務(wù)規(guī)則與標(biāo)準(zhǔn)，這就

催生了專為金融領(lǐng)域打造的金融級(jí)A1原生。綜合考慮金融級(jí)行業(yè)要求、AI原生核心技術(shù)，我

們將金融級(jí)AI原生總結(jié)為圻下6大要素：

準(zhǔn)確性：輸出與真實(shí)答案或標(biāo)

準(zhǔn)標(biāo)簽的匹配程度

嚴(yán)肅件：生成內(nèi)容的專業(yè)性、開(kāi)放性：開(kāi)源與商業(yè)版大模型

可靠性、貢任性和道德規(guī)他性。相結(jié)合，打造A1原生生態(tài)

低延時(shí)：推理優(yōu)化與加速賴容性：工具平臺(tái)的歡容性和

高并發(fā)：國(guó)度優(yōu)化來(lái)支拴可移植性

準(zhǔn)確性與

嚴(yán)肅性

開(kāi)放性與

低延時(shí)與

兼容性

商并發(fā)

金融級(jí)AI原生

AI原生知識(shí)密集型應(yīng)用多模態(tài)數(shù)字化應(yīng)用金融行業(yè)

全能路數(shù)字化應(yīng)用

安全也和V展性與

合規(guī)性多樣性

可掙住和

穩(wěn)定性

安全性：模型安全和內(nèi)容安全擴(kuò)展性：計(jì)算費(fèi)源可以根據(jù)

合規(guī)性：綜合技術(shù)、法律和道需求動(dòng)態(tài)增減

鑿考慮來(lái)處理可靠性:自動(dòng)容錯(cuò)和作業(yè)自動(dòng)多樣性：模型尺寸的多樣性、

重啟、模型自動(dòng)保存與恢發(fā)多模態(tài)、模型部罟形態(tài)的多

超定性：采用云原生技術(shù)提供樣性

彈性伸能.保證穩(wěn)定性

百煉成金I大金融模型新篇章17

金融級(jí)AI原生的要素與藍(lán)圖GO阿里云

|要素1：可靠性和穩(wěn)定性

當(dāng)前金融行業(yè)隨著數(shù)字化、智能化的轉(zhuǎn)型，越來(lái)越多的金融級(jí)A1原生應(yīng)用涌現(xiàn)，大規(guī)模智

算資源的統(tǒng)籌管理和編排調(diào)度，對(duì)于確保金融基礎(chǔ)設(shè)施的連續(xù)性與穩(wěn)定性成為至關(guān)重要的能力

基石。下面從訓(xùn)練態(tài)和推理態(tài)兩個(gè)方面來(lái)說(shuō)明智算平臺(tái)需要提供怎樣的能力來(lái)保證應(yīng)用的可靠

性和穩(wěn)定性。

訓(xùn)I練態(tài):

智算平臺(tái)需要大規(guī)模集胖調(diào)改管理,洞察集群狀態(tài)與性能變化,掌控系統(tǒng)全貌。通過(guò)訓(xùn)練引

擎自動(dòng)容錯(cuò)來(lái)屏蔽底層i,提升任務(wù)穩(wěn)定性和魯棒性。通過(guò)實(shí)時(shí)保存模型文件，大幅度提高訓(xùn)

練任務(wù)的整體效率。通過(guò)云原生性能測(cè)試平臺(tái)，完成一過(guò)測(cè)試系統(tǒng)性能，及時(shí)發(fā)現(xiàn)隱藏的瓶頸。

大規(guī)模集群網(wǎng)絡(luò)售理系統(tǒng)容錯(cuò)訓(xùn)練與故障自愈組件

RDMA網(wǎng)絡(luò)全自動(dòng)化開(kāi)通,開(kāi)箱即用,內(nèi)置監(jiān)控、診斷、性能白動(dòng)容錯(cuò)和作業(yè)自動(dòng)m啟等，自定義錯(cuò)誤監(jiān)測(cè)，只需配置少

分析,支持白屏化和api.實(shí)現(xiàn)真正的zero-touchRDMA量參數(shù)?對(duì)用戶訓(xùn)練代碼無(wú)侵入。

模型自動(dòng)保存與恢復(fù)?鍵性能評(píng)測(cè)工具

支持秒級(jí)checkpoint,保障訓(xùn)練任務(wù)快速回復(fù),訓(xùn)練精度云原生性能測(cè)試平臺(tái),自動(dòng)完成典鞭AIGC場(chǎng)景標(biāo)準(zhǔn)化模型

無(wú)損：上手容易，僅需5行左右代碼。的性能回歸?構(gòu)建性能基線,讓系統(tǒng)性能“可管可控”.

百煉成金I大金融模型新篇章18

金融級(jí)AI原生的要素與藍(lán)圖GO阿里云

推理態(tài):

FI前大模型的推理部署還沒(méi)有一個(gè)事實(shí)標(biāo)準(zhǔn)，一方面不斷有新的模型發(fā)布，另一方面也不

斷有新的訓(xùn)練和推理方法被提出，再者國(guó)產(chǎn)化GPU硬件和軟件生態(tài)也在快速迭代，這給大模

型推理服務(wù)生產(chǎn)上落地帶來(lái)不小挑戰(zhàn)。為了應(yīng)對(duì)上述挑戰(zhàn)在模型準(zhǔn)備和部署階段，我們建議遵

從以下原則：

分層設(shè)計(jì)：由于模型本身文件較大，模型加載和啟動(dòng)時(shí)間往往以分鐘甚至小時(shí)計(jì)。在模型

準(zhǔn)備階段，將運(yùn)行依賴環(huán)境、模型文件、推理代碼分層設(shè)計(jì)