2023年中國(guó)大模型行研能力評(píng)測(cè)AI變革行業(yè)創(chuàng)新發(fā)展2023

China

Large

Language

Model

Industry

Research

Evaluation2023年中國(guó)大規(guī)模モデル産業(yè)研究能力評(píng)価報(bào)告提供的任何內(nèi)容（包括但不限于數(shù)據(jù)、文字、圖表、圖像等）均系頭豹研究院獨(dú)有的高度機(jī)密性文件（在報(bào)告中另行標(biāo)明出處者除外）。未經(jīng)頭豹研究院事先書面許可，任何人不得以任何方式擅自復(fù)制、再造、傳播、出版、引用、改編、匯編本報(bào)告內(nèi)容，若有違反上述約定的行為發(fā)生，頭豹研究院保留采取法律措施、追究相關(guān)人員責(zé)任的權(quán)利。頭豹研究院開展的所有商業(yè)活動(dòng)均使用“頭豹研究院”或“頭豹”的商號(hào)、商標(biāo)，頭豹研究院無任何前述名稱之外的其他分支機(jī)構(gòu)，也未授權(quán)或聘用其他任何第三方代表頭豹研究院開展商業(yè)活動(dòng)。1頭豹研究院弗若斯特沙利文咨詢（中國(guó)）大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列摘要n大模型是自然語言處理領(lǐng)域中深度學(xué)習(xí)技術(shù)的高級(jí)應(yīng)用。通過對(duì)海量文本數(shù)據(jù)進(jìn)行深度訓(xùn)練，能夠吸收和提煉出豐富的語言學(xué)知識(shí)和語義內(nèi)涵。這種大模型通常參數(shù)規(guī)模龐大，動(dòng)輒數(shù)十億甚至數(shù)百億，從而具備理解和生成自然語言的能力，與人類溝通幾乎無障礙。它的應(yīng)用場(chǎng)景廣泛，包括但不限于機(jī)器翻譯、智能問答、文本摘要等多個(gè)領(lǐng)域。從技術(shù)發(fā)展的視角來看，語言模型的演進(jìn)歷程頗具啟發(fā)性。起初，基于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；隨后，業(yè)界逐漸采用預(yù)訓(xùn)練結(jié)合微調(diào)的模式來提升性能；而如今，最先進(jìn)的范式已經(jīng)轉(zhuǎn)向預(yù)訓(xùn)練結(jié)合提示訓(xùn)練，這無疑標(biāo)志著模擬人類思維交流方面的又一重大突破。這一發(fā)展軌跡不僅凸顯了技術(shù)的迅速迭代，更揭示了自然語言處理領(lǐng)域巨大的探索空間和創(chuàng)新潛力n大模型能夠顯著增強(qiáng)研究報(bào)告的編寫效率，通過采納精細(xì)化的詢問策略，分析師在研究過程中能夠?qū)崿F(xiàn)效率優(yōu)化。此外，這一模型還能夠提供全面的文本編輯支持，包括校正、查重、以及文風(fēng)潤(rùn)色等功能，從而確保分析師提交的工作成果達(dá)到更高的質(zhì)量標(biāo)準(zhǔn)n大模型技術(shù)潮流興起催生中國(guó)大模型百花齊放。沙利文與頭豹研究院聯(lián)手對(duì)12個(gè)大模型進(jìn)行綜合評(píng)估，以深入梳理中國(guó)大模型在行研領(lǐng)域的應(yīng)用表現(xiàn)，為各界提供清晰深入的視角，以應(yīng)對(duì)預(yù)訓(xùn)練大模型引發(fā)的人工智能浪潮當(dāng)前，自然語言處理技術(shù)中的預(yù)訓(xùn)練大模型正在全球范圍內(nèi)引領(lǐng)一場(chǎng)前所未有的人工智能革命。自ChatGPT推出以來，僅在中國(guó)地區(qū)，涌現(xiàn)出超過80個(gè)不同的預(yù)訓(xùn)練語言大模型。這些模型的參與者涵蓋了中國(guó)頂尖的學(xué)術(shù)研究機(jī)構(gòu)和領(lǐng)先的互聯(lián)網(wǎng)科技企業(yè)，均希望能在這場(chǎng)技術(shù)浪潮中搶占先機(jī)。值得一提的是，過去一年里，中國(guó)學(xué)術(shù)和產(chǎn)業(yè)界也取得了顯著進(jìn)展，商湯的“商量”、百度的“文心一言”等大模型持續(xù)迭代，推動(dòng)了中國(guó)大模型產(chǎn)業(yè)的快速發(fā)展。沙利文與頭豹研究院合作，基于數(shù)字行研解決方案的研究和實(shí)踐經(jīng)驗(yàn)，憑借百人分析師團(tuán)隊(duì)的匿名投票機(jī)制，篩選出12個(gè)大模型進(jìn)行綜合評(píng)估。這一評(píng)估旨在全面了解并梳理中國(guó)大模型在行研領(lǐng)域的應(yīng)用表現(xiàn)。通過這份專業(yè)分析，各界能獲取到清晰、深入的視角，以更好地理解和應(yīng)對(duì)由預(yù)訓(xùn)練大模型引發(fā)的人工智能浪潮。400-072-5588大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列內(nèi)容目錄研究目標(biāo)1大模型行研能力評(píng)測(cè)背景及方法n

研究目的05頁基于數(shù)字行研解決方案的研究和實(shí)踐基礎(chǔ)，頭豹研究院聯(lián)合沙利文憑借百人分析師團(tuán)隊(duì)匿名投票機(jī)制，篩選了12個(gè)大模型，進(jìn)行了多維度的綜合評(píng)估，旨在全面了解并系統(tǒng)梳理中國(guó)大模型參與者在行研領(lǐng)域的應(yīng)用表現(xiàn)。?????????行研背景概述傳統(tǒng)行研發(fā)展痛點(diǎn)數(shù)字行研革新大模型賦能行研評(píng)測(cè)大模型參與者評(píng)測(cè)方法與指標(biāo)報(bào)告撰寫能力n

研究目標(biāo)行研基礎(chǔ)能力????了解中國(guó)大模型在行研領(lǐng)域的應(yīng)用價(jià)值探析中國(guó)大模型在行研領(lǐng)域的綜合表現(xiàn)梳理中國(guó)大模型的參與者現(xiàn)狀行業(yè)理解能力2大模型行研能力評(píng)測(cè)結(jié)果

15頁評(píng)估中國(guó)大模型行研領(lǐng)域的發(fā)展?jié)摿?????????????評(píng)測(cè)結(jié)果總榜n

本報(bào)告的關(guān)鍵問題報(bào)告撰寫能力總榜報(bào)告撰寫能力綜合表現(xiàn)報(bào)告撰寫高階難度模塊表現(xiàn)報(bào)告撰寫低階難度模塊表現(xiàn)報(bào)告撰寫能力分布?????參與者發(fā)展現(xiàn)狀：中國(guó)大模型的參與者有哪些？在行研領(lǐng)域的發(fā)展現(xiàn)狀如何？行研應(yīng)用表現(xiàn)：中國(guó)大模型在行業(yè)研究領(lǐng)域的實(shí)際應(yīng)用表現(xiàn)如何？行研基礎(chǔ)能力總榜報(bào)告撰寫能力：中國(guó)大模型在撰寫行業(yè)研究報(bào)告方面的表現(xiàn)能力如何？行研基礎(chǔ)能力綜合表現(xiàn)行研基礎(chǔ)能力細(xì)分模塊行研撰寫能力分布模型基礎(chǔ)能力：中國(guó)大模型邏輯推理能力、類比遷移能力等基礎(chǔ)能力表現(xiàn)如何？行業(yè)理解能力：目前中國(guó)大模型在不同行業(yè)下的理解能力以及表現(xiàn)如何？行業(yè)理解能力總榜行業(yè)理解能力綜合表現(xiàn)行業(yè)理解能力細(xì)分行業(yè)400-072-55883大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列名詞解釋uuu預(yù)訓(xùn)練語言大模型：預(yù)訓(xùn)練語言大模型是一種先進(jìn)的人工智能技術(shù)，它通過在大規(guī)模文本數(shù)據(jù)上進(jìn)行預(yù)先訓(xùn)練，學(xué)習(xí)語言的復(fù)雜模式，從而能夠理解、生成和處理自然語言。數(shù)字行研：數(shù)字化行業(yè)研究解決方案通過集成精準(zhǔn)信息溯源系統(tǒng)和標(biāo)準(zhǔn)化寫作工具，降低了行研門檻，提高撰寫效率，并簡(jiǎn)化了質(zhì)量控制流程，從而革新了行業(yè)研究的范式。8-D方法論：沙利文聯(lián)合頭豹企業(yè)研究所采納的8-D方法論包括八個(gè)核心模塊，包含定義、分類、發(fā)展歷程、特征、產(chǎn)業(yè)鏈、市場(chǎng)規(guī)模、政策和競(jìng)爭(zhēng)格局，構(gòu)成了一套全面而系統(tǒng)的研究方法。類比遷移：指在機(jī)器學(xué)習(xí)中用于訓(xùn)練的數(shù)據(jù)，這些數(shù)據(jù)沒有提供明確的標(biāo)簽或答案。邏輯推理：類比遷移是指從一個(gè)領(lǐng)域或情境中提取概念、原則或模式，并應(yīng)用到另一個(gè)不同的領(lǐng)域或情境。在內(nèi)容評(píng)判中，評(píng)估模型在不同概念、情境之間建立聯(lián)系的能力，以及這些聯(lián)系的適當(dāng)性和創(chuàng)造性。uuu語境轉(zhuǎn)換：語境轉(zhuǎn)換是指根據(jù)不同的交流環(huán)境或?qū)ο笳{(diào)整信息表達(dá)方式。在內(nèi)容評(píng)判中，評(píng)估信息是否適應(yīng)特定的受眾、文化背景或溝通場(chǎng)合，以及是否能有效地調(diào)整語氣、風(fēng)格和內(nèi)容以滿足不同場(chǎng)景下的寫作需求。uuu意圖理解：意圖理解是指識(shí)別和理解用戶或作者想要傳達(dá)的目的和動(dòng)機(jī)。在內(nèi)容評(píng)判中，評(píng)估信息是否有效地傳達(dá)了其預(yù)期的消息或意圖，以及模型是否能清楚地識(shí)別這些意圖。文本生成：文本生成是指創(chuàng)建連貫、相關(guān)和有意義的文本內(nèi)容。在評(píng)判內(nèi)容時(shí)，評(píng)估文本的清晰度、連貫性、原創(chuàng)性以及語言的正確性和表達(dá)能力。知識(shí)儲(chǔ)備：知識(shí)儲(chǔ)備是指?jìng)€(gè)體或系統(tǒng)所掌握的信息、事實(shí)、概念和理論的總和。在內(nèi)容評(píng)判中，知識(shí)儲(chǔ)備體現(xiàn)在信息的準(zhǔn)確性、深度和廣度，以及模型能否正確并有效地使用相關(guān)知識(shí)。400-072-55884大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列Chapter

1大模型行研能力評(píng)測(cè)背景及方法q

本次大模型行研能力測(cè)試覆蓋1,800+題目，由20人資深研究分析師團(tuán)隊(duì)經(jīng)過嚴(yán)格的雙盲評(píng)測(cè)流程，圍繞研究報(bào)告撰寫能力，模型基礎(chǔ)能力以及行業(yè)綜合理解能力進(jìn)行綜合評(píng)測(cè)q

評(píng)測(cè)方法通過雙盲機(jī)制最大程度保證公允性，每名測(cè)試人員會(huì)隨機(jī)分配N個(gè)模型進(jìn)行答案搜集，彼此在答案搜集期間互相禁止分享信息，以保持在答案評(píng)測(cè)階段的公允性；在評(píng)測(cè)階段，每個(gè)問題相對(duì)應(yīng)的12個(gè)模型答案順序會(huì)隨機(jī)打亂，保證評(píng)測(cè)人員對(duì)答案不存在任何偏見q

本次大模型行研能力評(píng)測(cè)分為三個(gè)核心模塊，分別為報(bào)告撰寫能力、模型基礎(chǔ)能力以及行業(yè)理解能力。報(bào)告撰寫為本次評(píng)測(cè)的核心能力，基礎(chǔ)能力以及行業(yè)理解能力為衍生能力，顧賦予40%/30%/30%的評(píng)分權(quán)重q

本次大模型行業(yè)研究能力評(píng)測(cè)截止于11月30日，所選模型基于目前開放可用的范圍。本次評(píng)測(cè)未涵蓋企業(yè)尚未開放的大模型，評(píng)測(cè)結(jié)果僅反映當(dāng)前公開可用模型的數(shù)據(jù)400-072-55885大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)——行研背景概述?

行業(yè)研究通過分析特定行業(yè)的定義、競(jìng)爭(zhēng)格局、市場(chǎng)規(guī)模等關(guān)鍵方面，產(chǎn)出深刻洞察和觀點(diǎn)。方法論涵蓋從宏觀的產(chǎn)業(yè)層到微觀的產(chǎn)品層的分析，對(duì)企業(yè)戰(zhàn)略、政策制定和金融決策等產(chǎn)生顯著影響行研背景概述行研價(jià)值鏈價(jià)值企業(yè)規(guī)劃政務(wù)服務(wù)金融決策教育培訓(xùn)新聞傳媒…體現(xiàn)行業(yè)定義行業(yè)分類市場(chǎng)規(guī)模發(fā)展歷程政策分析行業(yè)特征競(jìng)爭(zhēng)格局研究路徑產(chǎn)業(yè)鏈分析互聯(lián)網(wǎng)泛娛樂金融醫(yī)療農(nóng)林牧漁教育采礦制造旅游零售千行百業(yè)房地產(chǎn)…n行業(yè)研究通過詳盡方法論輸出價(jià)值觀點(diǎn)，對(duì)企業(yè)策略、金融決策等領(lǐng)域的價(jià)值顯著行業(yè)研究是深入探討分析特定行業(yè)的發(fā)展現(xiàn)狀和市場(chǎng)動(dòng)態(tài)的全面過程，包含行業(yè)定義、分類、競(jìng)爭(zhēng)格局、市場(chǎng)容量等關(guān)鍵維度。分析師通過分析，生成具有深度的洞察和價(jià)值觀點(diǎn)，對(duì)企業(yè)戰(zhàn)略規(guī)劃、政策制定、金融投資決策和教育培訓(xùn)等多個(gè)領(lǐng)域產(chǎn)生重要影響。外部維度經(jīng)濟(jì)

環(huán)境內(nèi)部維度行研范圍產(chǎn)業(yè)鏈分析政策法律發(fā)展歷程發(fā)展特征

市場(chǎng)規(guī)模

競(jìng)爭(zhēng)格局產(chǎn)業(yè)層行業(yè)層產(chǎn)品層重要程度高重要程度低n行業(yè)研究涵蓋從宏觀的產(chǎn)業(yè)層到微觀的產(chǎn)品層，各層級(jí)決定著相應(yīng)的研究方法，研究方法論囊括外部宏觀因素和內(nèi)部微觀細(xì)節(jié)的全面分析在行業(yè)研究中，產(chǎn)業(yè)層、行業(yè)層和產(chǎn)品層各自代表宏觀經(jīng)濟(jì)的不同層次：產(chǎn)業(yè)層包含具相似特征的行業(yè)群體，行業(yè)層著重于特定行業(yè)的市場(chǎng)和企業(yè)情況，而產(chǎn)品層深入到具體產(chǎn)品或服務(wù)的設(shè)計(jì)、功能和市場(chǎng)定位。研究方法論根據(jù)這些層級(jí)的宏觀到微觀差異而有所不同，外部維度考慮政策、經(jīng)濟(jì)、環(huán)境等因素，而內(nèi)部維度則包括發(fā)展歷史、產(chǎn)業(yè)鏈分析等更細(xì)致的方面。來源：沙利文、頭豹研究院400-072-55886大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)——傳統(tǒng)行研發(fā)展痛點(diǎn)?

從基礎(chǔ)數(shù)據(jù)收集到深度分析輸出，傳統(tǒng)行業(yè)研究的流程面臨著工具革新滯后、團(tuán)隊(duì)知識(shí)難以傳承、信息溯源復(fù)雜性以及研報(bào)質(zhì)量控制的重大挑戰(zhàn)，共同影響行業(yè)研究的產(chǎn)出效率和創(chuàng)新能力，限制了其發(fā)展?jié)摿鹘y(tǒng)行研發(fā)展痛點(diǎn)調(diào)研分析產(chǎn)出二手?jǐn)?shù)據(jù)分析制圖統(tǒng)計(jì)局?jǐn)?shù)據(jù)、文獻(xiàn)、網(wǎng)頁、垂直媒體、招股書、第三方研報(bào)、專業(yè)數(shù)據(jù)庫(kù)……產(chǎn)業(yè)鏈、競(jìng)爭(zhēng)格局研究成果建模行業(yè)規(guī)模與預(yù)測(cè)模型傳統(tǒng)工具Excel研究報(bào)告、演講稿、招股書行業(yè)章節(jié)、視頻…….一手?jǐn)?shù)據(jù)行業(yè)專家訪談、消費(fèi)者調(diào)研（問卷，圓桌）、自行監(jiān)測(cè)數(shù)據(jù)……撰寫行業(yè)定義、特征、分類、歷史、政策、行研發(fā)展痛點(diǎn)1生產(chǎn)工具停滯2團(tuán)隊(duì)知識(shí)難以復(fù)用行業(yè)人員流動(dòng)性較大，新人成長(zhǎng)周期較長(zhǎng)，分析師掌握的經(jīng)驗(yàn)和知識(shí)復(fù)用性差3溯源難考證4質(zhì)量把控難度高質(zhì)控人員缺乏專業(yè)撰寫技能，而專業(yè)分析師則通常無暇進(jìn)行廣泛質(zhì)控面對(duì)海量信息和時(shí)間成本，信息來源難以考證，信息合規(guī)無法全面保障PPT和Word仍是生產(chǎn)核心工具，20年來沒有更新新的行研生產(chǎn)工具n傳統(tǒng)行業(yè)研究在工具更新、知識(shí)復(fù)用、信息溯源和質(zhì)量控制方面面臨顯著挑戰(zhàn)，影響其效率和準(zhǔn)確性傳統(tǒng)行業(yè)研究的產(chǎn)出流程包括三個(gè)步驟：首先是基礎(chǔ)調(diào)研，聚焦于一手和二手行業(yè)數(shù)據(jù)的收集；其次是數(shù)據(jù)加工，涉及整理邏輯、驗(yàn)證數(shù)據(jù)真實(shí)性，并對(duì)關(guān)鍵信息進(jìn)行可視化處理；最后是產(chǎn)出結(jié)果，確保全文邏輯一致、可視化清晰并且觀點(diǎn)合理。在實(shí)際操作中，行業(yè)研究面臨多個(gè)挑戰(zhàn)：1）工具更新停滯，自互聯(lián)網(wǎng)興起以來，行研主要依賴網(wǎng)絡(luò)檢索和辦公軟件，近20年未見顯著革新；2）團(tuán)隊(duì)知識(shí)難以復(fù)用，由于高人員流動(dòng)性和新成員培養(yǎng)周期長(zhǎng)，分析師的經(jīng)驗(yàn)和知識(shí)傳承困難；3）信息溯源和合規(guī)性考量復(fù)雜，在應(yīng)對(duì)海量信息和時(shí)間成本壓力下，信息來源和合規(guī)性難以全面保障；4）質(zhì)量控制難度高，質(zhì)控人員缺乏專業(yè)撰寫技能，同時(shí)專業(yè)分析師缺乏時(shí)間進(jìn)行廣泛質(zhì)控，導(dǎo)致質(zhì)量監(jiān)控極為困難。這些核心挑戰(zhàn)共同影響著行研的產(chǎn)出效率和創(chuàng)新，阻礙行研進(jìn)一步發(fā)展。來源：沙利文、頭豹研究院400-072-55887大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)——數(shù)字行研革新?

數(shù)字行研解決方案，結(jié)合標(biāo)準(zhǔn)化工具和先進(jìn)的大模型技術(shù)，有效克服了傳統(tǒng)行業(yè)研究的核心制約因素，顯著提升研究的精度和效率，并引領(lǐng)行業(yè)研究進(jìn)入一個(gè)效率更高和質(zhì)量更優(yōu)的新產(chǎn)出范式數(shù)字行研革新（以頭豹腦力擎為例）數(shù)字行研全面賦能開信息調(diào)研綜合分析結(jié)果呈現(xiàn)協(xié)同創(chuàng)作詞條AI生成輔助分析師接入智能技術(shù)工具提效開源AI續(xù)寫Web3.0協(xié)同可信智能高效數(shù)字身份頭豹寫作系統(tǒng)“腦力擎”賦能頭豹研報(bào)產(chǎn)出提質(zhì)增效AIGC文本創(chuàng)作AI改寫AI賦能AI檢索創(chuàng)作沉淀，數(shù)據(jù)資產(chǎn)化體系化培訓(xùn)工具智能研報(bào)生成AI審核標(biāo)準(zhǔn)n數(shù)字化行研解決方案通過標(biāo)準(zhǔn)化工具和大模型技術(shù)，解決了行業(yè)研究的核心難題，提高了研究質(zhì)量和效率，為行業(yè)分析帶來了高效、精準(zhǔn)的新范式數(shù)字化行研解決方案為行業(yè)研究帶來范式革新。該系統(tǒng)通過引入一系列標(biāo)準(zhǔn)化工具，如精準(zhǔn)的信息溯源系統(tǒng)和寫作規(guī)范，極大降低了行業(yè)研究的門檻，提升了撰寫效率，并簡(jiǎn)化了質(zhì)量控制流程。此外，數(shù)字行研基于大模型的強(qiáng)大底層支持，為分析師提供AI輔助工具，包括專家訪談、智能檢索、查重、校對(duì)和改寫功能，有效減少信息檢索的難度，提升文本的準(zhǔn)確性和撰寫效率，同時(shí)加速分析師的專業(yè)成長(zhǎng)。數(shù)字行研解決方案不僅解決了傳統(tǒng)行業(yè)研究中的關(guān)鍵痛點(diǎn)，如信息溯源困難、嚴(yán)峻的質(zhì)控挑戰(zhàn)、知識(shí)低復(fù)用率和工具更新滯后，還借助大模型技術(shù)推動(dòng)行業(yè)研究質(zhì)量和分析師成長(zhǎng)速度，引領(lǐng)行業(yè)研究向更高效、精準(zhǔn)的新范式轉(zhuǎn)變。來源：沙利文、頭豹研究院400-072-55888大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)——大模型賦能行研?

大模型在數(shù)字行業(yè)研究中扮演核心角色，其功能特性極大提升了研究的效率和質(zhì)量。本研究聚焦于挖掘中國(guó)大模型在行業(yè)研究中的實(shí)際應(yīng)用和優(yōu)勢(shì)，了解大模型當(dāng)前的能力邊界，以推動(dòng)行研領(lǐng)域的創(chuàng)新與變革大模型賦能行研AI專家訪談AI文字校對(duì)通過利用AI大模型進(jìn)行行業(yè)專家訪談，分析師可以迅速掌握行業(yè)的核心信息和精確的定義、分類，從而將初期行業(yè)研究階段的時(shí)間縮短30%利用大模型的改寫、續(xù)寫和查重功能，可以顯著減少錯(cuò)別字、病句和重復(fù)內(nèi)容，從而提升文本質(zhì)量和可讀性，同時(shí)減少分析師在文本檢查上的時(shí)間投入，降低超過70%大模型行研賦能AI內(nèi)容生成AI資料檢索通過使用大模型的文字生成功能，結(jié)合恰當(dāng)?shù)奶釂枂栴}，讓大模型幫助產(chǎn)出結(jié)構(gòu)化內(nèi)容，提高研報(bào)的產(chǎn)出效率50%運(yùn)用大模型的互聯(lián)網(wǎng)檢索訪問功能，結(jié)合精準(zhǔn)的提問策略，幫助分析師定位關(guān)鍵信息，從而提升資料搜索效率超60%n大模型在數(shù)字行業(yè)研究中扮演核心角色，其功能特性極大提升了研究的效率和質(zhì)量。本研究主要聚焦于中國(guó)大模型在行業(yè)研究中的實(shí)際應(yīng)用和優(yōu)勢(shì)，知曉大模型的能力邊界，旨在推動(dòng)行研領(lǐng)域的創(chuàng)新與變革作為數(shù)字行研的關(guān)鍵支撐，大模型通過其創(chuàng)作、生成、改寫和檢索等核心功能，全方位推動(dòng)行業(yè)研究向前發(fā)展。首先，大模型扮演第三方AI專家角色，協(xié)助分析師在研究初期進(jìn)行框架搭建和內(nèi)容創(chuàng)作，有效減輕案頭工作負(fù)擔(dān)。其次，通過與分析師的有效互動(dòng)，大模型助力生成結(jié)構(gòu)化內(nèi)容和洞察，顯著提高基礎(chǔ)內(nèi)容的產(chǎn)出效率。進(jìn)一步，它通過減少文本錯(cuò)誤和重復(fù)內(nèi)容，優(yōu)化校對(duì)流程，提升產(chǎn)出質(zhì)量。最后，大模型能夠快速處理海量數(shù)據(jù)，提供實(shí)時(shí)信息檢索，增強(qiáng)分析師在有限時(shí)間內(nèi)獲取全面信息的能力。鑒于此，深入了解中國(guó)大模型行業(yè)的發(fā)展態(tài)勢(shì)和技術(shù)創(chuàng)新對(duì)引領(lǐng)數(shù)字行業(yè)研究新范式至關(guān)重要。本研究的目標(biāo)是全面評(píng)價(jià)中國(guó)領(lǐng)先的大模型技術(shù)，深入分析其在行業(yè)研究領(lǐng)域的實(shí)際應(yīng)用和優(yōu)勢(shì)，全面審視大模型對(duì)行業(yè)研究發(fā)展的影響，以促進(jìn)數(shù)字行業(yè)研究的創(chuàng)新和變革。來源：沙利文、頭豹研究院400-072-55889大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)——評(píng)測(cè)大模型參與者?

基于數(shù)字行研解決方案的研究和實(shí)踐基礎(chǔ)，沙利文聯(lián)合頭豹研究院依托百人分析師團(tuán)隊(duì)對(duì)12個(gè)大模型進(jìn)行行研輔助能力的綜合評(píng)估，旨在全面了解并系統(tǒng)梳理中國(guó)大模型參與者在行研領(lǐng)域的應(yīng)用表現(xiàn)大模型行研能力評(píng)測(cè)參與者商量大模型參選者榜單3.5本次對(duì)大模型的行業(yè)研究能力進(jìn)行評(píng)測(cè)的時(shí)間定于11月15日至11月30日，評(píng)選的模型基于目前市場(chǎng)上開放且可用的版本。評(píng)測(cè)結(jié)果將僅反映在評(píng)測(cè)時(shí)段內(nèi)公開可獲取的模型數(shù)據(jù)。在此次評(píng)測(cè)中，GPT模型選用的公測(cè)版本為3.5版本，文心一言模型也采用其3.5公測(cè)版本進(jìn)行評(píng)估。n自ChatGPT推出后，中國(guó)在預(yù)訓(xùn)練大模型領(lǐng)域?qū)崿F(xiàn)了顯著進(jìn)步，涉及頂尖學(xué)術(shù)機(jī)構(gòu)和科技企業(yè)，沙利文聯(lián)合頭豹研究院對(duì)12個(gè)大模型進(jìn)行綜合評(píng)估，以全面了解中國(guó)大模型在行研領(lǐng)域的發(fā)展與應(yīng)用當(dāng)前，基于自然語言處理技術(shù)的預(yù)訓(xùn)練大模型已在全球范圍內(nèi)掀起了有史以來最大的人工智能浪潮。自ChatGPT推出以來，僅中國(guó)地區(qū)就出現(xiàn)了超過80個(gè)不同的預(yù)訓(xùn)練語言大模型，參與者覆蓋中國(guó)頂尖的學(xué)術(shù)研究機(jī)構(gòu)以及互聯(lián)網(wǎng)科技企業(yè)，旨在此番浪潮中拔得先機(jī)。過去一年中，中國(guó)學(xué)術(shù)與產(chǎn)業(yè)界也取得了實(shí)質(zhì)性的突破，來自商湯的商量、百度的文心一言等前沿大模型不斷升級(jí)，帶動(dòng)中國(guó)大模型產(chǎn)業(yè)的發(fā)展?；跀?shù)字行研解決方案的研究和實(shí)踐基礎(chǔ)，沙利文聯(lián)合頭豹研究院憑借百人分析師團(tuán)隊(duì)匿名投票機(jī)制，篩選了12個(gè)大模型，進(jìn)行了多維度的綜合評(píng)估，旨在全面了解并系統(tǒng)梳理中國(guó)大模型參與者在行研領(lǐng)域的應(yīng)用表現(xiàn)。來源：沙利文、頭豹研究院400-072-558810大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)——評(píng)測(cè)方法與指標(biāo)?

本次大模型行研能力測(cè)試覆蓋1,800+題目，由20人資深研究分析師團(tuán)隊(duì)經(jīng)過嚴(yán)格的雙盲評(píng)測(cè)流程，圍繞研究報(bào)告撰寫能力，模型基礎(chǔ)能力以及行業(yè)綜合理解能力進(jìn)行綜合評(píng)測(cè)大模型行研能力評(píng)測(cè)方法A.報(bào)告撰寫能力問題B.行研基礎(chǔ)能力問題C.行業(yè)理解能力問題????????行業(yè)定義行業(yè)分類行業(yè)特征發(fā)展歷程產(chǎn)業(yè)鏈分析市場(chǎng)規(guī)模政策分析競(jìng)爭(zhēng)格局??????邏輯推理類比遷移文本生成意圖理解知識(shí)儲(chǔ)備語境轉(zhuǎn)換????????金融業(yè)醫(yī)療業(yè)制造業(yè)互聯(lián)網(wǎng)科技業(yè)零售業(yè)教育業(yè)運(yùn)輸業(yè)….12個(gè)大模型n本次測(cè)試覆蓋三大板塊，1,800+道題目，由20人資深研究分析師團(tuán)隊(duì)經(jīng)過嚴(yán)格的雙盲評(píng)測(cè)流程得出，最大程度保證公允性本次大模型能力測(cè)試圍繞三大核心板塊展開評(píng)測(cè)：分別是研究報(bào)告撰寫能力，模型基礎(chǔ)能力以及行業(yè)綜合理解能力。通過模型在三大核心板塊的表現(xiàn)力最終得出評(píng)測(cè)結(jié)果。其中，報(bào)告撰寫覆蓋8篇不同主體報(bào)告撰寫，涵蓋128道問題，分析師長(zhǎng)期跟蹤報(bào)告問題累積超1,500道題；模型能力覆蓋6大文本產(chǎn)出核心能力，涵蓋54道問題；行業(yè)理解覆蓋14大核心行業(yè)，每個(gè)行業(yè)涉及12個(gè)問題，總計(jì)1,168題。三大維度合計(jì)1,800道題目。分析師團(tuán)隊(duì)由頭豹研究院各團(tuán)隊(duì)資深分析師組成，且均具備超過8個(gè)月的大模型使用經(jīng)歷。評(píng)測(cè)方法通過雙盲機(jī)制最大程度保證公允性，每名測(cè)試人員會(huì)隨機(jī)分配N個(gè)模型進(jìn)行答案搜集，彼此在答案搜集期間互相禁止分享信息，以保持在答案評(píng)測(cè)階段的公允性；在評(píng)測(cè)階段，每個(gè)問題相對(duì)應(yīng)的12個(gè)模型答案順序會(huì)隨機(jī)打亂，保證評(píng)測(cè)人員對(duì)答案不存在任何偏見。來源：沙利文、頭豹研究院400-072-558811大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)——報(bào)告撰寫能力?

沙利文及頭豹行企研究的8-D方法論，是一種全面系統(tǒng)的研究方法，包含了八大關(guān)鍵模塊，用于對(duì)行業(yè)進(jìn)行深入分析。在這一框架下，百名分析師研磨提煉一套高效的8D模塊提問方法，以對(duì)模型能力進(jìn)行評(píng)測(cè)大模型報(bào)告撰寫能力行業(yè)研究報(bào)告撰寫邏輯權(quán)重占比行業(yè)定義10.0%行業(yè)分類10.0%對(duì)特定行業(yè)的基本性質(zhì)概述，涵蓋主要活動(dòng)、服務(wù)或產(chǎn)品根據(jù)某些共同特征將不同的行業(yè)進(jìn)行分組的過程，理解行業(yè)結(jié)構(gòu)行業(yè)特征17.5%發(fā)展歷程10.0%區(qū)分一個(gè)特定行業(yè)與其他行業(yè)的獨(dú)特屬性和條件，囊括多個(gè)維度描述行業(yè)從誕生到當(dāng)前狀態(tài)所經(jīng)歷的各個(gè)階段和重要轉(zhuǎn)折點(diǎn)產(chǎn)業(yè)鏈分析

17.5%市場(chǎng)規(guī)模15.0%從原材料采購(gòu)到最終產(chǎn)品銷售的整個(gè)流程進(jìn)行完整分析審視在給定時(shí)間內(nèi)的總銷售額或總市場(chǎng)價(jià)值，反映經(jīng)濟(jì)影響力和潛力政策分析5.0%競(jìng)爭(zhēng)格局15%對(duì)影響特定行業(yè)的政府政策、法規(guī)和指導(dǎo)原則的評(píng)估描述行業(yè)內(nèi)各企業(yè)間的競(jìng)爭(zhēng)狀態(tài)，包括市場(chǎng)份額分布和競(jìng)爭(zhēng)動(dòng)態(tài)變化概念引入八大維度分析法+歸納總結(jié)行業(yè)定義產(chǎn)業(yè)鏈分析概述類模塊分析類模塊44明確主體行業(yè)分類行業(yè)特征政策分析市場(chǎng)規(guī)模趨勢(shì)研判理清邊界觀點(diǎn)輸出發(fā)展歷程競(jìng)爭(zhēng)格局n百名分析師經(jīng)過八個(gè)月實(shí)踐研磨提煉8D模塊的提示問題，以測(cè)試12大模型的報(bào)告撰寫能力沙利文聯(lián)合頭豹企業(yè)研究所采納的8-D方法論包括八個(gè)核心模塊，構(gòu)成了一套全面而系統(tǒng)的研究方法，專用于行業(yè)的深入分析。結(jié)合詳實(shí)的數(shù)據(jù)和精準(zhǔn)的分析，此方法能夠提煉出深刻的觀點(diǎn)和結(jié)論，顯著提升行業(yè)研究?jī)?nèi)容的清晰度和數(shù)據(jù)的豐富性。在該方法論的指導(dǎo)下，百名分析師歷經(jīng)八個(gè)月的密集工作及多次優(yōu)化，精制而成一套高效的8D模塊化大模型提示問題法。這套精練的提問技巧已轉(zhuǎn)化為評(píng)估工具，旨在通過對(duì)十二個(gè)主要模型的針對(duì)性提問，檢驗(yàn)并評(píng)估模型報(bào)告撰寫的效能。來源：沙利文、頭豹研究院400-072-558812大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)——行研基礎(chǔ)能力?

從AI輔助文本創(chuàng)作角度出發(fā)，結(jié)合文字生成基礎(chǔ)核心能力，歸總出對(duì)于行業(yè)研究報(bào)告撰寫角度最核心的六大能力維度，包括邏輯推理、文本生成、類比遷移、語境轉(zhuǎn)換、意圖理解以及知識(shí)儲(chǔ)備大模型行研基礎(chǔ)能力邏輯推理文本生成基于已知信息通過推理得出結(jié)論內(nèi)容生成連貫、清晰、正確且具備時(shí)效性類比遷移語境轉(zhuǎn)換從A領(lǐng)域到B領(lǐng)域轉(zhuǎn)移概念或原則在不同交流環(huán)境調(diào)整信息的表達(dá)方式模型基礎(chǔ)能力意圖理解知識(shí)儲(chǔ)備明晰提問者目的和深層意圖模型在特定領(lǐng)域掌握的信息集合n從AI輔助文本創(chuàng)作角度出發(fā)，結(jié)合大模型基礎(chǔ)核心能力，歸總出對(duì)于行業(yè)研究報(bào)告撰寫角度最重要的六大能力維度邏輯推理：邏輯推理是指從已知信息出發(fā)，通過推論規(guī)則得出結(jié)論的過程。在內(nèi)容評(píng)判中，關(guān)注信息組織、連接和推導(dǎo)的方式，以及結(jié)論是否合理、一致，且基于事實(shí)。類比遷移：類比遷移是指從一個(gè)領(lǐng)域或情境中提取概念、原則或模式，并應(yīng)用到另一個(gè)不同的領(lǐng)域或情境。在內(nèi)容評(píng)判中，評(píng)估模型在不同概念、情境之間建立聯(lián)系的能力，以及這些聯(lián)系的適當(dāng)性和創(chuàng)造性。文本生成：文本生成是指創(chuàng)建連貫、相關(guān)和有意義的文本內(nèi)容。在評(píng)判內(nèi)容時(shí)，評(píng)估文本的清晰度、連貫性、原創(chuàng)性以及語言的正確性和表達(dá)能力。意圖理解：意圖理解是指識(shí)別和理解用戶或作者想要傳達(dá)的目的和動(dòng)機(jī)。在內(nèi)容評(píng)判中，評(píng)估信息是否有效地傳達(dá)了其預(yù)期的消息或意圖，以及模型是否能清楚地識(shí)別這些意圖。知識(shí)儲(chǔ)備：知識(shí)儲(chǔ)備是指?jìng)€(gè)體或系統(tǒng)所掌握的信息、事實(shí)、概念和理論的總和。在內(nèi)容評(píng)判中，知識(shí)儲(chǔ)備體現(xiàn)在信息的準(zhǔn)確性、深度和廣度，以及模型能否正確并有效地使用相關(guān)知識(shí)。語境轉(zhuǎn)換：語境轉(zhuǎn)換是指根據(jù)不同的交流環(huán)境或?qū)ο笳{(diào)整信息表達(dá)方式。在內(nèi)容評(píng)判中，評(píng)估信息是否適應(yīng)特定的受眾、文化背景或溝通場(chǎng)合，以及是否能有效地調(diào)整語氣、風(fēng)格和內(nèi)容以滿足不同場(chǎng)景下的寫作需求。來源：沙利文、頭豹研究院400-072-558813大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)——行業(yè)理解能力?

頭豹研究院成立至今匯集超5,000+行企報(bào)告，覆蓋超14個(gè)大類行業(yè)以及上千個(gè)細(xì)分小類行業(yè)。本次評(píng)測(cè)匯集百余名各資深行業(yè)分析師，結(jié)合自身領(lǐng)域認(rèn)知，對(duì)模型在14大行業(yè)的理解和產(chǎn)出能力進(jìn)行評(píng)估大模型行業(yè)理解能力14大行業(yè)金融業(yè)互聯(lián)網(wǎng)科技房地產(chǎn)業(yè)證券/保險(xiǎn)/基金云計(jì)算/大數(shù)據(jù)/人住宅開發(fā)/商業(yè)地產(chǎn)/工智能物業(yè)管理醫(yī)療業(yè)零售業(yè)農(nóng)林牧漁醫(yī)院服務(wù)/醫(yī)療器械/生物技術(shù)超市/專賣店/電子商務(wù)農(nóng)作物種植/畜牧業(yè)/水產(chǎn)養(yǎng)殖/林業(yè)制造業(yè)教育業(yè)采礦業(yè)汽車制造/消費(fèi)品制造/工業(yè)設(shè)備K-12教育/高等教育/職業(yè)培訓(xùn)煤炭開采/金屬礦開采能源業(yè)咨詢服務(wù)業(yè)旅游業(yè)石油與天然氣/可再生能源管理咨詢/人力資源咨詢/IT咨詢酒店/景點(diǎn)/旅行社等運(yùn)輸業(yè)泛娛樂業(yè)貨運(yùn)物流/客運(yùn)交通/航空運(yùn)輸/鐵路運(yùn)輸?shù)入娪?電視/音樂/電子競(jìng)技等n頭豹研究院成立至今匯集超5,000+行企報(bào)告，覆蓋超14個(gè)大類行業(yè)以及上千個(gè)細(xì)分小類行業(yè)。本次評(píng)測(cè)匯集頭豹研究院百余名各資深行業(yè)分析師，結(jié)合自身特定領(lǐng)域認(rèn)知與經(jīng)驗(yàn)，對(duì)模型在14大行業(yè)的理解和產(chǎn)出能力進(jìn)行評(píng)估沙利文聯(lián)合頭豹研究院成立至今，平臺(tái)共積累超12萬+注冊(cè)用戶，5,000+行業(yè)企業(yè)研究報(bào)告積累，覆蓋14個(gè)大類行業(yè)，以及上千個(gè)細(xì)分小類行業(yè)。沙利文聯(lián)合頭豹的精英分析師團(tuán)隊(duì)以及各項(xiàng)研究成果廣泛受到金融、制造、互聯(lián)網(wǎng)科技等各個(gè)行業(yè)領(lǐng)域的用戶認(rèn)可。當(dāng)前，頭豹已發(fā)展成為中國(guó)最大的行企研究平臺(tái)之一，擁有行業(yè)覆蓋程度廣、報(bào)告庫(kù)數(shù)量多、報(bào)告撰寫效率高、行業(yè)知識(shí)精準(zhǔn)度高四大優(yōu)勢(shì)。在本次大模型評(píng)測(cè)中，頭豹研究院聯(lián)合其上海、南京和深圳分院，匯聚了跨越多個(gè)行業(yè)領(lǐng)域的百余名分析師，利用自身對(duì)競(jìng)爭(zhēng)格局、發(fā)展趨勢(shì)、制約因素、以及行業(yè)壁壘等關(guān)鍵知識(shí)領(lǐng)域的深厚理解，并結(jié)合豐富的行業(yè)報(bào)告撰寫經(jīng)驗(yàn)，向模型提出了針對(duì)14個(gè)主要行業(yè)的細(xì)致問題。通過對(duì)模型在各特定行業(yè)細(xì)分領(lǐng)域的縱向評(píng)估和全行業(yè)范圍的橫向比較，最終確定了12大模型在行業(yè)理解和內(nèi)容產(chǎn)出方面的深度與能力。來源：沙利文、頭豹研究院400-072-558814大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列Chapter

2大模型行研能力評(píng)測(cè)結(jié)果q

商湯科技——商湯商量q

百度——文心一言3.5q

OpenAI——GPT3.5q

阿里云——通義千問q

昆侖萬維——天工q

百川智能——百川q

科大訊飛——訊飛星火q

騰訊云——騰訊混元q

智譜AI——智譜清言q

武漢人工智能研究院——紫東太初q

名之夢(mèng)——MiniMaxq

中科聞歌——雅意400-072-558815大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——評(píng)測(cè)結(jié)果?

資深分析師團(tuán)隊(duì)根據(jù)三大維度，總計(jì)1,800+道題目，對(duì)十二大市場(chǎng)主流大模型進(jìn)行評(píng)估測(cè)試。評(píng)測(cè)結(jié)果顯示，商湯商量、文心一言3.5、GPT3.5、訊飛星火以及騰訊混元處在第一梯隊(duì)，綜合實(shí)力強(qiáng)勁中國(guó)大模型行研能力綜合評(píng)測(cè)結(jié)果排模型名稱企業(yè)機(jī)構(gòu)

八大模塊得分

排名

模型能力得分

排名

行業(yè)能力得分

排名

總得分名GPT3.5OpenAI商湯商量百度7.588.278.088.107.587.447.587.387.347.26517.928.177.837.336.756.586.586.426.336.67217.016.556.786.276.506.726.326.356.336.09147.297.737.487.257.066.926.906.816.766.741商湯商量2

文心一言3.53323456789訊飛星火騰訊混元智譜清言天工科大訊飛騰訊2410565智譜AI昆侖萬維百川773479百川897通義千問Minimax阿里云名之夢(mèng)910681111武漢人工智能研究院10

紫東太初11

雅意7.33106.08116.4166.686.54中科聞歌7.23126.08115.9912國(guó)產(chǎn)大模型行研能力綜合評(píng)測(cè)結(jié)果第一梯隊(duì)第二梯隊(duì)第三梯隊(duì)商湯商量

文心一言

訊飛星火混元智譜天工行研基礎(chǔ)能力百川通義千問

Minimax

紫東太初

中科聞歌報(bào)告撰寫能力行業(yè)理解能力備注：評(píng)測(cè)的時(shí)間于11月15日至11月30日，評(píng)選的模型基于目前市場(chǎng)上開放且可用的版本。在此次評(píng)測(cè)中，GPT和文心一言均選用3.5公測(cè)版本進(jìn)行評(píng)測(cè)。來源：沙利文、頭豹研究院400-072-558816大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——報(bào)告撰寫能力?

模型在報(bào)告撰寫能力板塊的表現(xiàn)中，商湯商量、訊飛星火以及文心一言3.5占據(jù)前三甲。其余模型的表現(xiàn)各有千秋，例如紫東在行業(yè)特征的歸納總結(jié)能力較強(qiáng)，Minimax則在發(fā)展歷程和產(chǎn)業(yè)鏈分析細(xì)分維度表現(xiàn)優(yōu)秀大模型報(bào)告撰寫能力評(píng)測(cè)結(jié)果行業(yè)特征發(fā)展歷程產(chǎn)業(yè)鏈?zhǔn)袌?chǎng)規(guī)模政策分析競(jìng)爭(zhēng)格局排名模型名稱總得分定義分類12商湯商量訊飛星火文心一言3.5天工8.278.108.087.587.587.587.447.387.347.337.267.23345GPT3.56騰訊混元智譜清言百川789通義千問紫東太初Minimax雅意101112得分高得分低報(bào)告撰寫能力由模型在定義、分類、行業(yè)特征、發(fā)展歷程、產(chǎn)業(yè)鏈、市場(chǎng)規(guī)模、政策分析以及競(jìng)爭(zhēng)格局8D模塊的表現(xiàn)綜合評(píng)定而成n模型在報(bào)告撰寫評(píng)測(cè)的表現(xiàn)中，商量、訊飛星火、以及文心一言3.5是表現(xiàn)TOP3的模型，其中商湯商量在8D模塊均表現(xiàn)強(qiáng)勁，訊飛星火在高難度撰寫板塊展現(xiàn)一定實(shí)力根據(jù)大模型報(bào)告撰寫能力綜合熱力矩陣圖可以看出商湯商量是綜合能力最強(qiáng)的模型，且在各個(gè)板塊的表現(xiàn)穩(wěn)定處在前列位置。訊飛星火雖在發(fā)展歷程失分較為嚴(yán)重，但在市場(chǎng)規(guī)模、政策分析以及競(jìng)爭(zhēng)格局的高難度撰寫板塊中表現(xiàn)強(qiáng)勁。來源：沙利文、頭豹研究院400-072-558817大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——報(bào)告撰寫能力表現(xiàn)?

在報(bào)告撰寫評(píng)測(cè)中，不同平臺(tái)表現(xiàn)存在顯著差異。例如，商量憑借其穩(wěn)定性和在關(guān)鍵模塊的領(lǐng)先優(yōu)勢(shì)顯著。而GPT3.5和百川因信息庫(kù)更新不足及答案完整性與準(zhǔn)確性問題，在高權(quán)重模塊中失分較多大模型報(bào)告撰寫能力評(píng)測(cè)結(jié)果7.56.55.54.5產(chǎn)業(yè)鏈商湯商量定義發(fā)展歷程訊飛星火分類競(jìng)爭(zhēng)格局

市場(chǎng)規(guī)模文心一言特征天工政策分析GPT3.5(參考模型）騰訊混元紫東太初智譜百川通義千問Minimax中科聞歌n在報(bào)告撰寫評(píng)測(cè)中，各平臺(tái)表現(xiàn)各異，其中商量整體表現(xiàn)穩(wěn)定且領(lǐng)先，而GPT3.5和百川因信息更新和答案完整性問題而在某些關(guān)鍵模塊中失分較多在報(bào)告撰寫能力評(píng)測(cè)中，商量的整體表現(xiàn)穩(wěn)定，在8D模塊中均超過均分，領(lǐng)先于其他。文心一言3.5和星火表現(xiàn)出波動(dòng)，例如訊飛在發(fā)展歷程和競(jìng)爭(zhēng)格局低于均分，但在分類任務(wù)中表現(xiàn)最佳。天工在發(fā)展歷程、市場(chǎng)規(guī)模和定義方面表現(xiàn)優(yōu)秀，但在產(chǎn)業(yè)鏈方面略顯不足。GPT3.5在競(jìng)爭(zhēng)格局和市場(chǎng)規(guī)模中失分較多，主要因?yàn)槠湫畔?kù)較舊，無法提供有效價(jià)值信息，影響了其在報(bào)告撰寫的綜合表現(xiàn)。智譜清言和通義千問的綜合表現(xiàn)穩(wěn)定，在8D各模塊中與均分相近，其中智譜清言在政策分析方面表現(xiàn)優(yōu)異，通義千問在特征環(huán)節(jié)表現(xiàn)突出。百川的表現(xiàn)波動(dòng)較大，尤其是在政策模塊由于無法給出答案，導(dǎo)致失分嚴(yán)重，影響了整體均分。紫東太初和雅意的表現(xiàn)相似，除在特征和政策分析模塊外，其他分值走勢(shì)幾乎一致。Minimax在8D模塊中五項(xiàng)略高于均分，但在產(chǎn)業(yè)鏈和競(jìng)爭(zhēng)格局這兩個(gè)高權(quán)重模塊中失分嚴(yán)重。來源：沙利文、頭豹研究院400-072-558818大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——高階難度模塊表現(xiàn)?

產(chǎn)業(yè)鏈分析是8D模塊中最具挑戰(zhàn)性和權(quán)重最高的部分，考驗(yàn)大模型在行業(yè)定義、信息檢索和價(jià)值挖掘方面的能力，其中商湯商量、文心一言3.5和訊飛星火憑借出色的知識(shí)儲(chǔ)備和邏輯推理表現(xiàn)優(yōu)異大模型產(chǎn)業(yè)鏈分析能力評(píng)測(cè)結(jié)果產(chǎn)業(yè)鏈分析產(chǎn)業(yè)鏈均值：5.80n產(chǎn)業(yè)鏈分析作為8D模塊中最具挑戰(zhàn)性且權(quán)重最高的部分，考驗(yàn)著大模型在定義行業(yè)、信息檢索和價(jià)值挖掘方面的綜合能力，其中商湯商量、文心一言3.5和訊飛星火因其優(yōu)秀的知識(shí)儲(chǔ)備和邏輯推理能力在這一模塊中表現(xiàn)突出產(chǎn)業(yè)鏈分析是高階難度撰寫模塊之一，權(quán)重在評(píng)測(cè)分?jǐn)?shù)中占到了17.5%，是8D模塊中評(píng)測(cè)得分權(quán)重最大的模塊。其復(fù)雜性源于需要大模型在三個(gè)關(guān)鍵維度進(jìn)行深入的信息處理：首先是對(duì)特定行業(yè)產(chǎn)業(yè)鏈的上中下游及其參與者的精確界定；其次是在確認(rèn)主體后，篩選出與各環(huán)節(jié)相關(guān)的關(guān)鍵信息；最后是對(duì)收集到的信息進(jìn)行深度加工，探索產(chǎn)業(yè)鏈的價(jià)值流向和影響力，以提煉出對(duì)該行業(yè)宏觀層面的關(guān)鍵見解。這一系列步驟要求模型具備高度的信息檢索和邏輯歸納能力，且隨著過程的深入，難度逐漸增大。大模型在產(chǎn)業(yè)鏈分析表現(xiàn)均分為5.8分，是8D模塊的第二低分，側(cè)面反映了其內(nèi)容產(chǎn)出的難度。其中，商湯商量、文心一言3.5、百川、雅意、訊飛星火以及GPT3.5是表現(xiàn)優(yōu)異的模型，綜合表現(xiàn)高于均分。商湯商量、文心一言3.5以及訊飛星火得益于其優(yōu)秀的知識(shí)儲(chǔ)備能力以及邏輯推理歸納能力，在這一模塊表現(xiàn)優(yōu)秀。來源：沙利文、頭豹研究院400-072-558819大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——高階難度模塊表現(xiàn)?

市場(chǎng)規(guī)模分析作為8D模塊中難度較高和權(quán)重第二的模塊，要求精確界定市場(chǎng)規(guī)模的測(cè)算標(biāo)準(zhǔn)和預(yù)測(cè)市場(chǎng)變化。在此模塊中，訊飛星火和天工因其在市場(chǎng)規(guī)模測(cè)算及未來變化推演方面的表現(xiàn)而尤其突出大模型市場(chǎng)規(guī)模能力評(píng)測(cè)結(jié)果市場(chǎng)規(guī)模市場(chǎng)規(guī)模均值：6.32n市場(chǎng)規(guī)模分析作為8D模塊中難度較高且權(quán)重第二的模塊，主要挑戰(zhàn)在于確定行業(yè)市場(chǎng)規(guī)模的測(cè)算標(biāo)準(zhǔn)和界限，以及分析和預(yù)測(cè)市場(chǎng)規(guī)模的過去和未來變化。其中，訊飛星火和天工在市場(chǎng)規(guī)模測(cè)算和未來變化推演方面表現(xiàn)突出市場(chǎng)規(guī)模是高階難度撰寫模塊之一，權(quán)重在評(píng)測(cè)分?jǐn)?shù)中占到了15%，是8D模塊中評(píng)測(cè)得分權(quán)重第二高的模塊之一。市場(chǎng)規(guī)模測(cè)算是在給定時(shí)間內(nèi)的總銷售額或總市場(chǎng)價(jià)值，其價(jià)值意義是反映經(jīng)濟(jì)影響力和潛力。這一模塊的挑戰(zhàn)主要包括兩個(gè)方面：首先是定義特定行業(yè)的市場(chǎng)規(guī)模測(cè)算標(biāo)準(zhǔn)，比如選擇營(yíng)收端還是成本端，并明確市場(chǎng)規(guī)模的界限，以確保測(cè)算結(jié)果的實(shí)際意義；其次是對(duì)過去五年及未來五年市場(chǎng)規(guī)模的變化進(jìn)行原因分析和預(yù)測(cè)，這既考驗(yàn)大模型的信息整合能力，也考驗(yàn)其未來趨勢(shì)的預(yù)判能力。正因?yàn)檫@些要求，市場(chǎng)規(guī)模分析被認(rèn)為是高難度撰寫模塊之一。大模型在市場(chǎng)規(guī)模分析表現(xiàn)均分為6.32分，是8D模塊的第五低分。在市場(chǎng)規(guī)模模塊，商湯商量、文心一言3.5、Minimax、智譜清言、訊飛星火以及GPT3.5是表現(xiàn)優(yōu)異的模型，綜合表現(xiàn)高于均分。訊飛星火和天工在市場(chǎng)規(guī)模測(cè)算口徑制定以及未來變化推演能力強(qiáng)，因此表現(xiàn)優(yōu)異。來源：沙利文、頭豹研究院400-072-558820大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——高階難度模塊表現(xiàn)?

競(jìng)爭(zhēng)格局分析是8D模塊中最具挑戰(zhàn)性的部分之一，主要考驗(yàn)?zāi)Ｐ驮诰珳?zhǔn)篩選行業(yè)關(guān)鍵參與者和推演市場(chǎng)競(jìng)爭(zhēng)態(tài)勢(shì)的能力。在該模塊中，商湯商量和訊飛星火因其在企業(yè)篩選和未來變化推演上的強(qiáng)大能力而表現(xiàn)杰出大模型競(jìng)爭(zhēng)格局能力評(píng)測(cè)結(jié)果競(jìng)爭(zhēng)格局競(jìng)爭(zhēng)格局均值：5.74n競(jìng)爭(zhēng)格局分析作為8D模塊中最具挑戰(zhàn)性的模塊之一，主要考驗(yàn)?zāi)Ｐ驮诰珳?zhǔn)篩選行業(yè)關(guān)鍵參與者和推演市場(chǎng)競(jìng)爭(zhēng)態(tài)勢(shì)的能力。在這一模塊中，商湯商量和訊飛星火因其在企業(yè)篩選和未來變化推演上的強(qiáng)大能力而表現(xiàn)杰出競(jìng)爭(zhēng)格局是高階難度撰寫模塊之一，權(quán)重在評(píng)測(cè)分?jǐn)?shù)中占到了15%，是8D模塊中評(píng)測(cè)得分權(quán)重第二高的模塊之一。競(jìng)爭(zhēng)格局分析旨在闡述行業(yè)內(nèi)企業(yè)間的競(jìng)爭(zhēng)狀況，涉及市場(chǎng)份額分布和競(jìng)爭(zhēng)動(dòng)態(tài)的變化，旨在揭示市場(chǎng)的當(dāng)前競(jìng)爭(zhēng)態(tài)勢(shì)，以便企業(yè)進(jìn)行戰(zhàn)略調(diào)整。其挑戰(zhàn)在于準(zhǔn)確篩選行業(yè)參與者，并歸納推演市場(chǎng)競(jìng)爭(zhēng)態(tài)勢(shì)的形成原因及未來趨勢(shì)。首先，識(shí)別行業(yè)中的關(guān)鍵競(jìng)爭(zhēng)者是一個(gè)復(fù)雜的任務(wù)，需要從眾多企業(yè)中精準(zhǔn)挑選出既正確又具有強(qiáng)大競(jìng)爭(zhēng)力的企業(yè)。其次，確定企業(yè)后，模型必須分析當(dāng)前競(jìng)爭(zhēng)情況的成因并預(yù)測(cè)其未來變化。這兩個(gè)環(huán)節(jié)都對(duì)模型的歸納和推演能力提出了高要求，使得競(jìng)爭(zhēng)格局成為高難度撰寫模塊之一。大模型在競(jìng)爭(zhēng)格局分析的表現(xiàn)均分為5.74分，是8D細(xì)分模塊的最低分。在競(jìng)爭(zhēng)格局模塊，商湯商量、文心一言3.5、Minimax、智譜清言、雅意、騰訊混元、訊飛星火以及GPT3.5均表現(xiàn)出色，綜合表現(xiàn)高于均分。商湯商量和訊飛星火在企業(yè)篩選以及未來變化推演能力較強(qiáng)，在競(jìng)爭(zhēng)格局表現(xiàn)杰出。來源：沙利文、頭豹研究院400-072-558821大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——高階難度模塊表現(xiàn)?

行業(yè)特征分析是8D模塊中的高難度部分，挑戰(zhàn)在于處理海量數(shù)據(jù)并提煉深刻、獨(dú)創(chuàng)的見解。在這一模塊中，大模型整體的表現(xiàn)差異不大，其中通義千問因其簡(jiǎn)潔性、豐富論據(jù)及深度獨(dú)創(chuàng)性，在此模塊中表現(xiàn)優(yōu)異大模型行業(yè)特征能力評(píng)測(cè)結(jié)果行業(yè)特征行業(yè)特征均值：6.27n行業(yè)特征分析作為8D模塊中的一個(gè)高難度撰寫部分，主要挑戰(zhàn)在于綜合處理海量數(shù)據(jù)、提煉具有深度的代表性見解以及展現(xiàn)獨(dú)創(chuàng)性。其中通義千問因其簡(jiǎn)潔性、豐富論據(jù)及深度獨(dú)創(chuàng)性，在此模塊中表現(xiàn)優(yōu)異行業(yè)特征是高階難度撰寫模塊之一，權(quán)重在評(píng)測(cè)分?jǐn)?shù)中占到了17.5%，是8D模塊中評(píng)測(cè)得分權(quán)重最高的模塊之一。行業(yè)特征分析旨在區(qū)分一個(gè)特定行業(yè)與其他行業(yè)的獨(dú)特屬性和條件，價(jià)值在于披露行業(yè)獨(dú)有的價(jià)值信息以供投資管理決策。行業(yè)特征的核心難度在于信息量的維度，不同于其它模塊，行業(yè)特征的提示問題缺少明確指向性，需要大模型根據(jù)特定行業(yè)的海量數(shù)據(jù)資料去總結(jié)歸納最符合當(dāng)下行業(yè)的實(shí)際特征。行業(yè)特征的質(zhì)量取決于兩點(diǎn)，一點(diǎn)是深度，也就是該行業(yè)特征是否對(duì)特定行業(yè)有足夠的代表性。另一點(diǎn)是獨(dú)創(chuàng)性，也就是對(duì)特定行業(yè)是否有獨(dú)到的見解，而非泛泛而談。由于行業(yè)特征的問題較為寬泛且模型需要篩選的信息量極大，因此撰寫難度極高。大模型在競(jìng)爭(zhēng)格局分析的表現(xiàn)均分為6.27分，從結(jié)果看是8D模塊中表現(xiàn)較好的模塊。在行業(yè)特征模塊，多個(gè)模型綜合表現(xiàn)高于均分，其中通義千問的回答簡(jiǎn)潔性強(qiáng)，論據(jù)豐富且具有一定深度與獨(dú)創(chuàng)性，因此在特征模塊表現(xiàn)優(yōu)異。來源：沙利文、頭豹研究院400-072-558822大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——低階難度模塊表現(xiàn)?

行業(yè)定義、行業(yè)分類、發(fā)展歷程以及政策分析在行研撰寫中難度較低，重點(diǎn)聚集在信息搜集的準(zhǔn)確度。在低難度撰寫模塊中，12大模型沒有顯著的差距，但部分模型由于在特定模塊中無法回答，因此失分嚴(yán)重大模型報(bào)告撰寫能力低階難度模塊評(píng)測(cè)結(jié)果行業(yè)定義行業(yè)分類定義均值：6.48分類均值：6.93發(fā)展歷程政策分析發(fā)展歷程均值：6.52政策分析均值：6.12n模型在低難度報(bào)告撰寫模塊的表現(xiàn)中，商湯商量和訊飛星火表現(xiàn)最為優(yōu)秀，在四個(gè)模塊的評(píng)測(cè)得分均顯著高于均分行業(yè)定義、行業(yè)分類、發(fā)展歷程以及政策分析在行研撰寫中難度較低，這四大模塊重點(diǎn)落在信息搜集的準(zhǔn)確度，對(duì)歸納推理的整體要求較低，更多考察模型的知識(shí)庫(kù)豐富性以及把握信息準(zhǔn)確性的能力。在低難度撰寫模塊中，12大模型整體的表現(xiàn)較為平均，模型之間沒有顯著的差距。但部分模型在發(fā)展歷程和政策分析模塊中無法給出明確的答案，從而導(dǎo)致失分情況嚴(yán)重，對(duì)最終均分影響較大。來源：沙利文、頭豹研究院400-072-558823大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——報(bào)告撰寫能力分布?

商湯商量、科大訊飛星火以及文心一言3.5是模型報(bào)告撰寫能力排名前三甲。在報(bào)告撰寫的細(xì)分模塊中，行業(yè)定義和分類的平均得分較高，撰寫難度相對(duì)較低。產(chǎn)業(yè)鏈、競(jìng)爭(zhēng)格局和市場(chǎng)規(guī)模得分較低，撰寫難度大大模型報(bào)告撰寫能力分布商湯商量：商量科大訊飛：訊飛星火產(chǎn)業(yè)鏈分析產(chǎn)業(yè)鏈分析政策分析行業(yè)定義政策分析行業(yè)定義行業(yè)特征發(fā)展歷程行業(yè)特征發(fā)展歷程市場(chǎng)規(guī)模行業(yè)分類市場(chǎng)規(guī)模行業(yè)分類競(jìng)爭(zhēng)格局競(jìng)爭(zhēng)格局百度：文心一言3.5昆侖萬維：天工產(chǎn)業(yè)鏈分析產(chǎn)業(yè)鏈分析政策分析行業(yè)定義政策分析行業(yè)定義行業(yè)特征發(fā)展歷程行業(yè)特征發(fā)展歷程市場(chǎng)規(guī)模行業(yè)分類市場(chǎng)規(guī)模行業(yè)分類競(jìng)爭(zhēng)格局競(jìng)爭(zhēng)格局騰訊：混元OpenAI:GPT3.5產(chǎn)業(yè)鏈分析產(chǎn)業(yè)鏈分析政策分析行業(yè)定義政策分析行業(yè)定義行業(yè)特征發(fā)展歷程行業(yè)特征發(fā)展歷程市場(chǎng)規(guī)模行業(yè)分類市場(chǎng)規(guī)模行業(yè)分類競(jìng)爭(zhēng)格局競(jìng)爭(zhēng)格局來源：沙利文、頭豹研究院400-072-558824大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——報(bào)告撰寫能力分布?

商湯商量、科大訊飛星火以及文心一言3.5是模型報(bào)告撰寫能力排名前三甲。在報(bào)告撰寫的細(xì)分模塊中，行業(yè)定義和分類的平均得分較高，撰寫難度相對(duì)較低。產(chǎn)業(yè)鏈、競(jìng)爭(zhēng)格局和市場(chǎng)規(guī)模得分較低，撰寫難度大大模型報(bào)告撰寫能力分布智譜AI：清言百川：百川產(chǎn)業(yè)鏈分析產(chǎn)業(yè)鏈分析政策分析行業(yè)定義政策分析行業(yè)定義行業(yè)特征發(fā)展歷程行業(yè)特征發(fā)展歷程市場(chǎng)規(guī)模行業(yè)分類市場(chǎng)規(guī)模行業(yè)分類競(jìng)爭(zhēng)格局競(jìng)爭(zhēng)格局阿里云：通義千問武漢人工智能研究院：紫東太初產(chǎn)業(yè)鏈分析產(chǎn)業(yè)鏈分析政策分析行業(yè)定義政策分析行業(yè)定義行業(yè)特征發(fā)展歷程行業(yè)特征發(fā)展歷程市場(chǎng)規(guī)模行業(yè)分類市場(chǎng)規(guī)模行業(yè)分類競(jìng)爭(zhēng)格局競(jìng)爭(zhēng)格局中科聞歌：雅義名之夢(mèng)：MiniMax產(chǎn)業(yè)鏈分析產(chǎn)業(yè)鏈分析政策分析行業(yè)定義政策分析行業(yè)定義行業(yè)特征發(fā)展歷程行業(yè)特征發(fā)展歷程市場(chǎng)規(guī)模行業(yè)分類市場(chǎng)規(guī)模行業(yè)分類競(jìng)爭(zhēng)格局競(jìng)爭(zhēng)格局來源：沙利文、頭豹研究院400-072-558825大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——行研基礎(chǔ)能力?模型在行研基礎(chǔ)能力的表現(xiàn)差異顯著，商湯商量、GPT3.5以及文心一言3.5占據(jù)前三甲，整體領(lǐng)先幅度較大。排名靠后的模型雖然綜合評(píng)分較低，但在細(xì)分模塊仍有優(yōu)異表現(xiàn)，例如智譜清言和百川在意圖理解能力高于均分大模型行研基礎(chǔ)能力評(píng)測(cè)結(jié)果排名模型名稱總得分類比遷移

邏輯推理

文字生成

意圖理解

語境轉(zhuǎn)換

知識(shí)儲(chǔ)備12商湯商量GPT3.58.177.927.837.336.756.676.586.586.426.336.176.083文心一言3.5訊飛星火騰訊混元Minimax天工45677智譜清言百川91011通義千問紫東太初雅意12得分高得分低模型基礎(chǔ)能力由模型在類比遷移、邏輯推理、文字生成、意圖理解、語境轉(zhuǎn)換、知識(shí)儲(chǔ)備六大問題經(jīng)過基礎(chǔ)題庫(kù)測(cè)試與報(bào)告撰寫的分析師評(píng)測(cè)綜合評(píng)定而成n模型在基礎(chǔ)能力評(píng)測(cè)的表現(xiàn)中，商湯商量、GPT3.5、以及文心一言3.5占據(jù)前三甲根據(jù)大模型基礎(chǔ)能力綜合熱力矩陣圖可以看出表現(xiàn)TOP3的模型分別為商湯商量、GPT3.5以及文心一言3.5。其中，商湯商量在語境轉(zhuǎn)換和知識(shí)儲(chǔ)備板塊排名第一，訊飛星火則在邏輯推理和文字生成部分達(dá)到第一。值得關(guān)注的其它模型中，排名第8的智譜清言在意圖理解的能力最強(qiáng)。而天工在長(zhǎng)文本生成和生成速度方便較為優(yōu)秀。來源：沙利文、頭豹研究院400-072-558826大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——行研基礎(chǔ)能力表現(xiàn)?

在行研基礎(chǔ)能力評(píng)測(cè)中，GPT3.5、商湯商量和文心一言3.5穩(wěn)定領(lǐng)先，展現(xiàn)出各自在邏輯推理、文字生成和意圖理解的強(qiáng)項(xiàng)，而其他模型如天工、智譜清言等表現(xiàn)波動(dòng)，模型底層能力還有待改善大模型行研基礎(chǔ)能力評(píng)測(cè)結(jié)果12.011.010.09.08.07.06.05.04.03.02.0類比遷移邏輯推理文字生成意圖理解語境轉(zhuǎn)換知識(shí)儲(chǔ)備商湯商量天工GPT3.5文心一言百川訊飛星火通義千問騰訊混元紫東太初Minimax智譜清言中科聞歌n模型在行研基礎(chǔ)能力評(píng)測(cè)維度中，商湯商量、GPT3.5、以及文心一言3.5表現(xiàn)穩(wěn)定性強(qiáng)，在單一模塊能力各有領(lǐng)先在行研基礎(chǔ)能力評(píng)測(cè)中，商湯商量、GPT3.5和文心一言3.5三大領(lǐng)先模型發(fā)揮最為穩(wěn)定。其中，GPT3.5在邏輯推理能力上排名領(lǐng)先，商湯商量在文字生成和語境轉(zhuǎn)換方面表現(xiàn)良好，而文心一言3.5則在意圖理解方面領(lǐng)先于其他模型；天工、智譜清言和百川的表現(xiàn)高度波動(dòng)，如智譜清言在文字生成方面接近滿分，但在意圖理解和邏輯推理上遠(yuǎn)低于均分。這種高波動(dòng)性表明這些模型在實(shí)際使用中可能影響行研任務(wù)的整體效果。訊飛星火、騰訊混元以及Minimax在行研基礎(chǔ)能力的表現(xiàn)較為平穩(wěn)，但存在一定波動(dòng)性。例如，Minimax雖在類比遷移和知識(shí)儲(chǔ)備方面展示了其強(qiáng)大的實(shí)力，但在文字生成表現(xiàn)伐善，排名墊底。通義千問、紫東太初和雅意整體表現(xiàn)較弱，在邏輯推理和意圖理解等高維模塊能力上較弱，但這也反映出它們?cè)谀Ｐ蛥?shù)量和微調(diào)方面與領(lǐng)先模型存在差距。來源：沙利文、頭豹研究院400-072-558827大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——行研基礎(chǔ)能力細(xì)分模塊?

類比遷移能力是將復(fù)雜概念與熟悉情境相聯(lián)系，簡(jiǎn)化了認(rèn)知過程，使得在行業(yè)研究中理解和記憶這些概念變得更加清晰和高效。在類比遷移能力評(píng)估中，智譜清言、Minimax和GPT-3.5在位居前三大模型類比遷移能力評(píng)測(cè)結(jié)果類比遷移類比遷移均值：6.96n類比遷移簡(jiǎn)化了復(fù)雜概念的理解與記憶，通過將其與熟悉情境聯(lián)系，能夠提升行業(yè)研究的效率。在類比遷移的能力評(píng)估中，智譜清言、Minimax和GPT-3.5表現(xiàn)最佳類比遷移的定義是從一個(gè)領(lǐng)域或情境提取并應(yīng)用概念、原則或模式至另一不同領(lǐng)域或情境的過程，在行業(yè)研究中對(duì)理解復(fù)雜概念發(fā)揮著關(guān)鍵作用。它通過將抽象或難以把握的概念與熟悉的情境相聯(lián)系，簡(jiǎn)化了認(rèn)知過程。例如，在金融領(lǐng)域，利用水流的類比來闡釋資金流動(dòng)的機(jī)制；在技術(shù)領(lǐng)域，則可通過類比電路來解釋數(shù)據(jù)傳輸原理。這種方法不僅促進(jìn)了新舊知識(shí)間的聯(lián)系，還加深了對(duì)復(fù)雜概念的理解和記憶，因?yàn)樗|動(dòng)了對(duì)已知概念的認(rèn)知和情感共鳴。在12大模型的類比遷移能力評(píng)估中，智譜清言、Minimax和GPT-3.5在內(nèi)容的清晰度、易理解性和結(jié)構(gòu)化方面位居前三，而商湯商量、天工和雅意則表現(xiàn)出超越平均水平的性能。這些領(lǐng)先模型在類比遷移任務(wù)上的優(yōu)異表現(xiàn)，使讀者能夠以最小的努力和時(shí)間理解復(fù)雜概念的核心原理。來源：沙利文、頭豹研究院400-072-558828大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——行研基礎(chǔ)能力細(xì)分模塊?

邏輯推理能力對(duì)行業(yè)研究至關(guān)重要，具備優(yōu)質(zhì)邏輯推理能力的大模型能從數(shù)據(jù)中提煉關(guān)鍵信息，并通過結(jié)構(gòu)化分析深入理解市場(chǎng)動(dòng)態(tài)，從而產(chǎn)出高價(jià)值內(nèi)容。在此能力上，GPT-3.5、文心一言3.5和訊飛星火表現(xiàn)最佳大模型邏輯推理能力評(píng)測(cè)結(jié)果邏輯推理邏輯推理均值：7.13n邏輯推理能力通過從現(xiàn)有數(shù)據(jù)中提煉關(guān)鍵信息，并結(jié)構(gòu)化的分析深入洞察市場(chǎng)動(dòng)態(tài)，從而指導(dǎo)高質(zhì)量行研內(nèi)容的產(chǎn)出。在邏輯推理能力中，模型表現(xiàn)差異大，GPT3.5、文心一言3.5以及訊飛星火是表現(xiàn)TOP3的模型邏輯推理的定義是從已知信息出發(fā)，通過嚴(yán)謹(jǐn)?shù)耐普撘?guī)則得出結(jié)論的關(guān)鍵過程，在行業(yè)研究中的重要性不言而喻。這一能力不僅是理解復(fù)雜問題、制定有效策略、以及作出精確決策的基礎(chǔ)，而且在深化行業(yè)分析和提升信息價(jià)值方面起著核心作用。優(yōu)秀的邏輯推理能力使研究者能從現(xiàn)有數(shù)據(jù)中提煉模式，建立關(guān)聯(lián)，從而洞察行業(yè)動(dòng)態(tài)和市場(chǎng)趨勢(shì)，進(jìn)而生成深入且有價(jià)值的分析。在多個(gè)模型的邏輯推理能力評(píng)比中，GPT-3.5、文心一言3.5和訊飛星火表現(xiàn)尤為突出，而商湯商量、騰訊混元和百川等也超越了平均水平。這些模型在處理復(fù)雜信息時(shí)展現(xiàn)了卓越的結(jié)構(gòu)化呈現(xiàn)能力，能夠用精簡(jiǎn)而清晰的文字表達(dá)復(fù)雜的推理過程。同時(shí)，它們?cè)谛畔⒕C合、歸納和推導(dǎo)方面表現(xiàn)出色，能夠有效地提煉關(guān)鍵信息點(diǎn)，為行業(yè)研究提供深度分析和有價(jià)值的見解。來源：沙利文、頭豹研究院400-072-558829大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——行研基礎(chǔ)能力細(xì)分模塊?

意圖理解能力在大模型輔助行業(yè)研究中影響顯著，意圖理解能力強(qiáng)的模型能準(zhǔn)確理解問題的多層面含義，高效產(chǎn)出符合需求的深度分析和創(chuàng)新方案。其中，智譜清言、文心一言3.5和百川表現(xiàn)尤為突出大模型意圖理解能力評(píng)測(cè)結(jié)果意圖理解意圖理解均值：6.75n意圖理解能力需要大模型能夠準(zhǔn)確捕捉問題的多層面含義，從而高效生成于需求相符的深入分析和創(chuàng)新解決方案。在意圖理解能力中，智譜清言、文心一言3.5和百川表現(xiàn)突出意圖理解的定義是識(shí)別和理解用戶或作者傳達(dá)的目的和動(dòng)機(jī)的過程，在大模型輔助行業(yè)研究寫作中發(fā)揮著關(guān)鍵作用。大模型在意圖理解方面不僅涉及對(duì)問題表層含義的解讀，更深入其背后的深層意圖和需求，特別是在面對(duì)復(fù)雜、晦澀或高負(fù)荷任務(wù)時(shí)顯得尤為重要。這種能力使得模型能夠更高效、精準(zhǔn)地產(chǎn)出與提問者需求相匹配的內(nèi)容，從而提升行業(yè)研究的質(zhì)量和效率。在對(duì)大模型進(jìn)行意圖理解能力的評(píng)估中，智譜清言、文心一言3.5和百川在眾多模型中表現(xiàn)尤為突出，而GPT-3.5、訊飛星火和Minimax也超過了平均水平。這些模型在邏輯和情感層面的意圖理解問題上表現(xiàn)優(yōu)異，不僅能準(zhǔn)確識(shí)別問題的各個(gè)層面，還能基于深層理解提供更加滿意和有效的解決方案。這種能力對(duì)于深入挖掘行業(yè)動(dòng)態(tài)、發(fā)現(xiàn)潛在問題、并提出創(chuàng)新的解決策略至關(guān)重要。來源：沙利文、頭豹研究院400-072-558830大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——行研基礎(chǔ)能力細(xì)分模塊?

語境轉(zhuǎn)換能力使得大模型能夠適應(yīng)各行業(yè)的專業(yè)術(shù)語、風(fēng)格和信息需求，靈活調(diào)整信息表達(dá)以提供符合需求的專業(yè)分析。在此能力方面，商湯商量、訊飛星火和騰訊混元表現(xiàn)優(yōu)異，位居前三位大模型語境轉(zhuǎn)換能力評(píng)測(cè)結(jié)果語境轉(zhuǎn)換語境轉(zhuǎn)換均值：6.75n語境轉(zhuǎn)換能力能夠根據(jù)不同的交流環(huán)境和對(duì)象，靈活調(diào)整信息表達(dá)方式，以適應(yīng)各行業(yè)的專業(yè)術(shù)語、風(fēng)格和信息需求，從而提供專業(yè)且符合需求的分析內(nèi)容。在語境轉(zhuǎn)換能力中，商湯商量、訊飛星火以及騰訊混元表現(xiàn)優(yōu)異語境轉(zhuǎn)換的定義是根據(jù)交流環(huán)境或?qū)ο笳{(diào)整信息表達(dá)的過程，在大模型輔助行業(yè)研究中具有至關(guān)重要的作用。這一能力使得模型能夠在不同討論環(huán)境和專業(yè)領(lǐng)域之間靈活切換，準(zhǔn)確把握并適應(yīng)各行業(yè)的專業(yè)術(shù)語、表達(dá)風(fēng)格和信息需求。例如，模型能夠在口語化和書面化等不同表達(dá)場(chǎng)景之間有效轉(zhuǎn)換語境，提供精準(zhǔn)、專業(yè)且符合行業(yè)需求的分析內(nèi)容。在12大模型的語境轉(zhuǎn)換能力評(píng)估中，訊飛星火、商湯商量和騰訊混元表現(xiàn)最為出色，而GPT-3.5、雅意和紫東太初也展現(xiàn)了超越平均水平的表現(xiàn)。這些模型在語境轉(zhuǎn)換方面的優(yōu)勢(shì)表現(xiàn)在能夠更全面地滿足提問詞要求，如在將口語內(nèi)容轉(zhuǎn)化為專業(yè)表述時(shí)，它們能避免使用非專業(yè)詞匯，同時(shí)確保內(nèi)容的完整性和專業(yè)性，從而為用戶提供符合要求且令人滿意的研究?jī)?nèi)容。來源：沙利文、頭豹研究院400-072-558831大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——行研基礎(chǔ)能力細(xì)分模塊?

文本生成能力體現(xiàn)大模型在內(nèi)容生成速度、長(zhǎng)度以及豐富性方面的卓越能力，能夠顯著地提升了行業(yè)研究的效率和成果質(zhì)量。在生成能力方面，昆侖天工、商湯商量以及紫東太初表現(xiàn)出色大模型文本生成能力評(píng)測(cè)結(jié)果文本生成文本生成均值：6.88n文本生成能力包括生成速度和長(zhǎng)度兩方面，迅速響應(yīng)研究需求和提供靈活、高質(zhì)量的分析能夠顯著提升行業(yè)研究的效率和成果質(zhì)量。在生成能力方面，昆侖天工、商湯商量以及紫東太初表現(xiàn)出色大模型在文本生成速度和長(zhǎng)度方面的能力對(duì)行業(yè)研究的輔助具有顯著影響。高效的文本生成速度使得模型能夠迅速響應(yīng)緊急研究需求和處理大量數(shù)據(jù)，為研究人員提供及時(shí)的信息和分析。模型的能力在處理不同長(zhǎng)度的文本方面體現(xiàn)了其靈活性，既能提供簡(jiǎn)明扼要的概覽，也能深入展開全面的分析。這種適應(yīng)性使得大模型在行業(yè)研究中成為一個(gè)有效的工具，無論是快速構(gòu)思還是編寫詳細(xì)的報(bào)告和分析，都能提高研究效率和成果質(zhì)量。在12大模型的文本生成能力評(píng)估中，昆侖天工、商湯商量和紫東太初表現(xiàn)最為出色，而文心一言3.5、訊飛星火和雅意也展現(xiàn)了優(yōu)于平均水平的性能。這些模型在文本生成方面不僅速度快，而且保持了內(nèi)容的連貫性和邏輯性。在長(zhǎng)文本生成任務(wù)中，這些頂尖模型能夠輸出大量文字，同時(shí)保證內(nèi)容質(zhì)量不因字?jǐn)?shù)增加而降低。此外，即使在短時(shí)間內(nèi)應(yīng)對(duì)多個(gè)問題的高壓測(cè)試中，這些優(yōu)秀模型也能保持穩(wěn)定的輸出效率。來源：沙利文、頭豹研究院400-072-558832大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——行研基礎(chǔ)能力細(xì)分模塊?

大模型的知識(shí)儲(chǔ)備能力為行業(yè)研究提供了豐富、多元的最新信息，助力分析師快速洞察市場(chǎng)趨勢(shì)和關(guān)鍵問題。在知識(shí)儲(chǔ)備能力的考察中，商湯商量、GPT-3.5和文心一言3.5表現(xiàn)最為出色大模型知識(shí)儲(chǔ)備能力評(píng)測(cè)結(jié)果知識(shí)儲(chǔ)備知識(shí)儲(chǔ)備均值：6.96n大模型的知識(shí)儲(chǔ)備能力能夠提供豐富、多元和最新的信息，幫助分析師迅速把握趨勢(shì)、識(shí)別關(guān)鍵問題，并形成全面市場(chǎng)分析。在知識(shí)儲(chǔ)備能力方面，模型之間的表現(xiàn)差距細(xì)微，商湯商量、GPT3.5以及文心一言3.5是表現(xiàn)前三甲的模型大模型的知識(shí)儲(chǔ)備能力對(duì)輔助行業(yè)研究極為重要，為深入分析和決策提供了堅(jiān)實(shí)的信息基礎(chǔ)。優(yōu)質(zhì)的知識(shí)儲(chǔ)備能力使得模型可以存儲(chǔ)和訪問大量的歷史數(shù)據(jù)、學(xué)術(shù)研究、行業(yè)報(bào)告和實(shí)時(shí)市場(chǎng)動(dòng)態(tài)，從而為研究人員提供豐富、多元和最新的信息來源。借助這些廣泛的知識(shí)資源，大模型可以幫助研究者迅速把握行業(yè)趨勢(shì)，識(shí)別關(guān)鍵問題，進(jìn)行準(zhǔn)確預(yù)測(cè)，并形成全面的市場(chǎng)分析。12大模型在知識(shí)儲(chǔ)備模塊的表現(xiàn)中，商湯商量、GPT3.5以及文心一言3.5是表現(xiàn)前三甲的模型，Minimax、百川以及昆侖天工表現(xiàn)超均分。優(yōu)質(zhì)模型在知識(shí)儲(chǔ)備方面的優(yōu)秀表現(xiàn)一方面是對(duì)于信息豐富度的呈現(xiàn)，能夠在行業(yè)撰寫不同模塊中展現(xiàn)豐富的信息維度和深度。另一方面，優(yōu)秀的模型對(duì)信息的實(shí)時(shí)性把握性高，能夠產(chǎn)出時(shí)下最新的信息內(nèi)容。信息的豐富性和時(shí)效性對(duì)優(yōu)質(zhì)行業(yè)報(bào)告的產(chǎn)出幫助巨大。來源：沙利文、頭豹研究院400-072-558833大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——行研基礎(chǔ)能力分布?

商湯商量、OpenAIGPT3.5以及文心一言3.5位列行研基礎(chǔ)能力排名前三甲。這三大模型的內(nèi)容輸出專業(yè)準(zhǔn)確，觀點(diǎn)結(jié)構(gòu)化，且在知識(shí)儲(chǔ)備和快速高質(zhì)量的文字生成方面尤其突出，在行研基礎(chǔ)能力的綜合表現(xiàn)優(yōu)異大模型行研基礎(chǔ)能力分布商湯商量：商量OpenAI:GPT3.5類比遷移類比遷移知識(shí)儲(chǔ)備語境轉(zhuǎn)換邏輯推理文字生成知識(shí)儲(chǔ)備語境轉(zhuǎn)換邏輯推理文字生成意圖理解意圖理解百度：文心一言3.5科大訊飛：訊飛星火類比遷移類比遷移知識(shí)儲(chǔ)備語境轉(zhuǎn)換邏輯推理文字生成知識(shí)儲(chǔ)備語境轉(zhuǎn)換邏輯推理文字生成意圖理解意圖理解騰訊：混元名之夢(mèng)：MiniMax類比遷移類比遷移知識(shí)儲(chǔ)備語境轉(zhuǎn)換邏輯推理文字生成知識(shí)儲(chǔ)備語境轉(zhuǎn)換邏輯推理文字生成意圖理解意圖理解來源：沙利文、頭豹研究院400-072-558834大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——行研基礎(chǔ)能力分布?

商湯商量、OpenAIGPT3.5以及文心一言3.5位列行研基礎(chǔ)能力排名前三甲。這三大模型的內(nèi)容輸出專業(yè)準(zhǔn)確，觀點(diǎn)結(jié)構(gòu)化，且在知識(shí)儲(chǔ)備和快速高質(zhì)量的文字生成方面尤其突出，在行研基礎(chǔ)能力的綜合表現(xiàn)優(yōu)異大模型行研基礎(chǔ)能力分布昆侖萬維：天工智譜AI：清言類比遷移類比遷移知識(shí)儲(chǔ)備語境轉(zhuǎn)換邏輯推理文字生成知識(shí)儲(chǔ)備語境轉(zhuǎn)換邏輯推理文字生成意圖理解意圖理解百川：百川阿里云：通義千問類比遷移類比遷移知識(shí)儲(chǔ)備語境轉(zhuǎn)換邏輯推理文字生成知識(shí)儲(chǔ)備語境轉(zhuǎn)換邏輯推理文字生成意圖理解意圖理解中科聞歌：雅義武漢人工智能研究院：紫東太初類比遷移類比遷移知識(shí)儲(chǔ)備語境轉(zhuǎn)換邏輯推理文字生成知識(shí)儲(chǔ)備邏輯推理文字生成語境轉(zhuǎn)換意圖理解意圖理解來源：沙利文、頭豹研究院400-072-558835大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——行業(yè)理解能力結(jié)果?

在行業(yè)理解能力板塊的表現(xiàn)中，GPT3.5、文心一言3.5以及智譜清言位列前三名。大模型在行業(yè)的表現(xiàn)展現(xiàn)出一定的泛化性，例如GPT3.5在多個(gè)行業(yè)的表現(xiàn)都排名前列，而排名末尾的大模型則在大多行業(yè)低于均線大模型行業(yè)理解能力評(píng)測(cè)結(jié)果農(nóng)林牧漁咨詢服務(wù)互聯(lián)網(wǎng)泛娛樂房地產(chǎn)金融醫(yī)療教育制造零售采礦旅游運(yùn)輸能源排名

模型名稱

總得分123456789GPT3.57.016.78文心一言3.5智譜清言

6.72商湯商量

6.55騰訊混元

6.50紫東太初

6.41百川通義千問

6.33天工

6.326.3510

訊飛星火

6.1211

Minimax

6.0912雅意5.99得分高得分低行業(yè)理解能力由模型在金融、醫(yī)療、教育、零售、泛娛樂、房地產(chǎn)等14大行業(yè)下的八大通識(shí)類問題的表現(xiàn)綜合評(píng)定而成n模型在行業(yè)理解能力評(píng)測(cè)的表現(xiàn)較為泛化，例如GPT3.5在全行業(yè)的表現(xiàn)優(yōu)秀。但不同模型在給自擅長(zhǎng)的領(lǐng)域也有一定差異性，例如，商湯商量的在醫(yī)療業(yè)的得分位列第一根據(jù)模型行業(yè)排名14大行業(yè)綜合熱力矩陣圖可以看出模型在行業(yè)能力有一定的泛化性，例如GPT3.5在全行業(yè)表現(xiàn)都較為優(yōu)秀，而雅意則基本在全行業(yè)的表現(xiàn)乏善。這表明大模型在行業(yè)能力的表現(xiàn)會(huì)一定程度上受到模型本身訓(xùn)練數(shù)據(jù)和能力的影響。來源：沙利文、頭豹研究院400-072-558836大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)分析——行業(yè)理解能力表現(xiàn)?

在14大行業(yè)理解能力評(píng)測(cè)中，GPT3.5、文心一言3.5和智譜清言整體表現(xiàn)突出，商湯商量和紫東太初在特定行業(yè)中優(yōu)異，而百川、通義千問等模型在穩(wěn)定性和特定領(lǐng)域的表現(xiàn)上需進(jìn)一步提高大模型行業(yè)理解能力綜合表現(xiàn)7.56.55.54.5GPT3.5文心一言通義千問智譜清言天工商湯商量訊飛星火騰訊混元紫東太初中科聞歌百川Minimaxn在14大行業(yè)理解能力評(píng)測(cè)中，GPT3.5、文心一言3.5和智譜清言整體表現(xiàn)突出，商湯商量和紫東太初在特定行業(yè)中優(yōu)異，而百川、通義千問等模型在穩(wěn)定性和特定領(lǐng)域的表現(xiàn)上需進(jìn)一步提高在對(duì)14大行業(yè)理解能力的評(píng)測(cè)中，GPT3.5展現(xiàn)出卓越的表現(xiàn)。緊隨其后的是文心一言3.5和智譜清言，兩者整體表現(xiàn)相似，但文心一言3.5略有領(lǐng)先。商湯商量在互聯(lián)網(wǎng)科技、金融、醫(yī)療、零售和咨詢服務(wù)業(yè)方面表現(xiàn)出色。紫東太初則憑借其豐富的知識(shí)庫(kù)和出色的文字生成能力，在行業(yè)理解方面表現(xiàn)優(yōu)異。相比之下，百川、通義千問、昆侖天工和訊飛星火的模型在穩(wěn)定性方面有所下降，不同領(lǐng)域的優(yōu)劣勢(shì)較為明顯。例如，百川在房地產(chǎn)、教育和醫(yī)療方面表現(xiàn)突出，但在零售和采礦業(yè)則失分較多。Minimax和雅意在部分行業(yè)中保持均分水平，但在特定行業(yè)的嚴(yán)重失分使得它們的整體平均分降低，如雅意在零售業(yè)的表現(xiàn)嚴(yán)重影響了其在行業(yè)理解能力的綜合評(píng)分。來源：沙利文、頭豹研究院400-072-558837大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)——行業(yè)理解能力細(xì)分行業(yè)?

在互聯(lián)網(wǎng)科技行業(yè)研究中，高水平的數(shù)據(jù)分析、領(lǐng)域?qū)I(yè)知識(shí)等能力是生成專業(yè)實(shí)用內(nèi)容的關(guān)鍵，文心一言3.5、智譜清言、商湯商量以及天工能夠全面理解行業(yè)多個(gè)方面信息，在互聯(lián)網(wǎng)科技行業(yè)中位居第一梯隊(duì)大模型行業(yè)理解能力——互聯(lián)網(wǎng)科技業(yè)文心一言3.5智譜7.367.297.167.08商量天工混元6.666.656.646.63百川GPT3.5通義千問紫東太初中科聞歌訊飛星火Minimax6.586.376.296.22在互聯(lián)網(wǎng)科技行業(yè)研究中，重點(diǎn)分析技術(shù)創(chuàng)新、發(fā)展趨勢(shì)、競(jìng)爭(zhēng)格局、政策和法規(guī)環(huán)境、用戶需求和行為。生成專業(yè)內(nèi)容需要高水平的數(shù)據(jù)分析、領(lǐng)域?qū)I(yè)知識(shí)、市場(chǎng)洞察能力，對(duì)大模型的計(jì)算資源和訓(xùn)練數(shù)據(jù)有較高要求，以確保研究報(bào)告專業(yè)實(shí)用。n在互聯(lián)網(wǎng)科技行業(yè)，文心一言3.5、智譜清言、商湯商量以及天工憑借其在多個(gè)層面精確且深度的理解回答，位居第一梯隊(duì)在互聯(lián)網(wǎng)科技行業(yè)，文心一言3.5、智譜清言、商湯商量以及天工在行業(yè)分類上有著更為深入細(xì)致的理解，能夠精準(zhǔn)把握不同子領(lǐng)域的特點(diǎn)和需求，還在發(fā)展演變上有著清晰完整的視野，能夠準(zhǔn)確洞察行業(yè)的變化趨勢(shì)。例如，文心一言3.5在關(guān)于互聯(lián)網(wǎng)科技行業(yè)發(fā)展趨勢(shì)的回答上精準(zhǔn)地提及了云計(jì)算、邊緣計(jì)算以及物聯(lián)網(wǎng)技術(shù)等核心要素，其對(duì)技術(shù)創(chuàng)新和業(yè)務(wù)模式變革的敏銳感知，使其能夠?yàn)榭蛻籼峁└咔罢靶院涂沙掷m(xù)性的解決方案。來源：沙利文、頭豹研究院400-072-558838大模型評(píng)測(cè)

|

2023/12中國(guó)：人工智能系列中國(guó)大模型行研能力評(píng)測(cè)——行業(yè)理解能力細(xì)分行業(yè)?

金融行業(yè)研究中，技術(shù)創(chuàng)新、監(jiān)管環(huán)境和市場(chǎng)趨勢(shì)是關(guān)鍵因素，需要深度行業(yè)理解、技術(shù)洞察和數(shù)據(jù)分析能力。GPT3.5、商湯商量、智譜清言以及騰訊混元憑借其對(duì)金融行業(yè)的深入理解和精準(zhǔn)闡述脫穎而出大模型行業(yè)理解能力——金融業(yè)GPT3.5商量7.137.077.036.936.87智譜混元文心一言3.5通義千問百川6.586.58訊飛星火天工6.526.506.446.406.33中科聞歌紫東太初Minimax在金融行業(yè)研究中，重點(diǎn)分析技術(shù)創(chuàng)新對(duì)金融服務(wù)的影響、監(jiān)管環(huán)境和市場(chǎng)趨勢(shì)對(duì)金融機(jī)構(gòu)的戰(zhàn)略決策的影響。生成專業(yè)內(nèi)容需要深度行業(yè)理解、技術(shù)洞察、數(shù)據(jù)分析能力，對(duì)大模型的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)有較高要求，以實(shí)現(xiàn)復(fù)雜數(shù)據(jù)模式的準(zhǔn)確識(shí)別和風(fēng)險(xiǎn)管理的精細(xì)化。n在金融行業(yè)中，GPT3.5、商湯商量、智譜清言和騰訊混元憑借其對(duì)行業(yè)分類、定義、發(fā)展趨勢(shì)和制約因素的深入理解與精準(zhǔn)闡述，位列該領(lǐng)域的第一梯隊(duì)在金融行業(yè)，GPT3.5、商湯商量、智譜清言和騰訊混元以其出色的表現(xiàn)在行業(yè)分類、定義、發(fā)展趨勢(shì)和制約因素的分析上位居前列。以GPT-3.5為例，它通過六個(gè)專業(yè)維度對(duì)金融行業(yè)進(jìn)行了全面而深入的