|｜釘釘卡位戰(zhàn)：SaaS掙不到的錢，Agent會(huì)掙 ｜26歲帶著百人團(tuán)隊(duì)沖刺大模型，面壁智能天才CTO：高效 |｜大模型開閉源爭(zhēng)吵不休：開源落后閉源一年，決定模型能力 ||｜如何1秒內(nèi)快速總結(jié)100多頁(yè)文檔？QQ瀏覽器首次揭秘 ｜京東商家智能助手：Multi-Agents在電商垂域的探索 ｜

｜｜AI｜4

｜｜

第二章：RAG｜智能體技術(shù)發(fā)展趨勢(shì)：談大模型智能體與開放領(lǐng)域融合

AI|｜｜Kimi+Suno

AIGCAIGC--PAGE20釘釘卡位戰(zhàn)：SaaS掙不到的錢，Agent2020年，剛帶隊(duì)做出全國(guó)第一張健康碼的不窮士，從PC時(shí)代開始觸網(wǎng)，完整經(jīng)歷了移動(dòng)互聯(lián)想必已經(jīng)無需用過多筆墨贅述。2022年底至今，

ChatGPT的出圈程度還沒有誰能超越，其背后的FOMO情緒?！?023年，OpenAI、微軟、谷歌等大模型發(fā)布頻繁，李開復(fù)、王小川等也親自下場(chǎng)發(fā)布大模4AI品？這引發(fā)了內(nèi)部關(guān)于從“+AI”到“AI+”的爭(zhēng)論。10AI

轉(zhuǎn)換成以AI為中心后，這個(gè)問題就不難回答?！癆I原生產(chǎn)品從一開始的思考就是全新的，就是AI任務(wù)分解，再到思維鏈，最后到行動(dòng)執(zhí)行，是一種全新的思考架構(gòu)?！辈桓F表示。今年1月，OpenAI正式推出了GPTStore。幾AI4月推出AI有數(shù)據(jù)后發(fā)現(xiàn)，GPTs同質(zhì)化非常嚴(yán)重，而且都AI做全量推薦，只會(huì)推薦精選過的AI助理。

不窮強(qiáng)調(diào)，釘釘模式與GPTStore的不同：GPTStoreAIAgent因?yàn)獒斸敁碛刑烊坏腡oB環(huán)境，其中有大量的ToBAgent而OpenAI目前還欠缺的。AIAI應(yīng)用創(chuàng)作平臺(tái)，Agent在不窮看來，當(dāng)前國(guó)內(nèi)各個(gè)基礎(chǔ)模型之間的差距并不大，未來不是每個(gè)開發(fā)者都會(huì)關(guān)心基礎(chǔ)模型

因此，為快速上線和體驗(yàn)，釘釘選擇了通義千問作為默認(rèn)大模型，除此之外用戶有需求時(shí)還接入AIMinimax等。用戶的業(yè)務(wù)邏輯可以建立在自己選擇的基礎(chǔ)模型體系上，業(yè)務(wù)流程和數(shù)據(jù)流也不會(huì)進(jìn)入釘釘平臺(tái)。不窮在給用戶提供模型的選擇建議時(shí)，會(huì)提醒他token大模型的安全性問題等，如本地部署還是云上部署；工程解決方案的多重性和便捷性等。這些問AI“C“C無疑，GPTStore的模式吸引了大批用戶：剛正式發(fā)布時(shí)，OpenAI就宣稱已經(jīng)有超過300萬個(gè)與傳統(tǒng)軟件相比，AI助理、GPTs等的不同之處

的GPTs目前看相對(duì)來說形式比較單一，沒有傳統(tǒng)軟件那樣強(qiáng)大的業(yè)務(wù)理解能力，因此目前GPTStore不窮認(rèn)為，盡管GPTs的創(chuàng)建能力很強(qiáng)，甚至一1AI2000GPTStore

AIAIGCAppToC根據(jù)不窮之前的訪談，AIAgent“SaaS掙不到的錢，會(huì)通過Agent“SaaS掙不到的錢，會(huì)通過Agent相較C端，B端是不窮更看好的方向，因?yàn)锽

量和自動(dòng)化的方式提高ToB常見工作流和任務(wù)不窮指出，ToB里天然聚集了大量的問題和數(shù)據(jù)。在這樣環(huán)境里AIAgent，傳統(tǒng)SaaSPC開發(fā)流程、產(chǎn)品交互、形態(tài)及維護(hù)等的缺陷都將SaaS都可以用簡(jiǎn)單、低成本的方式實(shí)現(xiàn)。AItoB深入地互動(dòng)，根據(jù)反饋不斷調(diào)整和改進(jìn)。比如在解決一家芯片企業(yè)客服培訓(xùn)難題時(shí)，釘釘團(tuán)隊(duì)要去公司了解實(shí)際工作流程，然后將線下流程轉(zhuǎn)化AI不窮評(píng)價(jià)OpenAI做產(chǎn)品就像是科學(xué)家通過成千

第二種是應(yīng)用層本身帶來的商業(yè)模式。傳統(tǒng)的SaaS模式賺錢較為困難，因?yàn)樗枰罅康亩ㄖ坪捅镜鼗枨?，AIAgent的應(yīng)用能力提供了一AIAgent持久層，整個(gè)過程都得到了簡(jiǎn)化。因此，SaaS“AI能性。他的判斷是，未來十幾年中國(guó)SaaS行業(yè)掙不到的錢可能會(huì)通過AIAgent來實(shí)現(xiàn)。Agent是簡(jiǎn)單的信息查詢和單向交互。比如，AIApp寶訂單等，App

在不窮看來，Agent的最大好處就是它的無限可“我今年非常期待行動(dòng)系統(tǒng)能夠變得更加強(qiáng)大、數(shù)據(jù)質(zhì)量得到提升。隨著越來越多的人洞察到新的場(chǎng)景，AI助理將不再是一個(gè)個(gè)廢話大師、一個(gè)個(gè)需要耐心，如果沒有耐心，那就只是投機(jī)。”同AIAI--PAGE1426才CTO：“盡管有所謂的‘百模大戰(zhàn)’，但實(shí)際上，國(guó)內(nèi)真正能夠成功訓(xùn)練大模型并掌握相關(guān)技術(shù)的團(tuán)隊(duì)并不多?！盩O“不是簡(jiǎn)單地訓(xùn)練出一個(gè)模型就意味著掌握了全部技術(shù)?！泵姹谥悄芷鹩谝蝗簩W(xué)術(shù)極客。2021計(jì)算機(jī)系長(zhǎng)聘副教授劉知遠(yuǎn)的牽頭成立了面壁智NLP1

歲學(xué)編程、高中去曠視實(shí)習(xí)、大二加入清華NLP跟“BMTrain、BMInf主要作者”“OpenBMB開源社區(qū)發(fā)起人”“當(dāng)紅大模型創(chuàng)業(yè)公司CTO”等聯(lián)系在一起，但26歲的他確實(shí)已經(jīng)被推到了大模AIGCAIGCcoding2022年8作為程序員的曾國(guó)洋，是早期第一批申請(qǐng)?jiān)囉没锇椋篈I輔助程序員完成某些任務(wù)，而程序員則“我很喜歡能夠幫助加速編程的工具“我們不應(yīng)該簡(jiǎn)單地認(rèn)為只要代碼被寫出來，程序員的工作就完成了。編寫代碼只是程序員工作的一部分，如何將想法架構(gòu)化以及合理劃分模塊并確保它們之間的有效協(xié)作等，都是程序員工作中相當(dāng)重要的一部分。”去年5月份后，面壁智能的規(guī)模越來越大，內(nèi)部（AGI）AGI

如今，面壁智能已經(jīng)擁有超100人的科研團(tuán)隊(duì)，2880%，KPI--PAGE16

發(fā)展機(jī)遇，但OpenAI等國(guó)外公司的頻繁迭代，確實(shí)也給了國(guó)內(nèi)公司很大的技術(shù)壓力。時(shí)至今ChatGPT剛剛發(fā)布時(shí)，大家都贊嘆它的強(qiáng)大能我自己投入了一些資金，買了幾百條數(shù)據(jù)訓(xùn)練我們的模型。那次訓(xùn)練完測(cè)試后，我感受到了ChatGPT的那種效果。這個(gè)瞬間讓我意識(shí)到，我

清楚地認(rèn)識(shí)到，OpenAI回顧2023年，面壁智能一直略顯低調(diào)地走在大模型潮頭：當(dāng)年5月，發(fā)布了百億參數(shù)的CPM-Bee大模型；年中，推出了千億參數(shù)多模態(tài)模型CPM-Cricket，綜合能力對(duì)標(biāo)GPT-3.5、超越LLaMA2。但在2021年、2022年，國(guó)內(nèi)在大模型上進(jìn)行了大量探索，但最終都沒有出現(xiàn)一個(gè)像ChatGPT今年2月份推出的MiniCPM模型就是面壁智能CEO李大海提出了要“以小搏大”，曾國(guó)洋也表示MiniCPM用2B干掉LLaMA的13B。這意

GPT-3.5增進(jìn)提升之處。面壁MiniCPM基座模型、多模像曾國(guó)洋常常被問到：Transformer會(huì)不會(huì)突然

以Sora為例，曾國(guó)洋認(rèn)為這顯示出人們對(duì)創(chuàng)意Kimi，曾國(guó)洋則一方面表示肯定，“Kimi5

對(duì)于面壁智能來說，開源是成立之初就做好的選擇。正如李大海所說的：“我們一直是開源的受益者，所以也希望做出自己的貢獻(xiàn)。并且，一款擁有良好口碑的開源模型，一定是經(jīng)受住了方方面PPT360“沒有刻意區(qū)分“沒有刻意區(qū)分C端和B端”專業(yè)管理者。2023年，時(shí)任知乎CTO的李大海加入面壁成為CEO，面壁向更為成熟的大模型商4由春華創(chuàng)投、華為哈勃領(lǐng)投，北京市人工智能產(chǎn)業(yè)投資基金等跟投，知乎作為戰(zhàn)略股東持續(xù)跟投支持。除了通過融資獲取資金外，面壁智能目前已經(jīng)能夠通過提供服務(wù)和產(chǎn)品實(shí)現(xiàn)一定的收入。Agent一。對(duì)于Agent，每個(gè)公司、每個(gè)人的理解都不一樣。在面壁智能看來，Agent的邊界還未被定toBtoC，Agent曾國(guó)洋認(rèn)為，Agent實(shí)際上是介于純大模型和通Agent的模型能力必須足夠強(qiáng)大，才能有足夠的智能理解和處理請(qǐng)求和執(zhí)行任務(wù)。Agent還需要

或缺乏足夠技術(shù)儲(chǔ)備的應(yīng)用公司產(chǎn)生影響。如果應(yīng)用公司的技術(shù)壁壘不夠堅(jiān)固，就可能會(huì)在大模型技術(shù)的快速發(fā)展和迭代中受到?jīng)_擊。例JasperAIAI內(nèi)容提供商可能會(huì)因?yàn)镺penAI發(fā)布了新的ChatGPT2024年，行業(yè)更加重視應(yīng)用落地是當(dāng)前的大趨從今年開始，大模型廠商會(huì)開始出現(xiàn)分層。但這個(gè)分層不是因?yàn)槭袌?chǎng)，更多是因?yàn)榧夹g(shù)門檻：大家需要更強(qiáng)的模型、更高效率的推理，更好的Agent等，但不是每家公司都能跟得上這樣的技術(shù)要求。

對(duì)于未來的大模型應(yīng)用，曾國(guó)洋提出了一種分工模式：一些簡(jiǎn)單的、重復(fù)性的任務(wù)由小型的、特定領(lǐng)域的模型來處理；而更復(fù)雜的、需要高級(jí)認(rèn)AI從而讓人類有更多的時(shí)間從事創(chuàng)造性的工作。但AI而人類仍然在處理日常的工作任務(wù)。

2024年，面壁智能將繼續(xù)專注于模型的研發(fā)和AGI他的“KillerAgent”來了2020年是一個(gè)不同尋常的年份。人們因新冠不平安集團(tuán)作為執(zhí)委、平安金融科技CTO推動(dòng)平

推動(dòng)百度云OS初創(chuàng)，也曾擔(dān)任過手機(jī)百度總經(jīng)理，帶領(lǐng)實(shí)現(xiàn)日活躍用戶1億的突破。意料之外，情理之中。在經(jīng)歷了PC和移動(dòng)互聯(lián)ToCToBToB3

CCBToB品理念，甚至PMF理論很多是直接從美國(guó)照搬企業(yè)內(nèi)部通常分為利潤(rùn)中心和成本中心，其中成IT國(guó)內(nèi)許多ToB軟件實(shí)際上是圍繞成本中心設(shè)計(jì)OA系統(tǒng)等，但這些軟件的付費(fèi)能力相對(duì)較弱，轉(zhuǎn)化為直接業(yè)務(wù)價(jià)值的路徑較長(zhǎng)。

很難有底氣地說，企業(yè)增長(zhǎng)的20%-30%是他們不強(qiáng)等都是ToB企業(yè)面臨的普遍挑戰(zhàn)。但長(zhǎng)期從事ToC產(chǎn)品的經(jīng)驗(yàn)告訴黎科峰博士，問題的戶創(chuàng)造價(jià)值，ToC還是ToB反而并不重要。ToB首先需要建立共識(shí)，即讓市場(chǎng)參與者普遍認(rèn)同軟件或解決方案的價(jià)值，否則就得花大量的時(shí)間和傳統(tǒng)的ToB

ToBToBToB軟件開發(fā)商也會(huì)“現(xiàn)在的大模型就像一個(gè)全科研究生，而Agent在明確了大模型對(duì)于ToB的影響后，該如何應(yīng)

GPT-4但對(duì)于如何應(yīng)對(duì)和看待國(guó)內(nèi)外大模型的發(fā)展差OpenAI（數(shù)百億）來發(fā)展大模OpenAI而創(chuàng)業(yè)公司沒有歷史包袱，通常從大模型原生視因此某些產(chǎn)品的體驗(yàn)可能不遜色于大型企業(yè)。企業(yè)會(huì)先投資建立大模型基礎(chǔ)設(shè)施，如購(gòu)買GPU

90%的企業(yè)表現(xiàn)出了明確需求。能夠總結(jié)和生成新的見解。AIAgent不過，找到了應(yīng)用場(chǎng)景后就讓ToB賽道的創(chuàng)業(yè)Agent

AIAgent，用戶可以基于自然語(yǔ)言對(duì)話進(jìn)行交Agent（SwiftAgent）“數(shù)勢(shì)科技的優(yōu)勢(shì)是使用軟件和算法解決問題，而”黎科峰博士說道“是因?yàn)槲覀冇眉夹g(shù)解決傳統(tǒng)上需要大量人力的問題，這也是為什么我們能夠?qū)崿F(xiàn)良好的盈利?！?/p>

越來越卷，好的產(chǎn)品和公司不得不參與價(jià)格戰(zhàn)，最終可能出現(xiàn)經(jīng)營(yíng)困難，造成了“劣幣驅(qū)逐良幣”的局面。大模型市場(chǎng)正在歷史重演。ToB競(jìng)爭(zhēng)環(huán)境中脫穎而出，黎科峰博士認(rèn)為關(guān)鍵有兩AI這是企業(yè)的基因；二是要回歸客戶需求、懂行業(yè)知識(shí)，講能夠引起客戶共鳴的故事。在產(chǎn)品技術(shù)方面，企業(yè)最重要的是想清楚AgentAgent在業(yè)務(wù)需求方面，數(shù)勢(shì)科技并不是什么客戶、什Kow-how“在做技術(shù)負(fù)責(zé)人的時(shí)候，我的考核標(biāo)準(zhǔn)也不是單純地看技術(shù)有多炫酷，而是技術(shù)能不能讓企業(yè)賺錢、省錢，產(chǎn)品最重要的是為客戶創(chuàng)造價(jià)值?！?/p>

天使輪融資的黎科峰博士，如今依然站在To

AIGCAIGC--PAGE30開源和閉源之爭(zhēng)，在大模型時(shí)代依然延續(xù)著。前不久，百度創(chuàng)始人李彥宏在內(nèi)部講話中發(fā)出“開源模型會(huì)越來越落后GPT4Llama3，蘋果、微OpenELM和Phi-3Mini。然而，盡管開源模型在今天的崛起有目共睹，其開源的“眾人拾柴火焰高”優(yōu)勢(shì)并不能完全顯現(xiàn)在大模型上，甚至成本和效率更受影響。那么對(duì)于各個(gè)行業(yè)的廠商來說，身處如今的大模型市場(chǎng)，該做出怎樣的選擇？

帶著這一問題，InfoQ特別邀請(qǐng)了零一萬物開源DataStrato副總AILLMFarm創(chuàng)始人&CEO宜博，一同探討開源與閉源模型的現(xiàn)GPT為代表大概是一企業(yè)使用大模型可能不止一套，會(huì)像今天使用云一樣是混合架構(gòu)；

T越多的人和公司關(guān)注到，現(xiàn)在看是有開源、閉源，ea1a，效果越來越好，大家也越來越aBT4我們希望能看到更多效果更好的開源模型，這實(shí)為三個(gè)階段：小于GPT3或者3.5的，接近于GPT33.5GPT4OpenAIGPT3.5GPT4整個(gè)開源社區(qū)；到去年下半年時(shí)，開源社區(qū)的情GPT3-3.5能力的新模型，今年上半年開始有一些部分能力GPT4

整體來講，開源社區(qū)當(dāng)前還是落后于閉源社區(qū)，GPT開源社區(qū)其實(shí)一直處在追趕閉源社區(qū)的態(tài)勢(shì)，但ora，開源Sora但效果還差很多。APILlama是把權(quán)重open出來，沒辦法以開源社區(qū)貢獻(xiàn)上

林旅強(qiáng)：那照你的描述是不是永遠(yuǎn)閉源走在前面，服務(wù)器領(lǐng)域，Windows現(xiàn)在很難追得上Linux，iOS有一些領(lǐng)域也追不上安卓。大模型領(lǐng)域是由OpenAI開始主導(dǎo)的，所以在其領(lǐng)頭羊位置不變OpenAI林旅強(qiáng)：所以這個(gè)問題應(yīng)該調(diào)整為，GPT跟其他OpenAIAPIAPI曾經(jīng)有個(gè)項(xiàng)目，大概算下來，全部跑APItoken200史少鋒：站在用戶的角度，我覺得今天的SaaSOpenAI有免費(fèi)開放給公眾使用的。對(duì)于ToB領(lǐng)域，可能第一考慮的是數(shù)據(jù)安全，ToC成本，比如客戶是不是愿意模型平臺(tái)把他通過

API所調(diào)用的數(shù)據(jù)拿出去再訓(xùn)練。個(gè)人去使用的APIAPIAPI穩(wěn)定地搞起來；但如果要結(jié)合非標(biāo)的數(shù)據(jù)APIPOC，甚至直接在ChatGPT上免費(fèi)驗(yàn)證，之后如果有開API的多，我就說要先看合應(yīng)用端的用戶無感，可以把SaaS版的大模型作PlanB，相當(dāng)于做了一層保護(hù)機(jī)制。綜合

scalinglaw是存是自己部署的大模型和第三方SaaS大模型之間

不太大的模型。在并發(fā)量或需求量不太大的場(chǎng)gap宜博：實(shí)際上我們會(huì)遇到幾種情況，第一種情況就是直接調(diào)用閉源模型的API，他們號(hào)稱數(shù)據(jù)不第二種是當(dāng)你用三方算力平臺(tái)訓(xùn)練模型時(shí)，也會(huì)發(fā)現(xiàn)有自己訓(xùn)練數(shù)據(jù)被拿去的情況。大家知道現(xiàn)在監(jiān)管非常嚴(yán)，內(nèi)部雖然保證數(shù)據(jù)安全和隱私，但實(shí)際上做合規(guī)很耗精力，面臨的細(xì)節(jié)挑戰(zhàn)還蠻多?，F(xiàn)在整個(gè)落地量不大，所以問題還沒有那么凸顯，但我認(rèn)為未來會(huì)逐步變得重要。

方面也可能做得很好。MetaLlama3，就這就像我們經(jīng)常討論的，閉源軟件安全還是開源所以找不到安全漏洞，但不為人知的漏洞可能會(huì)存在更長(zhǎng)的時(shí)間；開源軟件貌似因?yàn)榇a開放容易被抓到漏洞，但因?yàn)楸缓芏嗳硕⒅偈蛊湓诹致脧?qiáng)：利用開源或閉源大模型解決實(shí)際業(yè)務(wù) 景，在部署過程當(dāng)中有哪些區(qū)分？大家分享一宜博：第一個(gè)觀點(diǎn)是盡量用RAG，不要一上來就做SFT訓(xùn)練；第二個(gè)是盡量不要一上來就用Langchain，要花大量的時(shí)間去學(xué)習(xí)未來90%都史少鋒：關(guān)于大模型在具體業(yè)務(wù)場(chǎng)景的避坑，我覺得還是要實(shí)踐出真知，有一套針對(duì)自己場(chǎng)景的我們想到的辦法是可以用另一個(gè)更高水平的大模RAG好在哪里、難在哪里？也絕不是那些開

policyPII信息是有一套正則開源確實(shí)比較能實(shí)踐社區(qū)的方法，閉源提供API把訓(xùn)練的結(jié)果也就是權(quán)重給open出來，海外也次開發(fā)，例如SFT、繼續(xù)預(yù)訓(xùn)練等，情況有點(diǎn)介AGI

GPT4中目前我AI，意味著這方面的生產(chǎn)效率已在人工智能領(lǐng)域，PromptEngineering（提示工程）Copilot已經(jīng)成為了熱門話題。然而，最近Agent也受到了許多業(yè)界領(lǐng)袖的支持。那么，AgentPromptEngineeringCopilot在本質(zhì)上有何不同？為什么有這么多人堅(jiān)定地看好Agent？未來，Agent是否是大模型落地的正確

&CEO黎科峰博士，百藍(lán)馳創(chuàng)投投資合伙人、TGO鯤鵬會(huì)（北京）學(xué)員石建平以及實(shí)在智能聯(lián)合創(chuàng)始人、CMO張俊九何不同。PromptEngineeringCopilot是一種輔助工具，Agent后可表現(xiàn)為各種各樣的形式。與Agent不同，CopilotAPIAgent而Agent在某些場(chǎng)景中可能會(huì)替代人類，百川去5AgentasaServiceOpenAILilianWengAgent

角度來看，目前的ChatGPT類產(chǎn)品更像是模型石建平從變化的本質(zhì)提出了他的觀點(diǎn)：“對(duì)于未來的應(yīng)用，可能會(huì)有根本性變化的東西產(chǎn)生，大家不應(yīng)該拘泥于‘Agent’或‘Copilot’術(shù)語(yǔ)稱謂，我們更應(yīng)該去抓住它的本質(zhì)?！笔ㄆ竭M(jìn)一步聚焦上一代的應(yīng)用和這一代Agent的區(qū)別，闡述了他對(duì)Agent的理解。他指出，盡管兩者都是軟件，包含component、stateAgentAgetAget展，其潛力和應(yīng)用場(chǎng)景將得到極大擴(kuò)展。Agent是大模型落地非常必要和可行的路徑。首先，它在從任務(wù)到工作的終極目標(biāo)中，Agent真正能替代人形成新的生產(chǎn)力，成為我們的數(shù)字伙伴的重Agent包括許多應(yīng)用和現(xiàn)實(shí)問題的‘最后一公里’。Agent具備自我決策和學(xué)習(xí)能力，以及規(guī)劃、記憶和可擴(kuò)展工具的能力，使其在特定領(lǐng)域具有無限發(fā)展?jié)摿?，是大模型?shí)現(xiàn)具體應(yīng)用的必要途徑?！?/p>

Agent模型要更加活躍，更具想象力。因此，Agent一Aget但真正要讓他成為一個(gè)業(yè)務(wù)上的小能手，還有很長(zhǎng)的一段距離。真正要把它落到企業(yè)端，落到業(yè)務(wù)端，Agent“Agnt知識(shí)處理、邏輯處理、業(yè)務(wù)流程。所以，我們依AgentToB“ChatGPT你們認(rèn)為它對(duì)哪個(gè)業(yè)務(wù)產(chǎn)生了沖擊？”焦可認(rèn)為有三類：信息需求、娛樂需求、交易需求，而最先變革的將發(fā)生在信息類業(yè)務(wù)。原因是大模型是基于高維語(yǔ)義空間的類比，完全不同于以往的關(guān)鍵詞精準(zhǔn)匹配邏輯。以前的搜索引擎是無法閱讀文檔，無法解析和理解圖片，也沒有記憶，無法進(jìn)行多輪對(duì)話，這是革命性的，新時(shí)代的到來一定是做到了以前無法做到的事情。因此，他建議大

2047AI（Agent），這比2022年做的預(yù)測(cè)提前了13年。張俊九認(rèn)為會(huì)是一種百花齊放的場(chǎng)景。個(gè)人場(chǎng)景AIPCToB領(lǐng)域中，AgentRPA。過去，需要

Agent能理解你想做什么，并且自動(dòng)生成并執(zhí)行Agent技術(shù)作為大模型落地的關(guān)鍵路徑，其發(fā)展斷拓展，Agent技術(shù)有望成為推動(dòng)社會(huì)進(jìn)步和行

擁有許多世界頂尖的科研機(jī)構(gòu)和高校。例如，OpenAI、GoogleBrain等公司和研究機(jī)構(gòu)在大型OpenAIGPT-3

就此問題，石建平發(fā)表了他的觀點(diǎn)。石建平認(rèn)為差距確實(shí)存在，但并沒有想象中的那么大，國(guó)內(nèi)“領(lǐng)跑者有其優(yōu)禁運(yùn)等問題，實(shí)際上，大部分真正有資源的大模型團(tuán)隊(duì)，在計(jì)算資源方面，并沒有真正遇到最大的瓶頸。相反，資金方面的壓力可能會(huì)更大，畢Transformer工程師自己也在反思這是否過于的應(yīng)用，許多研究報(bào)告也指出，2024年將有更外模型中文語(yǔ)料庫(kù)相對(duì)較少，例如LLaMA2的中文語(yǔ)料只占0.13%。而我們從一開始就采用雙大的應(yīng)用機(jī)會(huì)。包括Agent架構(gòu)可能會(huì)落地?！?/p>

數(shù)據(jù)和場(chǎng)景分析。他認(rèn)為“隨著算法的開源，這種差距將會(huì)縮小。數(shù)據(jù)方面，無論是整體數(shù)據(jù)還是中文數(shù)據(jù)，我們都需要正視差距。盡管中文在全球知識(shí)中的占比并不大，但語(yǔ)言本身沒有國(guó)界。對(duì)于中文數(shù)據(jù)，中國(guó)的大數(shù)據(jù)量將導(dǎo)致中文理解能力更強(qiáng)?！睆埧【艅t以實(shí)在智能為例，介紹了他們?cè)趹?yīng)用層面的創(chuàng)新?！?ARS型及基于大模型的RPA-Agent智能體產(chǎn)品和解決方案。那時(shí)，我們也是全球首創(chuàng)，解決了兩個(gè)重要的技術(shù)難題。因此，在應(yīng)用層面，我們?cè)诮?/p>

方面。例如，ChatGPT的推出為我們提供了觀察焦可認(rèn)為根據(jù)大模型的ScalingLaws（尺度定走出不同的道路。但總體而言，只要你是基于Transformer架構(gòu)進(jìn)行增加，本質(zhì)上就是一個(gè)算

“我們說中國(guó)缺少原創(chuàng)，另一方面，我們跟隨別人后面。作為投資人和創(chuàng)業(yè)者，我們需要有勇氣去賭未來有新的機(jī)會(huì)。雖然不是任何團(tuán)隊(duì)都有可能做出全球性的創(chuàng)新，但是當(dāng)我們看到這樣的機(jī)會(huì)和團(tuán)隊(duì)時(shí)，我們應(yīng)該有勇氣去賭。否則，我們將APP石建平認(rèn)為行業(yè)里有很多人在做應(yīng)用，做（SupervisedFine-Tun-ing監(jiān)督微調(diào)），做更同時(shí)，他鼓勵(lì)有更大夢(mèng)想的團(tuán)隊(duì)能夠聚集大量資AGIAI但中國(guó)展現(xiàn)出強(qiáng)烈的信心與決心。面對(duì)現(xiàn)狀，中國(guó)需認(rèn)識(shí)到差距，同時(shí)發(fā)掘自身優(yōu)勢(shì)和機(jī)遇。利用算法開源，通過深化應(yīng)用場(chǎng)景、開發(fā)數(shù)據(jù)集和端側(cè)創(chuàng)新，中國(guó)有望實(shí)現(xiàn)快速發(fā)展。此外，原創(chuàng)性技術(shù)創(chuàng)新對(duì)長(zhǎng)期領(lǐng)先地位至關(guān)重要，投資人和從業(yè)者在此過程中扮演關(guān)鍵角色，需支持創(chuàng)新并AIGCAIGC--PAGE1001100QQ瀏覽前沿實(shí)踐，我們?cè)赒Con全球軟件開發(fā)大會(huì)上邀

請(qǐng)了騰訊QQ瀏覽器的專家研究員郭偉東。他為QQ瀏覽器是一個(gè)月活躍用戶超過4億的綜合信

其中「用」是指QQ瀏覽器里工具的使用，也稱為幫小忙，QQ

,所以是一種被動(dòng)式的信息獲正因如此，QQ:文檔閱讀語(yǔ)言模型的發(fā)展始于20世紀(jì)80年代，最初基第二階段起始于2003年，Bingo把神經(jīng)網(wǎng)絡(luò)引NLP2013Word2Vec的向量表達(dá)（embedding），克服了以往統(tǒng)計(jì)

embeddingBERT嵌入向量，允許相同的詞在不同上下文中具有不同的表達(dá)，從而顯著提高了模型的遷移性，NLP的學(xué)習(xí)范式也由end2end+最后，是大語(yǔ)言模型階段。2017"AttentionisAllYouNeed"Transformer有的大語(yǔ)言模型都基于Transformer結(jié)構(gòu)。從2018年到2020年，大語(yǔ)言模型領(lǐng)域的探索Transformer其包含的Encoder和Decoder兩個(gè)關(guān)鍵部分被例如，OpenAI的GPT系列是典型的DecoderOnly模型，專注于自然語(yǔ)言生成任務(wù)；而谷歌的BERT模型則作為雙向語(yǔ)言模型主要使用Encoder部分，專注于自然語(yǔ)言理解任務(wù)。這一時(shí)期，研究者們大量對(duì)BERT進(jìn)行改進(jìn)和變體研究。到2019年，谷歌推出了T5架構(gòu)，旨在將

現(xiàn)在來看，GPT系列成為了大家普遍的模型結(jié)構(gòu)。但是當(dāng)時(shí)雖然出現(xiàn)了參數(shù)規(guī)模巨大的模型GPT-，這些模型在生成能力上非常強(qiáng)大，但是對(duì)于指令的理解并不好。2021年，谷歌推FLAN模型，并引入了指令微調(diào)（InstructTuning）技術(shù)，極大地增強(qiáng)了模型對(duì)具體指令的理解和執(zhí)行能力。到了2022年，模型發(fā)展進(jìn)一步加速，OpenAIInstructGPT，不僅整合了指令微調(diào)技術(shù)，還引入了強(qiáng)化學(xué)習(xí)，使模型產(chǎn)出的答案更加符合人類的預(yù)期。直到2022年底，OpenAI推出ChatGPT提示工程通過調(diào)整模型的輸入指令（Prompt）

新訓(xùn)練模型，僅通過修改輸入指令即可快速適應(yīng)各種業(yè)務(wù)場(chǎng)景，但它要求模型本身具有很全面的QQ瀏覽器文檔閱讀助手就是在騰訊混元模型的

2tokens，具備強(qiáng)300接入騰訊混元大模型內(nèi)測(cè)，包括QQ瀏覽器、騰QQQQ· PDF長(zhǎng)度為4000Token或更少，這意味著它們不能

1：PDF第一種是在訓(xùn)練階段使用更長(zhǎng)的上下文，但這會(huì)導(dǎo)致顯著的顯存和算力消耗增加，因?yàn)門ransformer架構(gòu)的顯存需求與支持的長(zhǎng)度平方第一種方案，不管文章多長(zhǎng)，只取前KToken供模型處理，然后生成摘要，但會(huì)丟失部

第二種，稱為MapReduce的方法。先把文章NNLLM利用原

騰訊的總收入是多少元”，而生成的問題通常會(huì)直接是“第三季度騰訊的總收入是多少元？”。但是，實(shí)際上用戶可能會(huì)用更口語(yǔ)化的方式表達(dá)，比如說“騰訊賺了多少錢？”。真實(shí)的用戶也會(huì)提出復(fù)雜的問題。例如，用戶2023年，微軟發(fā)布了一篇關(guān)于“進(jìn)化學(xué)習(xí)”的論文WizardLM，主要通過廣度進(jìn)化和深度進(jìn)SFT2問題長(zhǎng)度的變化，可以看出問題復(fù)雜度隨著進(jìn)化輪數(shù)增多而增加。但問題的可用性卻在持續(xù)下降，到了第五輪時(shí)，可用性已經(jīng)下降至85%以下。雜交進(jìn)化，如圖4示例所示：“小明是一個(gè)愛讀書的人，他有一定的讀書效率；小紅則是一個(gè)愛寫作的人，她有一定的寫作速度”。雜交進(jìn)化算法中，結(jié)合這兩個(gè)種子的特點(diǎn)，能夠生成一個(gè)更加復(fù)雜的問題，使得原本兩個(gè)簡(jiǎn)單的問題被轉(zhuǎn)化成了一個(gè)更加復(fù)雜的問題。

圖2:WizardLM3:WizardLM4：與WizardLM相比，雜交進(jìn)化方法有以下幾個(gè)顯著特點(diǎn)。首先是生成效率更高。WizardLM方法如果總的種子數(shù)量是n，每一輪進(jìn)化生成新的nnn-1，所以當(dāng)種子樣本數(shù)

其次，在樣本的主題分布上，生成的樣本（紅色部分（藍(lán)色部分對(duì)于大模型的訓(xùn)練幫助更大，更詳細(xì)的細(xì)節(jié)可以參考我們的論文。

深加工得到答案的問題（AgentQA）

用戶常常會(huì)省略一些詞匯，所以先對(duì)問題進(jìn)行改80%左右。Pooling導(dǎo)致相關(guān)文本片段的語(yǔ)義被稀釋。如：一段5005050因此，我們嘗試了第二種架構(gòu)，保留了500字確率有顯著提升，在業(yè)務(wù)數(shù)據(jù)集中，效果超過OpenQA與CloseQA的主要區(qū)別在于原文中沒過QQ瀏覽器的搜索引擎提供相關(guān)網(wǎng)頁(yè)，然后通AgetQA系統(tǒng)是解決原文和搜索引擎都無法提供答案時(shí)，大型語(yǔ)言模型將復(fù)雜任務(wù)分解成若干:用戶想要了解騰訊流動(dòng)利率時(shí)，LLM然后，找出具體的流動(dòng)資產(chǎn)和流動(dòng)負(fù)債的數(shù)值；最后，使用計(jì)算器計(jì)算出流動(dòng)利率。

題，我們提出了一種新的解決方案：語(yǔ)言模型+LLM回復(fù)非常靈活，自動(dòng)化評(píng)估是加速模型迭代

型中，讓LLM判斷摘要的質(zhì)量。第二種評(píng)估方法可以參考TACL的一篇論文。這

不同長(zhǎng)度的樣本，常規(guī)用padding

Packing實(shí)驗(yàn)表明，在達(dá)到相同訓(xùn)練效果的情況下，Packing訓(xùn)練時(shí)長(zhǎng)約Padding方式的64.1%

此，Packing策略大大提高了訓(xùn)練的效率和模型京東商家智能助手：Multi-AgentsReActLLMAIAgents，AgentAgent

QCon2024京東零售數(shù)據(jù)與算法通道委員韓艾，根據(jù)自己和團(tuán)隊(duì)在京東的技術(shù)實(shí)踐經(jīng)歷，發(fā)表了題為《京東商家智能助手：AI多智能體系統(tǒng)在電商垂域的探索與創(chuàng)新》的演講，她闡述了Multi-Agents如何模擬真實(shí)的商家經(jīng)營(yíng)，并介紹Rect范式的Multi-AgentAgentInfoQAgent需要模擬人類的決策過程，因此需要先了需要先理解需求，然后從長(zhǎng)篇的業(yè)務(wù)文本中抽取出問題解決的大方向或目標(biāo)。定位問題后，形成逐步的解題思路，再靈活調(diào)用各種資源和工具來以及使用人腦進(jìn)行總結(jié)和篩選重點(diǎn)內(nèi)容。經(jīng)過這一系列操作后將問題的最終答案返還給商家。那么如何將現(xiàn)實(shí)空間的平臺(tái)咨詢顧問映射到Aget？顧問這個(gè)角色是我抽象出來的，京東實(shí)際上并沒有這樣的角色。對(duì)于商家來說，每天提供專屬服務(wù)的實(shí)際上是我的許多同事，包括在線客服、業(yè)務(wù)運(yùn)營(yíng)人員以及產(chǎn)品經(jīng)理，他們解答各種問題。那是否需要為每個(gè)崗位角色構(gòu)建一個(gè)Aget？解決這個(gè)問題時(shí)，我們還要回到應(yīng)用場(chǎng)景，從商家的需求出發(fā)：無論誰在回答問題，對(duì)Agent

AIAgent他們將體驗(yàn)到一個(gè)永遠(yuǎn)在線的百科全書，能夠突破時(shí)間、體力和知識(shí)掌握的極限。對(duì)平臺(tái)來說，可以降低成本。agent對(duì)于現(xiàn)代電商商家來說，了解經(jīng)營(yíng)狀況通常從查看數(shù)據(jù)開始，然后才能評(píng)估經(jīng)營(yíng)狀況。他不會(huì)直接去系統(tǒng)讀取數(shù)據(jù)或編寫數(shù)據(jù)庫(kù)查詢語(yǔ)言，而是直接“調(diào)度”數(shù)據(jù)分析師這一角色，因?yàn)樯碳仪宄约旱哪繕?biāo)是數(shù)據(jù)相關(guān)的服務(wù)。于是，他將任務(wù)分配給團(tuán)隊(duì)中的數(shù)據(jù)分析專家，這位專家經(jīng)過一商家需要閱讀并理解這份數(shù)據(jù)報(bào)告，他可能會(huì)發(fā)現(xiàn)新用戶的留存率不佳的問題。這時(shí)，商家會(huì)根據(jù)新發(fā)現(xiàn)的問題更新決策。agentReAct理（reasoning）過程。在解決問題的思路上，Agent當(dāng)商家發(fā)展到一定階段，他們通常會(huì)聘請(qǐng)一個(gè)“最強(qiáng)大腦”來代理所有這些調(diào)度工作。這個(gè)“最強(qiáng)大腦”可以被理解為一個(gè)“總管”。有了總管，所有的調(diào)度工作都由總管代理完成，而商家只需要與總管溝通即可。這樣的協(xié)作模式可以極大地提高商

從單一個(gè)體到各個(gè)專業(yè)領(lǐng)域的專家團(tuán)隊(duì)，再到基礎(chǔ)的執(zhí)行工具，共同幫助商家完成了一個(gè)決策過Agent。AIAPI。AIAgent。AIAgent的現(xiàn)實(shí)版樣例?，F(xiàn)在來到AI空間，請(qǐng)出我們的

商家智能助手，我們暫且稱呼它為MarioX。將現(xiàn)實(shí)空間的團(tuán)隊(duì)映射到AI空間，我們用大量TransformersAI版的商MasterAgent（主代理）領(lǐng)導(dǎo)的多領(lǐng)域Agents團(tuán)隊(duì)，團(tuán)隊(duì)同時(shí)掌控著一系A(chǔ)PI。體驗(yàn)提升：商家可以享受到7*24小時(shí)的在線效率提高：商家不再需要學(xué)習(xí)使用各種工具

和專業(yè)知識(shí)，只需用他們最熟悉的經(jīng)營(yíng)語(yǔ)言與MasterAgent溝通，即可直接享受系統(tǒng)提供的各ReActAgent構(gòu)建ReActAgentAgent會(huì)經(jīng)歷一個(gè)innerloopreasonin（推理它對(duì)應(yīng)于我們之前討論的思維過程，即生成解題思路和大目標(biāo)的步驟。reasoning過程包含兩個(gè)主要部分：Thought（思考）：我將其定義為用人類自然語(yǔ)言描述的解題決策思路。但是，為了調(diào)度系統(tǒng)工具，LLM需要發(fā)出指令，因此需要將這種人類語(yǔ)言翻譯成系統(tǒng)能解析的研發(fā)語(yǔ)言（即下面的actioncode）。ActionCode（動(dòng)作代碼）：基于生成的Thought，Agent會(huì)繼續(xù)生成ActionCode。這Code不直接執(zhí)行Action，而是執(zhí)行action的指令。ActionCodeThought的，因?yàn)門hought

ActionCode的定義可能非常復(fù)雜，提取JSON中的一些簡(jiǎn)單MasterAgentAgentsAPI。JobDescription：如果調(diào)度的是Agent，需要AgentTrust_Mode：這是考慮性能和Agent質(zhì)量的一個(gè)字段，它決定了Agent在接收到工具返回observation（觀察結(jié)果）后，是再次進(jìn)行reasoningActionCodeAgentsAPITools行代碼。當(dāng)這些工具完成工作并將observationAgent，Agentreasoning。這個(gè)過程會(huì)一直持續(xù)，直到

Trust_Mode1AgentMulti-Agent的工作流程MarioX戶和MasterAgent之間建立了聯(lián)系，它會(huì)再?gòu)腗emory接下來，Masteragent開始內(nèi)部推理。在這個(gè)階段，Masteragent的LLM理解商家提出的問發(fā)任務(wù)。LLM需要向商家追問一個(gè)條件，因?yàn)楸Ｓ靡粋€(gè)名為Echo的工具，Echo的作用僅僅是Masteragent將Trust_Mode設(shè)置為1，因?yàn)镋cho的任務(wù)是單向傳遞信息，不需要再返回給LLM進(jìn)行推理。ActionCode，EchoAPIMemory。第二輪，商家回答說他賣花，這時(shí)用戶的信息再次流向Agent，LLM根據(jù)商家提供的信息和Memory，生成解答思路在Thought中。LLM知道現(xiàn)在需要調(diào)度的對(duì)象是ConsultingAdvisor，即前面提到的平臺(tái)咨詢顧問Agent版。LLMAdvisor傳遞了一個(gè)JobDescription，

Advisor是一個(gè)Agent，需要與之溝通并分配任務(wù)。Agent之間的通信協(xié)議也是基于ActionCode，告知Advisor商家需要查詢的類目對(duì)應(yīng)的入住保證金費(fèi)用。此時(shí)Trust_Mode設(shè)置為1，意味著Advisor完成任務(wù)后不需要再返回給LLM，因?yàn)長(zhǎng)LMAdvisor詢?nèi)蝿?wù)。這是出于性能考慮，避免讓用戶等待過AdvisorAgent同時(shí)更新Memory。最終，Masteragent回答用戶的問題。第三輪，當(dāng)客戶提出為花店起名時(shí)，rtM3。第一輪：，而是直接調(diào)用一個(gè)特定I會(huì)更加高效。它調(diào)用的是一個(gè)名為pe的型的起名工具，它需要接收的輸入?yún)?shù)是店鋪的類目信息。他從yt提供的信息，即商家經(jīng)營(yíng)的是“生活鮮花，并將這個(gè)信息作為參數(shù)傳遞給pe。在這一e，這意Ir做其他的推理，而不是直接輸出給用戶。我們回ReActAPI所有這些步驟完成后，相關(guān)信息都會(huì)被推入Memory，這就是Multi-Agent工作架構(gòu)的一個(gè)

AgentMasterAgent別在于，MasterAgent直接與用戶交互，而普Agent則接收來自MasterAgentActionCodeActionCode轉(zhuǎn)化為服務(wù)層協(xié)議，Multi-agent架構(gòu)采用分層次的方法，將一個(gè)大源方，比如營(yíng)銷的Agent，我們可以迅速地將其險(xiǎn)的累積。如果MasterAgent出錯(cuò)，那么整個(gè)

此外，由于可能需要經(jīng)過多個(gè)LLM生成步驟，AgentThought，AgentAgentObservation返回后再明確調(diào)用哪個(gè)Tools，然后生成ActionCode。這ThoughtAction可以分兩輪生成，這2

Agent相關(guān)問題和操作步驟。目前，這個(gè)全新的Agent架構(gòu)助手產(chǎn)品已經(jīng)在京東商家端進(jìn)行灰度對(duì)基礎(chǔ)，并不包括那些開放式的問題，比如“告

AIagentReActSFT：SFT

將這兩部分結(jié)合起來，我們就得到SFT樣本的基礎(chǔ)池。接下來，對(duì)基礎(chǔ)池進(jìn)行豐富度擴(kuò)充。其中最主要的是對(duì)問題（Q）的擴(kuò)充。有了問題和答案（A），以及調(diào)用路徑，我們接下來需要生成中間的標(biāo)簽（label）thoughtaction要研發(fā)的配合，他們需要按照標(biāo)準(zhǔn)來注冊(cè)API。復(fù)雜輸入下的ThoughtAgent生成Thought，再解析ActionCode。因此，生成一個(gè)強(qiáng)大的Thought

單純用RAG和用LLMagent解題的效果，比較一下有和沒有好的Thought的區(qū)別。(1）RAG例如，用戶提出了一個(gè)問題：“在京東賣紅酒要多少錢？”如果直接使用Retrieval（檢索增強(qiáng)）來Quer（查詢Similarit（相似度在召回的文本中，可能會(huì)看到白酒、黃酒等，但實(shí)際上并沒有答案，因?yàn)榧t酒這個(gè)類目在我們的知識(shí)庫(kù)中并不存在，它不是開店保證金的一個(gè)選SummaryMode（總結(jié)模型）也無法給出正確的答案。(2）LLMAgent助手中的Advisor在經(jīng)過訓(xùn)練后，會(huì)以特定的方式解題。還是開始于MasterAgent與用戶的對(duì)話。MasterAgent并不直接理解這個(gè)問題，多少？”通過ActionCode傳遞給Advisor。ActionCodeJobDescription是“請(qǐng)回答

Advisor在處理這個(gè)查詢時(shí)，首先理解紅酒實(shí)際上屬于葡萄酒這一類別。因此，Avisor的Thought中生成出應(yīng)該查詢的是葡萄酒類目的入住資費(fèi)，并確定了使用哪些關(guān)鍵詞來傳給調(diào)度的APIActionCode會(huì)傳遞給檢索API這個(gè)關(guān)鍵入?yún)?，即SearchQuery“葡萄酒保證金”。這個(gè)參數(shù)不再是用戶的原始問題，而是根據(jù)Advisor的推理進(jìn)行了調(diào)整。API本身沒有決策能力，但由于Agent具有推理能力，它能確保傳遞給工具的輸入是正確的，從而用正確的參數(shù)喚起正確的工具。在第二個(gè)任務(wù)中，SummaryAPI接收到一個(gè)關(guān)鍵的輸入?yún)?shù)，稱為ThoughtforAnswer，Advisorthought生成的關(guān)于紅酒與葡萄酒類目關(guān)系的理接下來，advisorRAGhQuery變?yōu)椤捌咸丫票ＷC金”。雖然召回的葡萄酒與原始問題的“紅酒”相似性不高，但由于顧問使用了“葡萄酒”和“保證金”作為搜索關(guān)鍵詞，并將回答問題的思路作為Prompt的一部分傳遞給總結(jié)API，API就能夠根據(jù)Advisor提供的推理思路，正確地回答關(guān)于紅酒保證金的問題，即通過查看葡萄酒的保證金來得知紅酒的保證金情況。復(fù)雜輸入下的Thought在復(fù)雜輸入的情況下，訓(xùn)練出能夠準(zhǔn)確生成Thought的模型是關(guān)鍵。由于這類問題的答案并不直接存儲(chǔ)在知識(shí)庫(kù)中，我們需要從算法層面進(jìn)Badcas（不良案例從中發(fā)現(xiàn)問題并拓展解題思路。

型進(jìn)行標(biāo)準(zhǔn)的SFT，在這個(gè)階段，模型會(huì)學(xué)習(xí)到ThoughtReAct為了定位BadCase，我們實(shí)施了全鏈路ReAct監(jiān)控。具體來說，我們會(huì)收集在線推理生成的Thought、ActionCode和Observation，然后通過人工打標(biāo)+大模型來進(jìn)行評(píng)估。AgentAgent的具體定義緊密相關(guān)，因?yàn)椴煌腁gentThought、ActionCodeObservation。值得注LLM生成的，它的質(zhì)量會(huì)影響下一輪的Thought生成。

Observation不完全由LLM控制，因此Observation的評(píng)估基于這些評(píng)估結(jié)果，我們會(huì)有一個(gè)流程來決定AgentAgentReAct該Agent將不再參與后續(xù)得分的累加，意味著它已經(jīng)退出了推理過程。如果Agent的得分符合要最后一輪，AgentReActγ和η，

AgentReAct我們需要幫助商家更好地經(jīng)營(yíng)生意。盡管在平臺(tái)定價(jià)等，但目前還沒有一種方式能夠讓商家根據(jù)自己的業(yè)務(wù)思路，按照黃金流程組合使用這些工具。無論是問答數(shù)據(jù)、溝通數(shù)據(jù)還是交互數(shù)據(jù)，這些都需要我們?nèi)ナ占驼稀?/p>

的代碼智能助手架構(gòu)師劉夏在AICon2024北京

了代碼補(bǔ)全和代碼編輯這兩種典型的應(yīng)用形態(tài)。同時(shí)，還分析了當(dāng)前代碼補(bǔ)全面臨的挑戰(zhàn)和局限性，闡述了代碼編輯是如何在交互和構(gòu)建方法上InfoQGitHubCopilotCopilotCopilotGitHub20216GitHubCopilot。這個(gè)產(chǎn)品不僅擁有一個(gè)響亮的名字，而且定義了一種新的AI產(chǎn)品的范式。GitHubCopilot20216這里有一個(gè)關(guān)鍵問題：為什么是GitHubCopilot技術(shù)應(yīng)用于代碼生成并不是一個(gè)新概念，例如TabNineGPT-2時(shí)代就已經(jīng)將其應(yīng)用于代碼補(bǔ)全。那么，GitHubCopilot究竟有何特別之處呢？我們想要從幾個(gè)方面和維度來探討這個(gè)問題。首先，我想提到團(tuán)隊(duì)，GitHubNext是這個(gè)產(chǎn)品的孵化團(tuán)隊(duì)。GitHubNext是一個(gè)具有研究屬性

接下來，我想談?wù)勔粋€(gè)重要的契機(jī)，那就是20206GPT-3GitHub在是微軟的子公司，而微軟與OenAI有著深入的合作，GitHubGPT-3覽版，并對(duì)其能力感到非常興奮。他們認(rèn)為必須GPT3在代碼生成領(lǐng)域做出一些創(chuàng)新，因OpenAIGPT-3迭代開發(fā)CodexCodex屬的模型。一個(gè)強(qiáng)大且優(yōu)秀的基礎(chǔ)模型實(shí)際上決定了產(chǎn)品的上限，因此GPT-3的出現(xiàn)對(duì)這款產(chǎn)品的貢獻(xiàn)是巨大的。有了模型之后，團(tuán)隊(duì)開始思考應(yīng)該開發(fā)什么樣的產(chǎn)品形態(tài)。根據(jù)GtHub的分享，他們最初的想法是開發(fā)一款Chatbt，即一款能夠解答編碼過但他們很快發(fā)現(xiàn)，盡管知識(shí)庫(kù)中大部分問題都能得到回答，但只有大約20%的回答是正確且被接受的。尤其是在GPT-3時(shí)期，ChatGPT還要兩年后才出現(xiàn)，他們意識(shí)到這種Chatbt的效果并不理想。如果大部分時(shí)候給出的答案都不是用戶想要的，用戶對(duì)產(chǎn)品的信任度會(huì)很低。于是他們決定先采用代碼補(bǔ)全這種容錯(cuò)率更高100%選擇好產(chǎn)品形態(tài)后的一個(gè)要素是交互方式。GitHubCopilotIDE擇補(bǔ)全建議的交互，而是選擇了用GhostTextTab代碼補(bǔ)全產(chǎn)品的一個(gè)技術(shù)挑戰(zhàn)是實(shí)現(xiàn)低延遲，

Jetbrains在開發(fā)傳統(tǒng)的補(bǔ)全功能時(shí)甚至要求在150ms內(nèi)出現(xiàn)推薦列表以達(dá)到最佳的開發(fā)者體等待。GitHubCopilot在大語(yǔ)言模型的推理速度的LLM應(yīng)用做到500ms左右的平均延遲。prompt隨著大語(yǔ)言模型的發(fā)展，特別是從2023年開

checkpointA/B系統(tǒng)來驗(yàn)證不同的prompt策略、參數(shù)配置，甚

A/B測(cè)試的重要性。們避免使用不恰當(dāng)?shù)脑u(píng)測(cè)指標(biāo)，如HumanEval，HumanEval通過完成人工編寫的算法題并運(yùn)行能很高，但這并不意味著模型在代碼補(bǔ)全產(chǎn)品中的表現(xiàn)就一定好。例如，GitHubCopilotHumanEval上的得分可能不高，但其用戶體驗(yàn)仍

最后，安全的自動(dòng)化評(píng)測(cè)系統(tǒng)對(duì)于模型迭代至關(guān)重要。它不僅可以通過執(zhí)行結(jié)果來驗(yàn)證代碼的正確性，還可以防止模型生成有害代碼，如刪除根目錄或造成大量?jī)?nèi)存分配等問題。高效的沙箱測(cè)試環(huán)境和高并發(fā)支持對(duì)于大規(guī)模的評(píng)測(cè)也是必不可少的。通過這樣的評(píng)測(cè)系統(tǒng)，我們可以在訓(xùn)練過程中對(duì)不同hckpoint的模型效果進(jìn)行評(píng)估，從而為模型選型和迭代提供有力支持。

Tab在探討如何科學(xué)地定義指標(biāo)時(shí)，引入了由一家專門從事代碼補(bǔ)全產(chǎn)品的公司提出的。CPO的計(jì)算公式由五個(gè)因子相乘得到：嘗試率、tokentokenAI

那么即使推薦返回了也沒有意義。如果發(fā)起6次請(qǐng)求，最終只有3次被展示，反饋率就是3/6。1/3。tokentokentokenChatGPT的詞表較大，平均一個(gè)token可以生CPO指標(biāo)的計(jì)算公式是這幾個(gè)因子的乘積，它衡嘗試率。此外，當(dāng)線上出現(xiàn)問題時(shí)，CPO指標(biāo)也A/BA/B測(cè)試在產(chǎn)品開發(fā)過程中扮演著至關(guān)重要的角

如，一個(gè)非常強(qiáng)大的模型如GPT-4，可能會(huì)因?yàn)锳/B測(cè)試還可以幫助我們確定各種參數(shù)配置的合16K16KA/B此外，A/B測(cè)試還可以驗(yàn)證新的提示工程策略的

些問題都需要通過A/B測(cè)試來驗(yàn)證。最后，A/B測(cè)試還可以幫助我們發(fā)現(xiàn)并改進(jìn)產(chǎn)品A/B大語(yǔ)言模型擅長(zhǎng)生成下一個(gè)token，這與代碼補(bǔ)

輯現(xiàn)有代碼時(shí)，簡(jiǎn)單地刪除一行然后重新編寫是低效的。理想情況下，我們希望模型能夠自動(dòng)完成新增、刪除、替換等操作，從而提高代碼編輯能夠更好地適應(yīng)軟件工程師在實(shí)際工作中的各種代碼操作需求，提供更加全面和智能的代碼輔助功能。對(duì)代碼進(jìn)行更深層次的理解和編輯。例如，假

設(shè)你寫了一個(gè)lg函數(shù)，該函數(shù)用于打印一個(gè)message，并且有兩個(gè)函數(shù)作為調(diào)用方來使用這loglog函數(shù)添加兩個(gè)新的參數(shù)，比如sourceMethodlevel，用以打印出對(duì)應(yīng)的方法print語(yǔ)句中添加新參數(shù)，以的值給log函數(shù)。print語(yǔ)句中加入這些

Go語(yǔ)言中，如果你有一個(gè)結(jié)構(gòu)體并且希望它在多線程環(huán)境下保持線程安全，通常會(huì)引入互斥鎖（mutex）來實(shí)現(xiàn)。在這種情況下，你需要在（new（set方法中添加鎖操作。智能的代碼編輯推薦系統(tǒng)應(yīng)該能夠預(yù)測(cè)到你接下來需要進(jìn)行的操作。例如，newsetget碼。當(dāng)你的光標(biāo)移動(dòng)到相應(yīng)的方法上時(shí)，推薦系統(tǒng)就可以給出這些建議。Git中海量的commit數(shù)據(jù)，這些數(shù)據(jù)包含了豐富的

它們往往包含噪音，例如在commit信息中夾帶

代碼表示模型作為基礎(chǔ)，并通過持續(xù)訓(xùn)練和（SupervisedFine-Tuning）等方法讓模型理解集成在集成開發(fā)環(huán)境（IDE）UIError）和警告（Warning）的修復(fù)功能。這是一

我們還在探索光標(biāo)移動(dòng)的自動(dòng)識(shí)別和推薦功能。目前，模型通常需要等到開發(fā)者的光標(biāo)移動(dòng)到特定位置后才能進(jìn)行預(yù)測(cè)和推薦。我們希望優(yōu)化這一點(diǎn)，讓模型在開發(fā)者完成編碼時(shí)就能預(yù)測(cè)下一步可能的編輯位置，并直接提供相應(yīng)的推薦。這整個(gè)代碼倉(cāng)庫(kù)的內(nèi)容。目前，KM級(jí)別的

如Magic.dev和Supermaven正在探索使用非TransformerAgentAI現(xiàn)了一些體現(xiàn)這一思路的例子。Replit的代碼修復(fù)Agent展示了AI

IDEAI是一種有效的主動(dòng)式AI交互方式。明尼蘇達(dá)大學(xué)的研究“SketchThenGenerate”在QCon北京2024大會(huì)上，字節(jié)跳動(dòng)技術(shù)專家《SRECopliot：基于大語(yǔ)言模型的智能運(yùn)維InfoQ整理，經(jīng)王寧老師AIOpsSRE-CopilotAIOps2023

間件如Redis、MySQL、Kafka等的各個(gè)集群?？?cái)?shù)據(jù)，如CPU負(fù)載、常見的出入網(wǎng)流量，系為什么需要為什么需要SRE-Copilot框架SRE-Copilot框架可以通過大語(yǔ)言模型的能力，傳統(tǒng)的AIOps

通常，這些經(jīng)驗(yàn)會(huì)被簡(jiǎn)化為閾值或復(fù)雜的規(guī)則，不僅難以維護(hù)，也難以傳承。SRE-Copilot框架通過大語(yǔ)言模型，將專家經(jīng)驗(yàn)轉(zhuǎn)化為模型可以理解和推理的形式，從而提升了故障處理的能力。AIOps私域數(shù)據(jù)的處理和定制化開發(fā)也增加了成本。SRE-Copilot框架采用集成學(xué)習(xí)的概念，通過模AIOpsAIOpsSRE-Copilot

SRE在比賽上，我集成了一些簡(jiǎn)單的場(chǎng)景，雖然每個(gè)場(chǎng)景本身并不復(fù)雜，但我們盡可能探索了許多新SRE-Copilot比如我們實(shí)現(xiàn)了故障分類功能，并讓框架能夠生成故障自愈的代碼，以自動(dòng)化處理常見的問題。根據(jù)提前設(shè)定的Agent，模型會(huì)匹配并確定哪些Agent能夠在排障工作流程中發(fā)揮作用，然后將Agent

AgentAgentAgentCMD（配置管理數(shù)據(jù)庫(kù)然后觸發(fā)下一輪更深入的檢測(cè)。如果沒有更多的信息，模型會(huì)開始進(jìn)行根因診斷，檢索歷史故障

在比賽的復(fù)現(xiàn)過程中，我們?cè)诮ㄐ性频?核和16G內(nèi)存的堡壘機(jī)上進(jìn)行了演示，并使用了一V100顯卡。實(shí)際上，我們僅使用了開源的ChatGLM6B的小模型，就實(shí)現(xiàn)了上述效果。SRE-CopilotSRE-CopilotToolSRE-Copilot中，Toolcalling是指將大語(yǔ)言模型與外部工具有效結(jié)合或交互的能力。這因?yàn)樗梢哉{(diào)用外部工具來獲取所需的信息。

例如，接口可以根據(jù)給定的地點(diǎn)查詢天氣，它是function（location）和溫度單位（如攝氏度或華氏度）。成熟的大語(yǔ)言模型，如ChtGPT或文心一言，通常都是通過相似的訓(xùn)練方法來實(shí)現(xiàn)這一機(jī)制。模型會(huì)調(diào)用適當(dāng)?shù)暮瘮?shù)，并且能夠從用戶的問題中提取出必要的參數(shù)。假設(shè)用戶詢問的是倫敦的天氣，模型會(huì)自動(dòng)將“倫敦”作為locaton調(diào)用天氣查詢接口，從而提供準(zhǔn)確的天氣信息。SRE-Copilot架構(gòu)中的另一個(gè)重要概念是檢索增強(qiáng)生成（Retrieval-AugmentedGeneration，稱RAG）。RAG結(jié)合了搜索技術(shù)和大語(yǔ)言模型，RAG能夠解決新知識(shí)的問題。以電影為例，如果45

RAG也適用于長(zhǎng)尾問題，即那些在模型訓(xùn)練時(shí)不庫(kù)的QA文檔。一旦檢索到相關(guān)文檔，我會(huì)將文

GitHub點(diǎn)贊數(shù)并想要得到該數(shù)值除以2的結(jié)果時(shí)，模型GitHubOpenAPIReActAgent

APIAPISRE-Copilot

應(yīng)的Agent。這些數(shù)據(jù)源包括日志、調(diào)用鏈、交CMDBAgentAgent，它代碼生成等能力。這些功能型Agent能夠基于

能體，它作為與人類用戶交互的核心。Copilot例如，用戶可能詢問某個(gè)具體時(shí)間段的情況，Agent之間的協(xié)調(diào)工作，確保整個(gè)SRE-CopilotGPT多個(gè)專精于特定領(lǐng)域的子Agent

SRE-CopilotSRE-CopilotAgent多數(shù)據(jù)源Agent：針對(duì)不同的數(shù)據(jù)源，如日CMDB數(shù)據(jù)，我們?cè)O(shè)計(jì)了專門的Agent。這些Agent利用合適的算法對(duì)各自模態(tài)的數(shù)據(jù)進(jìn)行異RCAAgent：該Agent負(fù)責(zé)收集其他AgentCopilot9184點(diǎn)大量交易失敗的請(qǐng)求時(shí)，Copilot會(huì)識(shí)別這是一個(gè)根因診斷問題，并將任務(wù)交給RCAAgent。

RCAAgent會(huì)關(guān)注用戶請(qǐng)求中的關(guān)鍵信息，如交AgentAgent根據(jù)初步檢查結(jié)果，系統(tǒng)會(huì)動(dòng)態(tài)調(diào)度其他AgentAgent，AgentAgent導(dǎo)CMDBAgent在CMDB中查詢接口的調(diào)用記AgentAgent，共

true/false或JSON理解的自然語(yǔ)言描述。例如，異常檢測(cè)結(jié)構(gòu)體可能會(huì)返回：“本次故障持續(xù)了10分鐘，CPU家經(jīng)驗(yàn)和歷史故障信息。通過RAG

RAG方法可以幫助大語(yǔ)言模型不斷地更新其知識(shí)使用的6B大小的模型（如ChatGLM3）仍能夠JavaGC問題。LLMRCA-Agent因診斷（RCA）Agent框架落地應(yīng)用，因?yàn)楦騍REOnCall問題定位也解決這些實(shí)際問題，真正緩解SRE

歷史OnCall記錄等不同類型的數(shù)據(jù)。QPS的突增。故障的表現(xiàn)可能是流量首先突增，隨后內(nèi)存和CPU

SOP文檔：我們希望用戶輸入的是一些SOP文檔。這種方式給組件團(tuán)隊(duì)提供一種靈活管SRE-CopilotOpenAIGPTs將工具集成到平臺(tái)時(shí)所遵

核心工具：LLM可以自然地描述為QPS問題。對(duì)于新出現(xiàn)的具

在其SOP文檔中預(yù)先設(shè)定工作流，例如，文檔

我們希望能夠訓(xùn)練大語(yǔ)言模型，使其能夠直接根據(jù)用戶的SOP文檔生成工作流。最終，SRE團(tuán)隊(duì)能夠向大語(yǔ)言模型提供一個(gè)簡(jiǎn)單的文檔，甚至是未經(jīng)格式化的文本，而模型能夠根據(jù)文檔中的指標(biāo)或檢測(cè)項(xiàng)動(dòng)態(tài)地編排診斷步驟，并根據(jù)每一步的檢測(cè)結(jié)果，智能地調(diào)度后續(xù)的Agent的應(yīng)用與調(diào)試我們?cè)谝恍┙M件上進(jìn)行了RCA的試點(diǎn)工作，實(shí)

AgentAgent以支持多輪和更靈活的對(duì)話，比如讓用戶在排障過程中隨時(shí)打斷并提供關(guān)鍵信息，以此縮短故障Agnt

Agent“點(diǎn)開鏈接一開始有個(gè)預(yù)錄，檢查手機(jī)攝像頭、麥克風(fēng)以及自己的語(yǔ)音聲音大小。56括構(gòu)思和錄制視頻。點(diǎn)擊錄制視頻有5s的準(zhǔn)備時(shí)間，5s錄制不超過5分鐘。錄制完之后，返回答題頁(yè)面，可以回放。5分鐘“我覺得AI

AIAI面試的接受度已經(jīng)很高，AI面試的爭(zhēng)AI根據(jù)《202453.5%的對(duì)智能制造感興趣的學(xué)生有參與過AIAI77.7AIAI（可能不精確）AI織發(fā)展的人才大數(shù)據(jù)，那么招聘的人才至少80%精準(zhǔn)度應(yīng)該可以達(dá)到90%以上，這比有3-5年工作經(jīng)驗(yàn)的HR靠譜多了。當(dāng)然，AIAI

“弗蘭克揚(yáng)”表示，十多年前，一些大企業(yè)會(huì)把前幾輪的招聘流程給外包公司，這些外包公司先篩選簡(jiǎn)歷、再進(jìn)行電話面試，問的問題都是雇主公司規(guī)定好的，全程錄音，然后再根據(jù)面試情況做篩選，最終把報(bào)告發(fā)給雇主做最終決定?！艾F(xiàn)在AI?？吐?lián)創(chuàng)兼技術(shù)負(fù)責(zé)人楊之賢介紹稱，AI面試特產(chǎn)品運(yùn)營(yíng)崗位、銷售崗位、客服崗招聘人數(shù)超10人以上均有可能使用AI面試。AI了AI面試。比如2023年，光儲(chǔ)行業(yè)里的龍頭企業(yè)陽(yáng)光電源AI源AI面試的管培生超500人次。

增長(zhǎng)。據(jù)《牛客2023秋季校園招聘白皮書》的調(diào)研數(shù)據(jù)指出，已有23.2%的先鋒企業(yè)應(yīng)用AI97.9%。AI客觀評(píng)價(jià)。AI結(jié)合面試者的簡(jiǎn)歷和回答，AI

“智能判分是基于崗位專業(yè)素質(zhì)、通用能力素質(zhì)和語(yǔ)言能力素質(zhì)的綜合科學(xué)判定。我們會(huì)綜合考慮面試者回答內(nèi)容的專業(yè)性、相關(guān)性和邏輯性等因”AI是你的回答是否具有邏輯?！本W(wǎng)友“肉絲er”也分“肉絲erAI能夠根據(jù)面試者的眼神分辨其是否在讀稿，一旦被判定為讀稿，那么不管面試者說得多passAI

知道，雖然HR可以查看面試視頻，但大多數(shù)時(shí)候是根據(jù)AI的評(píng)分做初步篩選的。測(cè)試。Paradox.aiRedditParadox.ai公司的AI面試系統(tǒng)，通過“漫長(zhǎng)而奇怪的性格AIAI據(jù)楊之賢介紹，?？筒捎昧舜竽Ｐ秃托∧Ｐ偷慕Y(jié)AI-NowGPT模型。為了保證“AI考官”的公平和專業(yè)，?？蛢?nèi)部邀請(qǐng)了大量資深面AISaaSCEO?！?/p>

此外，AI輔助功能，比如邀約和談薪資：AI楊之賢表示，未來除面試外，AI-NowGPT還將增RoryMirAIAI

的免費(fèi)試用之外，每分鐘付費(fèi)0.45美元。為此，InterviewDog在網(wǎng)上也得到了很多好評(píng)GPT的結(jié)果八成相似，友momo分享道。

GPT取決于面試者，只要結(jié)果嗎”1207，47一對(duì)一的簡(jiǎn)歷優(yōu)化收費(fèi)達(dá)到了398

現(xiàn)在，有的應(yīng)聘者會(huì)用ChatGPT、文心一言等優(yōu)化ChatGPTChatGPTAI

InfoQ：您如何評(píng)價(jià)當(dāng)前AI代碼助手如GitHubCopilot在理解復(fù)雜代碼結(jié)構(gòu)和項(xiàng)目架構(gòu)方面的AIGitHubCopilotAI代碼助手，都展示了在情況，AIGitHubCopilot程做Indexing+Embedding，可以大大強(qiáng)化本地

結(jié)構(gòu)，AIGitHubCopilotInfoQ：在使用如CoT和RAG這類技術(shù)時(shí)，有汪晟杰：CoT（ChainofThought），本質(zhì)上是對(duì)于提問者的問題的思維鏈的拆解，并逐步去解決子任務(wù)的要求并合并成最終答案。首先在上下文理解上：CoTMulti-Agent來拆解并安排下一輪的子任務(wù)，同時(shí)可以通過RAG一輪進(jìn)行修復(fù)方案。RAG則是保障了項(xiàng)目代碼擴(kuò)更好的上下文理解：AI代碼助手需要更好地理

和算法，AI更全面更深地集成IDE：AI代碼助手需要更廣泛的支持主流的DE，并深入地集成到集成開發(fā)（IDE這可能包括更好的代碼提示、實(shí)時(shí)錯(cuò)誤檢測(cè)、代碼重構(gòu)建議等功能。更全面的編程語(yǔ)言和框架支持：AI代碼助手需更高的安全性和可靠性：AI代碼助手需要在生InfoQ：AIAIAI手時(shí)，選擇那些來自可信賴來源、有良好聲譽(yù)

的工具，這些工具通常會(huì)遵循嚴(yán)格的數(shù)據(jù)保護(hù)政策和安全實(shí)踐。我也建議不要把核心代碼用GitHubCopilot去生成，因?yàn)槟愕拇a上下文是AI是否提供安全私有化能力：在銀行等領(lǐng)域騰訊云積累了很多客戶實(shí)踐。我們一鍵部署升級(jí)，并在封閉的環(huán)境、信創(chuàng)環(huán)境下都有著不錯(cuò)的客戶反饋。對(duì)于技術(shù)對(duì)話解決了在不可上網(wǎng)的環(huán)境下，搜索技術(shù)問題找尋答案的另一種安全方法。（API從代碼中分離。將這些敏感信息存儲(chǔ)在安全的配置文件或環(huán)境變量中，而不是直接嵌入到代碼中。AIAIInfoQ：您如何看待這些工具在訓(xùn)練過程中可能汪晟杰：首先，AI編程助手通常使用大量的開源代碼庫(kù)進(jìn)行訓(xùn)練。雖然這些代碼庫(kù)本身是公開

API這些潛在的敏感信息進(jìn)行清理和過濾；其次，由AI息，因此在使用模型生成代碼時(shí)，有可能泄露這些信息。應(yīng)用端需要針對(duì)這類問題，采用技術(shù)手段，以增加兜底邏輯，即模型訓(xùn)練過程中數(shù)據(jù)的AI提供培訓(xùn)和意識(shí)教育，以確保他們了解如何在使用這些工具時(shí)保護(hù)敏感和私有的代碼數(shù)據(jù)。這包括遵循最佳實(shí)踐，將敏感信息從代碼中分離等。InfoQ：有哪些最佳實(shí)踐可以幫助企業(yè)在利用這些AI工具時(shí)確保代碼安全和隱私保護(hù)？汪晟杰：一方面是用戶開發(fā)習(xí)慣，在讓模型基于上下文推理的時(shí)候，他會(huì)模仿你的習(xí)慣，所以將敏感信息從代碼中分離，在代碼庫(kù)中引入代碼掃描，實(shí)時(shí)監(jiān)聽代碼生成質(zhì)量。另一方面是給予倉(cāng)庫(kù)代碼更小范圍，比如我只需要把主要描述的Readme文件、接口文檔、核心代碼的實(shí)現(xiàn)類等作為RAG的來源，或者在補(bǔ)全上找到核心調(diào)用鏈的相關(guān)函數(shù)及文件。InfoQ：AI工具在接管一些編程任務(wù)后，您觀察和算法等。這將使AI代碼助手能夠更有效地理AIIDEAIInfoQ：這些變化對(duì)開發(fā)團(tuán)隊(duì)的結(jié)構(gòu)和工作流程InfoQ：您認(rèn)為AI

自動(dòng)化低級(jí)任務(wù)：AI工具可以自動(dòng)化許多重復(fù)性和低級(jí)別的編程任務(wù)，如CRUD的代碼生成、SQLinjection錯(cuò)誤檢測(cè)和修復(fù)等。這可能導(dǎo)致提高生產(chǎn)力：通過自動(dòng)化一些任務(wù)，AI工具可AI化轉(zhuǎn)型和咨詢：隨著AI工具的普及，軟件斷變化的技術(shù)環(huán)境。這可能包括學(xué)習(xí)如何與AIAI產(chǎn)品化的創(chuàng)新：隨著AI工具接管一些基本與大模型及算法的緊密合作：AI工具的發(fā)展可AI例如，隨著AI技術(shù)的發(fā)展，可能會(huì)出現(xiàn)新的專業(yè)領(lǐng)域，如AI倫理、AI系統(tǒng)監(jiān)管等?？傊?，AIInfoQ：對(duì)于軟件開發(fā)者來說，他們應(yīng)該如何準(zhǔn)備和適應(yīng)這種由AI帶來的變革？汪晟杰：首先學(xué)習(xí)AI和機(jī)器學(xué)習(xí)基礎(chǔ)知識(shí)：開

發(fā)者應(yīng)掌握AI的基本概念、原理和技術(shù)，了解機(jī)器學(xué)習(xí)算法和數(shù)據(jù)科學(xué)庫(kù)（如TensorFlow、PyTorch等），這將有助于他們?cè)陂_發(fā)過程中更AIAI展：關(guān)注AI領(lǐng)域的最新研究成果和行業(yè)動(dòng)態(tài)，了解AI技術(shù)在各個(gè)行業(yè)的應(yīng)用案例，以便了解編程技能也不可或缺：AI架，如Python、Java、C++等；最后是學(xué)會(huì)與AIAI理解AI系統(tǒng)的優(yōu)勢(shì)和局限性，以便在開發(fā)過程中充分發(fā)揮AI的潛力。AIGCAIGC--PAGE108巨頭們涌入的醫(yī)療大模型，何時(shí)迎來最好當(dāng)下極為火爆的大模型，在醫(yī)療賽道同樣炙手可熱。谷歌剛剛發(fā)布了準(zhǔn)確率達(dá)91.1%、性能遠(yuǎn)超GPT-4系列的多模態(tài)醫(yī)學(xué)大模型Med-Gemini，國(guó)內(nèi)市場(chǎng)亦很熱鬧。自2023年以來，百度、騰訊、京東等諸多大廠都相繼加碼醫(yī)療大模型領(lǐng)域，與醫(yī)療相關(guān)的大模型產(chǎn)品和應(yīng)用如雨后春筍般正不斷涌現(xiàn)出來，其中更不乏AI和醫(yī)療企業(yè)的手筆。

為此，InfoQ對(duì)云知聲AILabs研發(fā)副總裁劉升平進(jìn)行了專訪，聽他聊一聊現(xiàn)階段醫(yī)療大模型的商業(yè)化能力，以及面向這類應(yīng)用場(chǎng)景的行業(yè)大模型該如何定制優(yōu)化。以下為訪談實(shí)錄，經(jīng)編輯。InfoQ：現(xiàn)階段，醫(yī)療大模型要規(guī)?；涞剡€面InfoQ：您認(rèn)為哪一個(gè)評(píng)價(jià)標(biāo)準(zhǔn)最能代表醫(yī)療大

InfoQ：現(xiàn)在行業(yè)內(nèi)有您認(rèn)為還不錯(cuò)的其他醫(yī)療劉升平：除了云知聲的山海大模型醫(yī)療版，最近看到的是谷歌的多模態(tài)醫(yī)療大模型Med-InfoQ：在醫(yī)療大模型的技術(shù)實(shí)現(xiàn)、應(yīng)用效果以InfoQ：您認(rèn)為醫(yī)療大模型真正迎來商業(yè)化時(shí)代劉升平：預(yù)計(jì)2-5年吧。今年是醫(yī)療大模型的用經(jīng)驗(yàn)，預(yù)計(jì)醫(yī)療大模型會(huì)在2-5年內(nèi)進(jìn)入更InfoQ：社會(huì)接受度上，如何讓大眾認(rèn)可大模型

InfoQ：醫(yī)療相比其他場(chǎng)景更復(fù)雜且嚴(yán)謹(jǐn)，難度劉升平：云知聲選擇在醫(yī)療領(lǐng)域開發(fā)大模型，主要有兩個(gè)關(guān)鍵因素。一是應(yīng)用潛力，而醫(yī)療領(lǐng)域是一個(gè)富文本、富知識(shí)的行業(yè)，并且醫(yī)療大模型在處理醫(yī)療病歷文書、輔助診斷、藥物研發(fā)等方面展現(xiàn)出巨大潛力，因?yàn)獒t(yī)療領(lǐng)域是一個(gè)很適合大語(yǔ)言模型技術(shù)的應(yīng)用領(lǐng)域。此外，醫(yī)療AI市場(chǎng)具有巨大的商業(yè)價(jià)值，隨著技術(shù)的成熟和接受度的提高，未來有望形成規(guī)?；纳虡I(yè)模式。二是專業(yè)積累，云知聲深耕醫(yī)療領(lǐng)域多年，對(duì)醫(yī)療業(yè)務(wù)場(chǎng)景有深入的理解，在醫(yī)療數(shù)據(jù)和醫(yī)療AI

InfoQ：大模型訓(xùn)練過程本身就對(duì)數(shù)據(jù)質(zhì)量有較劉升平：山海醫(yī)療大模型在訓(xùn)練過程中面臨數(shù)據(jù)質(zhì)量、隱私保護(hù)和專業(yè)知識(shí)復(fù)雜性等挑戰(zhàn)，我們采取了兩種策略來克服這些問題。一是數(shù)據(jù)清洗去除噪聲和不一致的信息，確保數(shù)據(jù)的準(zhǔn)確性和一致性；同時(shí)使用專業(yè)的醫(yī)療知識(shí)進(jìn)行預(yù)處理，如標(biāo)準(zhǔn)化術(shù)語(yǔ)等。二是匿名化與脫敏，在遵守相關(guān)法規(guī)的前提下，對(duì)個(gè)人健康信息進(jìn)行匿名化和InfoQ：使用開源數(shù)據(jù)集可能出現(xiàn)產(chǎn)品同質(zhì)化現(xiàn)劉升平：云知聲在開發(fā)山海醫(yī)療大模型時(shí)，采取了多種策略來避免產(chǎn)品同質(zhì)化，確保模型的競(jìng)爭(zhēng)力。第一，我們使用了不少專有數(shù)據(jù)集，即云知聲多年的醫(yī)療業(yè)務(wù)積累的大量?jī)?nèi)部醫(yī)療數(shù)據(jù)。這些專有數(shù)據(jù)可以提高大模型在特定場(chǎng)景的應(yīng)用效果。第二，我們采用了一些數(shù)據(jù)增強(qiáng)技術(shù)來自標(biāo)簽變換等技術(shù)，增加數(shù)據(jù)的多樣性和復(fù)雜性，使模型在不同條件下表現(xiàn)更為全面和魯棒。第三，我們還與醫(yī)療專家合作來確保醫(yī)療數(shù)據(jù)的準(zhǔn)確性和專業(yè)性，同時(shí)利用專家的知識(shí)來指導(dǎo)數(shù)據(jù)的預(yù)處理和標(biāo)注。通過這些策略，云知聲的山海醫(yī)療大模型能夠與只使用開源數(shù)據(jù)集訓(xùn)練的大模型有顯著區(qū)別，并且在面向具體的醫(yī)療場(chǎng)景應(yīng)用時(shí)有更好的效果。InfoQ：云知聲的山海醫(yī)療大模型主要做了哪些病歷生成：包括基于醫(yī)患對(duì)話的門診病歷和出院小結(jié)、手術(shù)記錄生成等住院病歷的生成，以及放射科報(bào)告生成等醫(yī)技科報(bào)告。病歷質(zhì)控：對(duì)住院病歷（包括病案首頁(yè)）

1000+形式和內(nèi)涵質(zhì)控點(diǎn)，單病種上報(bào)：對(duì)國(guó)家衛(wèi)健委要求的57個(gè)病種醫(yī)保控費(fèi)：按照醫(yī)保局的規(guī)范，監(jiān)管醫(yī)院的臨保險(xiǎn)理賠的醫(yī)療審核：審核在保險(xiǎn)理賠中涉及到的醫(yī)療費(fèi)用，剔除不合理費(fèi)用。專病庫(kù)平臺(tái)：將病歷等臨床數(shù)據(jù)自動(dòng)抽取和導(dǎo)入到專病庫(kù)。AI目前，山海應(yīng)用率最高的場(chǎng)景是病歷生成、病歷質(zhì)控和保險(xiǎn)理賠的醫(yī)療審核。結(jié)合云知聲在語(yǔ)音技術(shù)上強(qiáng)項(xiàng)開發(fā)出的門診病歷生成系統(tǒng)，結(jié)合云知聲在醫(yī)療知識(shí)圖譜的積累開發(fā)的病歷質(zhì)控系統(tǒng)和保險(xiǎn)理賠醫(yī)療審核系統(tǒng)均可以視為劉升平：云知聲的山海醫(yī)療大模型在醫(yī)療機(jī)構(gòu)的部署通常有以下兩種方式：云端部署和私有化部署。至于選擇哪種部署方式，主要考慮幾個(gè)因素吧。一是如果醫(yī)療機(jī)構(gòu)對(duì)數(shù)據(jù)安全有極高要求，那就傾向于私有化部署。二是考慮成本與資源，InfoQ：現(xiàn)在市面上的醫(yī)療大模型不少，國(guó)內(nèi)有劉升平：這和云知聲做醫(yī)療大模型的動(dòng)機(jī)是一樣的，山海醫(yī)療大模型的獨(dú)特之處主要有兩點(diǎn)。一有深厚的數(shù)據(jù)、知識(shí)、場(chǎng)景和客戶積累，這使得

山海醫(yī)療大模型在效果上業(yè)內(nèi)領(lǐng)先，目前在醫(yī)療大模型綜合評(píng)測(cè)PromptCBLUEMedBench上都是排名第一。二是在技術(shù)融合方面，結(jié)合云知聲在語(yǔ)音識(shí)別和醫(yī)療知識(shí)圖譜技術(shù)的專長(zhǎng)，山海醫(yī)療大模型在語(yǔ)音交互式醫(yī)療應(yīng)用上具有優(yōu)AI情感交流=未來教育？別等技術(shù)為教育行業(yè)賦能。自2023年起，圖靈機(jī)器人用大模型逐一替代了CNN模型，并創(chuàng)新

在用大模型重構(gòu)產(chǎn)品的1年時(shí)間里，該公司對(duì)深度思考。本文整理自圖靈機(jī)器人COO郭家在QCon2024北京的演講分享“教育大模型，說你InfoQ并從傳統(tǒng)模型逐步進(jìn)化到大模型。公司的LOGO是對(duì)圖靈機(jī)器人的致敬，我們于2017年獲得了圖靈后人詹姆斯·圖靈以及英國(guó)皇家社會(huì)協(xié)會(huì)的肖像授權(quán)。2019年，我們還成為了圖靈基金在我們的團(tuán)隊(duì)成員大多來自交大系。我們的CEO

CTO首席科學(xué)家何小坤曾是好未來AIlab的負(fù)責(zé)人，在雙減政策實(shí)施后來到我們這家人工智能教育公司，石勇教授是中科院的合伙科學(xué)家。業(yè)。此外，我們的股東還包括HTC、奧飛動(dòng)漫公司上一次推出的AI產(chǎn)品名為蟲洞語(yǔ)音助手，所耳聞。我們從2010年開始研發(fā)并發(fā)布了這款Siri。隨著蘋iPhone4Siri，語(yǔ)音助手這長(zhǎng)，接近2000萬。另一方面與HTC建立了合作關(guān)系。HTC是安卓系統(tǒng)的第一款手機(jī)制造商。我們與HTC合作開hihi品上線時(shí)擁有100多種虛擬人表情，400多種200CPSP我們的許多技能都是與后方的CPSP現(xiàn)的，例如，查詢天氣功能與中國(guó)天氣網(wǎng)合作，餐飲推薦則與點(diǎn)評(píng)網(wǎng)站合作。然而，盡管用戶基數(shù)龐大，語(yǔ)音助手的前期活躍度也不錯(cuò)，但將其商業(yè)化卻非常困難。直到現(xiàn)在，手機(jī)上的語(yǔ)音助手仍然面臨這一問題。因此，面向消費(fèi)者的業(yè)務(wù)模式（toC）并不適合當(dāng)時(shí)的產(chǎn)品?；谶@一認(rèn)HTCAIToB企業(yè)的人工智能服務(wù)。2014年，我們將產(chǎn)品賣給HTC后，決定將這些技術(shù)轉(zhuǎn)化為一個(gè)開放平臺(tái)，主要面向開發(fā)者開放。平臺(tái)吸引了超過100主要利用以自然語(yǔ)言處理（NLP）

2016年，我們發(fā)現(xiàn)對(duì)于一家創(chuàng)業(yè)公司來說，兒于是開始專注于教育領(lǐng)域。在2017年和2018年，我們有幸邀請(qǐng)到了包括我的師妹，MIT博士司業(yè)務(wù)突破1000萬營(yíng)收。到了2019年，我們等，這些都需要計(jì)算機(jī)視覺（CV）我們正在開發(fā)中高考英語(yǔ)口語(yǔ)?？枷到y(tǒng)，這種口語(yǔ)?？枷到y(tǒng)特別適合利用大模型技術(shù)。我們有教AIGC助手，它幫助老師生成教案，可以插入圖片或精彩案例，甚至可以適時(shí)地加入一些幽默段子，讓課程更加生動(dòng)有趣。我們還提供大模型實(shí)驗(yàn)課，讓學(xué)生親自操作，測(cè)試prompt，并RAGAIAIGC用RAG技術(shù)進(jìn)行數(shù)據(jù)挖掘。運(yùn)營(yíng)商業(yè)務(wù)方面，我們提供4G電子產(chǎn)品，如自業(yè)務(wù)之一，市場(chǎng)份額高達(dá)80%。在這個(gè)領(lǐng)域，

大模型產(chǎn)品的第一步是Cost大模型產(chǎn)品的第一步是Cost

大量使用第三方大模型，如按tokens結(jié)算的GPT

變化。2023年相比2022年，價(jià)格明顯上漲超過50%。2023年5月的禁令前后價(jià)格也有所不同。但在2024年，云服務(wù)價(jià)格下降了約20%，我們的產(chǎn)品圖靈AI口語(yǔ)老師已經(jīng)推出了三個(gè)版

C版本口語(yǔ)老師用于在創(chuàng)作話題時(shí)，生成AB角B版本的口語(yǔ)老師在用戶每次提問時(shí)都會(huì)調(diào)用大

我們制作的大多數(shù)兒童產(chǎn)品的成本相對(duì)較低，可能只有幾百元，甚至一百元以內(nèi)。因此，在兒童我們嘗試了多種運(yùn)營(yíng)方法來進(jìn)行二次轉(zhuǎn)化，以降低成本。A版本口語(yǔ)老師的最大特點(diǎn)是教案虛擬人。虛擬

使用優(yōu)質(zhì)的大模型來生成訓(xùn)練數(shù)據(jù)，例如讓GPT第三步是GPU端的優(yōu)化算子。我們與一些服端的優(yōu)化。GPU本身不變，但我們基于開發(fā)者模

所有的語(yǔ)義槽位，如城市、日期等，這些可以直接用小模型處理，其精準(zhǔn)度遠(yuǎn)高于大模型。用大模型做意圖識(shí)別，然后將確定性的意圖分流到NLU大幅下降。在過去一年多的時(shí)間里，我們對(duì)圖靈AI口語(yǔ)老

有知名IP的版權(quán)內(nèi)容能夠帶來溢價(jià)，家長(zhǎng)更愿我們的口語(yǔ)老師的第一個(gè)版本是一個(gè)名為FreeTalkAI5這個(gè)產(chǎn)品受到了OpenAI發(fā)布的一個(gè)名為CallAnnie的產(chǎn)品的啟發(fā)，CallAnnie是一個(gè)大頭人

無論是孩子還是成年人，都很難主動(dòng)開口說話。AI此外，大模型在與孩子們交流時(shí)容易“超綱”。孩子們可能只學(xué)了一些非常簡(jiǎn)單的詞匯，如"What'sthis?It'sabottle."，但如果讓大模型反問，可能

以牛津樹分級(jí)閱讀為例，我們可以看到即使是像VIPKid這樣的真人外教一對(duì)一教學(xué)產(chǎn)品，其《Let'sGo》系列，一步步引導(dǎo)孩子學(xué)習(xí)。我們利用RAG技術(shù)來學(xué)習(xí)并生成課程內(nèi)容，RAG在

TTS套的練習(xí)題。目前，使用AIGC技術(shù)生成的題目

AIGC那么使用AIGC節(jié)省的工作量就非常有限，因此Yanado，這是一款來自韓國(guó)的產(chǎn)品，其母公司是韓國(guó)最大的互聯(lián)網(wǎng)教育公司。Yanadoo的特點(diǎn)包括：10AIAinder，這是一個(gè)社交產(chǎn)品，其特音和興趣愛好的AI虛擬人進(jìn)行英語(yǔ)交流。共同興趣：通過聊用戶感興趣的話題，比如NBA球星和術(shù)語(yǔ)，提高語(yǔ)言學(xué)習(xí)的興趣和效果。第三個(gè)產(chǎn)品是Speak，這是一個(gè)OpenAI投資的

AI責(zé)上課，AIAIAI第四個(gè)是多鄰國(guó)，一個(gè)廣為人知的平臺(tái)，它在GPT3.5發(fā)布時(shí)就是合作伙伴之一。多鄰國(guó)采用ExplainMyAnswer：對(duì)用戶的回答進(jìn)行糾錯(cuò)和AIFreeTalkCallAnnie，一個(gè)提供隨時(shí)視頻通話的美女形象的產(chǎn)品，App界面就像電話一樣，最后一個(gè)是CheggMeta，可以說是美國(guó)版的作業(yè)1.0GPT，因此在智能度上幾乎一致。不同產(chǎn)品之間的主要區(qū)別在于各10有的游戲化學(xué)習(xí)，有的通過虛擬形象進(jìn)行互動(dòng)，還有的專注于