大模型及DeepSeek在運(yùn)維場(chǎng)景中的應(yīng)用_第1頁(yè)
大模型及DeepSeek在運(yùn)維場(chǎng)景中的應(yīng)用_第2頁(yè)
大模型及DeepSeek在運(yùn)維場(chǎng)景中的應(yīng)用_第3頁(yè)
大模型及DeepSeek在運(yùn)維場(chǎng)景中的應(yīng)用_第4頁(yè)
大模型及DeepSeek在運(yùn)維場(chǎng)景中的應(yīng)用_第5頁(yè)
已閱讀5頁(yè),還剩34頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

大模型及DeepSeek在運(yùn)維

場(chǎng)景中的應(yīng)用1

大模型在運(yùn)維領(lǐng)域應(yīng)用前景2

面臨的挑戰(zhàn)3

若干應(yīng)用場(chǎng)景4總結(jié)目錄/CONTENTS行業(yè)大模型醫(yī)療汽車教育金融工業(yè)文化/零售/交通閉源開(kāi)源通用大模型部分領(lǐng)域

大模型在運(yùn)維領(lǐng)域應(yīng)用前景L5

智能運(yùn)維:實(shí)現(xiàn)系統(tǒng)自治,解放體力與腦力大模型的出現(xiàn)加速了實(shí)現(xiàn)終極L5智能運(yùn)維的步伐執(zhí)行:人+系統(tǒng)

(95%

)決策:人+系統(tǒng)

(80%

)執(zhí)行:人+系統(tǒng)(

100%)決策:人+系統(tǒng)

(95%

)執(zhí)行:人+系統(tǒng)

(80%

)決策:人+系統(tǒng)

(20%

)執(zhí)行:人+系統(tǒng)(20%)決策:人運(yùn)維開(kāi)發(fā)融合運(yùn)維運(yùn)維工具體系基本建設(shè)完成

運(yùn)維數(shù)據(jù)體系建設(shè)完成工具化運(yùn)維使用多個(gè)獨(dú)立工具大部分工作工具化/流程化執(zhí)行:人+腳本決策:人智能運(yùn)維AI分析與決策自動(dòng)化工具鏈+可視化專家經(jīng)驗(yàn)運(yùn)維腳本編輯

,人工執(zhí)行數(shù)據(jù)化運(yùn)維主要運(yùn)維場(chǎng)景實(shí)

現(xiàn)流程化免干預(yù)基于已有的經(jīng)驗(yàn)知識(shí)

在不同場(chǎng)景下自主決策處置L4

-

DataOpsL5

-AIOPS高度自動(dòng)化

+單點(diǎn)智能化高度自動(dòng)化

+

串聯(lián)智能化L1

-

ScriptOpsL2

-ToolsOpsL3

-

DevOps

大模型在運(yùn)維領(lǐng)域的應(yīng)用前景大語(yǔ)言模型是IT運(yùn)維領(lǐng)域新質(zhì)生產(chǎn)力的重要組成部分,推動(dòng)數(shù)字化轉(zhuǎn)型的顛覆式創(chuàng)新“自然語(yǔ)言”成為連接運(yùn)維人員、運(yùn)維工具、運(yùn)維文檔、運(yùn)維數(shù)據(jù)的通用接口以“聊天”技術(shù)為載體實(shí)現(xiàn)人機(jī)協(xié)同完成運(yùn)維任務(wù)提示詞工程、檢索增強(qiáng)、智能體逐步在智能運(yùn)維應(yīng)用場(chǎng)景實(shí)踐中凸顯成效數(shù)據(jù)探索/分析工具(近中期)Text2QL(

自然語(yǔ)言查詢)Text2API(

自然語(yǔ)言工具調(diào)用)崗位助手(近期)運(yùn)維知識(shí)問(wèn)答售后技術(shù)支持?jǐn)?shù)據(jù)工具(近中期)日志摘要/理解告警摘要/標(biāo)簽數(shù)據(jù)注釋/標(biāo)簽崗位培訓(xùn)教練(近中期)運(yùn)維腳本解讀/生成培訓(xùn)題目自動(dòng)生成/考核專業(yè)崗位專家智能體(中期)產(chǎn)品廠商智能體專業(yè)領(lǐng)域智能體(網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)、應(yīng)用)虛擬作戰(zhàn)室(中期)運(yùn)維人員工具智能體崗位智能體協(xié)同完成運(yùn)維任務(wù)應(yīng)用場(chǎng)景010203

請(qǐng)解讀上述異常日志。Director

state

has

changed

toOffline.

-Object

is:000496800182:RF-3E含義:這是一個(gè)狀態(tài)變化的告警,指

示一個(gè)Director

(存儲(chǔ)控制器)的狀態(tài)從在線(Online)變?yōu)殡x線(

Offline)。影響:當(dāng)Director離線時(shí),相關(guān)的存

儲(chǔ)功能可能會(huì)受到影響,可能導(dǎo)致數(shù)

據(jù)不可訪問(wèn)、性能下降或其他存儲(chǔ)操

作失敗。... 本次故障影響范圍評(píng)估?手機(jī)銀行、柜面等交響。期間

成功交0,上周同期交

244587筆。需要生成更詳盡的評(píng)估報(bào)告嗎?根因分析拓?fù)鋱D如下:是否需要提供根因組件相關(guān)的信息?

請(qǐng)?zhí)峁㏕OP1根因相關(guān)的異常信息STRAY-47組件日志中有異常信息:當(dāng)前生產(chǎn)環(huán)境出現(xiàn)嚴(yán)重故障,請(qǐng)做一個(gè)初步分析。過(guò)去半小時(shí)內(nèi),發(fā)生了

3456條告警,涉及

50套應(yīng)用系統(tǒng)、100臺(tái)物理機(jī)、

200臺(tái)虛擬機(jī)、50個(gè)數(shù)據(jù)庫(kù)

實(shí)例、

50個(gè)中間件實(shí)例。近期無(wú)相關(guān)生產(chǎn)變更。正在執(zhí)行拓?fù)涓蚨ń绶治?,?qǐng)稍

等。拓?fù)涠ń缃Y(jié)果如下: 基于“聊天”的人機(jī)交互協(xié)同應(yīng)急處置大模型理解用戶意圖

當(dāng)前生產(chǎn)環(huán)境出現(xiàn)嚴(yán)重故障,請(qǐng)做

一個(gè)初步分析。過(guò)去半小時(shí)內(nèi),發(fā)生了

3456條告警,涉及

50套應(yīng)用系統(tǒng)、100臺(tái)物理機(jī)、

200臺(tái)虛擬機(jī)、50個(gè)數(shù)據(jù)庫(kù)

實(shí)例、

50個(gè)中間件實(shí)例。近期無(wú)相關(guān)生產(chǎn)變更。正在執(zhí)行拓?fù)涓蚨ń绶治觯?qǐng)稍等。拓?fù)涠ń缃Y(jié)果如下:調(diào)用拓?fù)涠ㄎ还ぞ咻敵鼋Y(jié)果并解釋

請(qǐng)解讀上述異常日志。Director

state

has

changed

toOffline.

-Object

is:000496800182:RF-3E含義:這是一個(gè)狀態(tài)變化的告警,指

示一個(gè)Director

(存儲(chǔ)控制器)的狀態(tài)從在線(Online)變?yōu)殡x線(

Offline)。影響:當(dāng)Director離線時(shí),相關(guān)的存

儲(chǔ)功能可能會(huì)受到影響,可能導(dǎo)致數(shù)

據(jù)不可訪問(wèn)、性能下降或其他存儲(chǔ)操

作失敗。... 本次故障影響范圍評(píng)估?手機(jī)銀行、柜面等交響。期間

成功交0,上周同期交

244587筆。需要生成更詳盡的評(píng)估報(bào)告嗎?查詢業(yè)務(wù)指標(biāo)信息,并匯總結(jié)果根因分析拓?fù)鋱D如下:是否需要提供根因組件相關(guān)的信息?請(qǐng)?zhí)峁㏕OP1根因相關(guān)的異常信息。STRAY-47組件日志中有異常信息: 基于“聊天”的人機(jī)交互協(xié)同應(yīng)急處置生成SQL,查詢告警數(shù)據(jù)庫(kù),并根據(jù)

結(jié)果和運(yùn)維通識(shí)組織語(yǔ)言,提示下一

步操作自動(dòng)查詢ES中的設(shè)備日志,并過(guò)濾其

中的異常日志查詢廠商文檔,對(duì)日志進(jìn)行解釋提示候選下一步操作挑戰(zhàn)場(chǎng)景示例模型本身能力模型外能力效率?

日志解析?

RAG準(zhǔn)確性?

RAG?

Text2SQL?

Agent工具調(diào)用有效性?

故障定界/根因分析擴(kuò)展性?

RAG?

Agent工具調(diào)用 大模型在運(yùn)維場(chǎng)景中的落地仍面臨眾多挑戰(zhàn)挑戰(zhàn)場(chǎng)景示例模型本身能力模型外能力效率?

日志解析?

RAG?

模型推理效率低?

DS更甚?

“產(chǎn)品經(jīng)理”思維?

模型能力+軟件能力?

融合大模型的整體系

統(tǒng)架構(gòu)?

以終為始準(zhǔn)確性?

RAG?

Text2SQL?

Agent工具調(diào)用?

幻覺(jué)/長(zhǎng)上下文?

簡(jiǎn)單問(wèn)題:90分?

復(fù)雜問(wèn)題:50分有效性?

故障定界/根因分析?

運(yùn)維思路?

需綜合全局多源信息擴(kuò)展性?

RAG?

Agent工具調(diào)用?“玩具”

vs“真實(shí)”場(chǎng)景 大模型在運(yùn)維場(chǎng)景中的落地仍面臨眾多挑戰(zhàn) 大模型在運(yùn)維場(chǎng)景中的落地仍面臨眾多挑戰(zhàn)?

“產(chǎn)品經(jīng)理”思維

用戶是誰(shuí)

產(chǎn)品功能、響應(yīng)速度、輸入/輸出、并發(fā)數(shù)的清晰界定

例如:大模型輔助的排障助手?

模型能力+軟件能力

什么功能利用了大模型的什么能力

軟件層面要提供哪些能力,并發(fā)、容錯(cuò)、上下文超限等?

融合大模型的整體系統(tǒng)架構(gòu)

傳統(tǒng)的軟件架構(gòu)、設(shè)計(jì)模式仍需考慮?

以終為始基于異步大模型調(diào)度的高效日志解析系統(tǒng)日志廣泛用于理解系統(tǒng)運(yùn)行狀態(tài),支持故障檢測(cè)與診斷。

然而,日志數(shù)據(jù)常為半結(jié)構(gòu)化文本,難以直接使用。因此,常常需要首先將日志轉(zhuǎn)化為結(jié)構(gòu)化的“模板”+“變量”的形式,

—方面可以將日志序列簡(jiǎn)化為模板ID序列,降低分析復(fù)練

度,另—方面結(jié)構(gòu)化的表達(dá)形式也更便于進(jìn)行統(tǒng)—與自動(dòng)化處理分析。因此日志解析常常作為日志處理的必要前置任務(wù)。通過(guò)規(guī)則匹配或統(tǒng)計(jì)特征(如頻率、

長(zhǎng)度)進(jìn)行解析,處理速度快,但缺

乏語(yǔ)義理解能力,難以準(zhǔn)確區(qū)分常量

與變量,進(jìn)而影響解析性能利用大語(yǔ)言模型強(qiáng)大的語(yǔ)義理解能力

進(jìn)行解析,精度高,但處理過(guò)程依賴

LLM調(diào)用來(lái)進(jìn)行解析,效率低,難以

滿足在線解析的效率要求將解析建模為分類任務(wù),識(shí)別日志務(wù)

的變量位置,能提取—定語(yǔ)義信息,但依賴大量標(biāo)注數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練,

泛化能力有限<?>

Creating

NTtrans

(seq<?>),object

[<?>]

<?>double-hummeralignmentexceptionsinstructionaddress:<?>00dCreating

NTtrans

(seq

13),object

[6]141double-hummeralignmentexceptions

instructionaddress:0x00004ed8 基于異步大模型調(diào)度的高效日志解析方法

提取變量,保留常量2.深度學(xué)習(xí)方法1.傳統(tǒng)方法3.LLM方法關(guān)鍵挑戰(zhàn)時(shí)間不—致不同操作的速度差異,導(dǎo)致快速

操作被迫等待,降低整體效率。解析依賴順序現(xiàn)有方法存在順序依賴性,對(duì)于

前面日志的解析,可能會(huì)影響后

面日志解析的結(jié)果,直接并行會(huì)

打亂這種順序依賴。重復(fù)解析相似日志同時(shí)處理,模板尚未緩

存進(jìn)前綴樹(shù),導(dǎo)致重復(fù)觸發(fā)LLM調(diào)用,資源浪費(fèi)。關(guān)鍵瓶頸LLM調(diào)用開(kāi)銷相較于傳統(tǒng)方法與深度學(xué)習(xí)方法,

每調(diào)用—次LLM的時(shí)間開(kāi)銷巨大。串行解析當(dāng)前—條日志解析完成后才開(kāi)始處理下—條,導(dǎo)致大量時(shí)間等待

LLM返回結(jié)果。然而,大多數(shù)LLM的部署方法支持并行調(diào)用,時(shí)間接近—次調(diào)用。 基于異步大模型調(diào)度的高效日志解析方法模板更新將當(dāng)前日志合并已有模板進(jìn)行更新

是否涉及LLM:

速度:

較慢模板匹配利用前綴樹(shù)等結(jié)構(gòu)進(jìn)行快速匹配

是否涉及LLM:

速度:

快模板抽取利用LLM對(duì)給定日志生成模板

是否涉及LLM:

速度:

慢基于LLM的日志解析的常見(jiàn)操作問(wèn)題:

串行執(zhí)行,時(shí)間不—致解決方案:

異步并行涉及LLM的操作統(tǒng)—進(jìn)行異步并行執(zhí)行,剩余操作包括

模板匹配等,均在主流程中串行執(zhí)行。在充分利用并行

優(yōu)勢(shì)的情況下,規(guī)避不同操作時(shí)間不—致帶來(lái)的延遲。異步任務(wù)執(zhí)行池模板匹配模板匹配模板匹配 基于異步大模型調(diào)度的高效日志解析方法模板抽取模板抽取模板抽取解析日志e1

解析日志e2

解析日志e3串行解

析異步解

析LLMLLMLLMLLMLLMLLM模板

更新模板

更新模板

更新時(shí)間軸問(wèn)題:

解析順序依賴解決方案:

統(tǒng)—調(diào)度當(dāng)LLM調(diào)用在異步執(zhí)行池中完成時(shí),不立即進(jìn)行后序處理,

而是交由全局的任務(wù)管理模塊進(jìn)行后處理,確定其后處理

順序,以保證順序依賴??紤]到LLM操作和代碼操作的巨大

時(shí)間差異,這樣推遲的成本非常小。LLMLLM異步任務(wù)執(zhí)行池模板匹配模板更新模板抽取模板匹配模板更新模板抽取 基于異步大模型調(diào)度的高效日志解析方法模板匹配模板更新串行解

析異步解

析LLMLLMLLMLLM解析日志e2

解析日志e3LLMLLMLLMLLMe1

e2

尚未完成

解析,暫不進(jìn)

行后處理e1

尚未完成

解析,暫不

進(jìn)行后處理解析日志e1依次進(jìn)行

后處理時(shí)間軸問(wèn)題:

重復(fù)解析解決方案:

任務(wù)生成管理引入等待機(jī)制,判斷解析當(dāng)前日志即將生成的LLM任務(wù)是否

潛在與異步執(zhí)行池中已有的任務(wù)潛在重疊,如果有重疊的

可能性,則讓當(dāng)前任務(wù)“等待”,待前序任務(wù)完成,再重

新開(kāi)啟對(duì)于當(dāng)前任務(wù)的解析。LLMLLMLLM異步任務(wù)執(zhí)行池模板匹配模板更新模板抽取產(chǎn)生模板+1 基于異步大模型調(diào)度的高效日志解析方法串行解

析異步解

析模板匹配匹配到+1模板匹配匹配到+1模板匹配LLMLLMLLMT1未還未加入前

綴樹(shù),匹配失敗

推遲處理,等待LLMLLM解析日志e3解析日志e1解析日志e4解析日志e2重新進(jìn)行e2,

e3

的匹配時(shí)間軸統(tǒng)一調(diào)度解析任務(wù)與調(diào)度

邏輯解耦,日志

動(dòng)態(tài)分配任務(wù),

調(diào)度系統(tǒng)統(tǒng)一管

理任務(wù)順序與依

賴,確保語(yǔ)義一

致性和穩(wěn)定性。異步并行將任務(wù)異步提交

至大模型,允許

任務(wù)獨(dú)立返回,

從而解決了復(fù)雜

日志拖慢整體進(jìn)度的問(wèn)題,提升

整體效率。生成管理通過(guò)等待機(jī)制避

免重復(fù)調(diào)用大模

型,對(duì)相似日志

在模板尚未返回

前暫緩處理,減

少冗余生成任務(wù),提升效率。Log

任務(wù)

個(gè)

示例驗(yàn)證任務(wù)解析任務(wù)基

于爭(zhēng)

樣... 基于異步大模型調(diào)度的高效日志解析方法在線日志LogLog...Log解析模板TemplateTemplate...Template任務(wù)生成任務(wù)管理模板匹配LogsStates監(jiān)控正在處理

的任務(wù)的狀態(tài)

前綴樹(shù)緩存

↓任務(wù)LLM異步任務(wù)池

任務(wù)

$

任務(wù)

$Log,

state$Head... 基于異步大模型調(diào)度的高效日志解析方法?EPAS準(zhǔn)確性均高于傳統(tǒng)方法和現(xiàn)有基于大模型的方法 基于異步大模型調(diào)度的高效日志解析方法?EPAS性能遠(yuǎn)優(yōu)于現(xiàn)有基于大模型的方法,優(yōu)于傳統(tǒng)方法SpellText2SQLText2SQL技術(shù)旨在將自然語(yǔ)言形式的查詢自動(dòng)轉(zhuǎn)換為數(shù)據(jù)庫(kù)上的結(jié)構(gòu)化查詢語(yǔ)言(SQL)。鑒于數(shù)據(jù)庫(kù)在各應(yīng)用領(lǐng)域的廣泛應(yīng)用,該技術(shù)被學(xué)術(shù)界和工業(yè)界廣泛關(guān)注總體而言,

Text2SQL技術(shù)路線分為兩類:基于精調(diào)小模型、基于大模型自然語(yǔ)言描述的查詢存有模糊性,加

之算法對(duì)數(shù)據(jù)的理解也存在偏差,兩

者疊加,使數(shù)據(jù)語(yǔ)義理解變得尤為重

要。數(shù)據(jù)庫(kù)操作的固有復(fù)練性使得難SQL

的翻譯效果不佳(如嵌套查詢、復(fù)練

的聚集、多表連接等)。用戶的提問(wèn)可能包含行業(yè)黑話或特定

的領(lǐng)域知識(shí)(如銀行業(yè)務(wù)務(wù)的“頭寸”,不同企業(yè)的

“財(cái)年”)。操作邏輯的復(fù)雜性領(lǐng)域知識(shí)的依賴數(shù)據(jù)的語(yǔ)義理解

基于大模型:Gen-SQL先生成再檢索的范式利用大模型預(yù)訓(xùn)練過(guò)程中取得的先驗(yàn)知識(shí),先根據(jù)問(wèn)題猜測(cè)所需表結(jié)構(gòu),再用向量檢索器召回相關(guān)表?

Gen-SQL:

EfficientText-to-SQL

By

Bridging

Natural

LanguageQuestionAnd

DatabaseSchemaWith

Pseudo-Schema,

inCOLING

2025LLM具有較好的語(yǔ)義理解能力(也有幻覺(jué)),直接利用LLM直接

翻譯,效果不佳對(duì)LLM精細(xì)化控制控制大模型做其擅長(zhǎng)的事情,如讓它做選擇題(從候選集中選SQL框架)為L(zhǎng)LM提供SQL算子組合提供一系列的SQL算子組合(來(lái)自各種各樣應(yīng)用場(chǎng)景),讓其進(jìn)行選擇

Text2SQL技術(shù)–

PURPLE?PURPLE:

Makinga

Large

Language

Modela

BetterSQLWriter.

In

ICDE2024?

The

PowerofConstraints

in

Natural

LanguagetoSQLTranslation.

Accepted

byVLDB2025.?推理階段:假如輸入問(wèn)題與表數(shù)據(jù)、列數(shù)據(jù)和值數(shù)據(jù)的相關(guān)度計(jì)算分別為a、b

和c

,那么該路徑上的表

分?jǐn)?shù)St、列分?jǐn)?shù)Sc

和值分?jǐn)?shù)Sv

分別為:?實(shí)驗(yàn)結(jié)果表明,三層索引檢索通過(guò)過(guò)濾數(shù)據(jù)庫(kù)的表、列、值信息,可以有效增強(qiáng)大模型生成SQL的準(zhǔn)確率

Text2SQL+RAG:三層索引檢索?預(yù)處理階段:以表、列、值為粒度構(gòu)建三層樹(shù)狀索引

Text2SQL+RAG:外部知識(shí)反饋?方法?補(bǔ)充和業(yè)務(wù)相關(guān)的專家知識(shí)?描述性知識(shí)(正確的查詢思路,正確的字段映射)?

可參考的正確查詢樣例?分而治之,對(duì)于復(fù)雜的問(wèn)題,分為多個(gè)子問(wèn)題,生成子查詢后聚合描述性知識(shí)(Description)sse_audit_online中的字段terminal主要有三

種取值:“and”,“ios”,“others”,其中“and”即安卓

Text2SQL+RAG:外部知識(shí)反饋添加該例子前,對(duì)于指定類型有關(guān)的查詢待辦任務(wù),不會(huì)使用預(yù)先定義好的getModelChildrenId存儲(chǔ)過(guò)程,

導(dǎo)致生成不完全準(zhǔn)確的SQL。Text-SQL對(duì):Text:查詢用戶

ID為admin的用戶在2021年1月1日至2023年1月31日之間的類型為“變更管理”的待辦任務(wù)SQL

:。。。SELECT

GROUP_CONCAT(id)AS

menu_idsFROMbpm_mo_menuWHERE

parentidIN(SELECT

getModelChildrenId(id)FROM

menu_id)。。。

Text2SQL+RAG:外部知識(shí)反饋基于靜態(tài)DAG的多模態(tài)檢索增強(qiáng)檢索增強(qiáng)生成(Retrieval-AugmentedGeneration,RAG)是—種結(jié)合語(yǔ)言模型和外部知識(shí)庫(kù)的方法,能夠顯著提升大模型在問(wèn)答、對(duì)話和文檔理解務(wù)的知識(shí)覆蓋率和回答

準(zhǔn)確性。然而傳統(tǒng)RAG往往僅依賴“—輪檢索+—輪生成”的流程,難以處理具有多跳邏輯、模態(tài)切換與強(qiáng)依賴結(jié)構(gòu)的問(wèn)題。我們提出—種基于靜態(tài)有向無(wú)環(huán)圖(DAG)對(duì)

于用戶的問(wèn)題進(jìn)行結(jié)構(gòu)化分解,通過(guò)規(guī)夠子問(wèn)題之間的依賴關(guān)系,指導(dǎo)多模態(tài)檢索器

高效調(diào)度并且融合方案,提高問(wèn)答的結(jié)構(gòu)可控性、準(zhǔn)確性以及過(guò)程可解釋性。沒(méi)有結(jié)構(gòu)規(guī)夠,統(tǒng)——次性檢索,容

關(guān)鍵信息,難以應(yīng)對(duì)多跳復(fù)練

問(wèn)題。動(dòng)態(tài)調(diào)整路徑,但是執(zhí)行通常是線性,

較為復(fù)練效率較低;同時(shí)在調(diào)用鏈過(guò)長(zhǎng)

時(shí)LLM容原始查詢意圖。基于靜態(tài)DAG的方法拆解子問(wèn)題,規(guī)夠依賴關(guān)系,可以并

行解決子問(wèn)題,信息整合準(zhǔn)確,查詢

務(wù)不容意圖偏移。動(dòng)態(tài)規(guī)劃的方法傳統(tǒng)RAG方法靜態(tài)DAG執(zhí)行流程1.用戶提出問(wèn)題例如:查詢?cè)O(shè)備功能、查看圖云等2.LLM進(jìn)行DAG規(guī)劃根據(jù)問(wèn)題復(fù)雜度進(jìn)行結(jié)構(gòu)化拆分3.多模態(tài)執(zhí)行檢索每個(gè)子問(wèn)題根據(jù)內(nèi)容執(zhí)行對(duì)應(yīng)的模

態(tài)檢索4.答案整合和輸出整合所依賴的子問(wèn)題結(jié)果得到答案關(guān)鍵挑戰(zhàn)1.多模態(tài)異構(gòu)信息分散圖像、文本、表格等信息來(lái)源往往

不同,統(tǒng)—檢索難度大2.多跳推理路徑復(fù)雜問(wèn)題隱含邏輯依賴關(guān)系,不易—步

檢索命中目標(biāo)3.復(fù)雜問(wèn)題難以解答LLM難以直接—步到位處理復(fù)雜問(wèn)

題中的依賴給出正確答案

靜態(tài)DAG在復(fù)雜多模態(tài)問(wèn)答中的應(yīng)用流程與優(yōu)勢(shì)優(yōu)勢(shì)分析可解釋性強(qiáng)每—步探索路徑清晰可追朔,有利于故障定位和結(jié)果驗(yàn)證。結(jié)構(gòu)清晰合理拆解復(fù)雜問(wèn)題提前規(guī)劃調(diào)度高效子問(wèn)題可以并行執(zhí)行提高響應(yīng)速度自適應(yīng)模態(tài)檢索子問(wèn)題選擇最合適的模態(tài)檢索方式

靜態(tài)DAG在復(fù)雜多模態(tài)問(wèn)答中的應(yīng)用流程與優(yōu)勢(shì)?

訓(xùn)練LLM,自動(dòng)生成多個(gè)子問(wèn)題?

意圖一致性的度量?

樣本分布一致性的考慮動(dòng)態(tài)規(guī)劃的方法

基于靜態(tài)DAG的方法?

效率問(wèn)題?

“意圖偏離”問(wèn)題方法Exact

MatchF1

ScoreBinder51.057.1MMHQA-ICL54.865.8HPROPRO59.066.7Ours60.6169.65實(shí)驗(yàn)結(jié)果對(duì)比我們?cè)贛MQA這個(gè)多模態(tài)多跳問(wèn)答數(shù)據(jù)集上驗(yàn)證我們方法的準(zhǔn)確性

靜態(tài)DAG在復(fù)雜多模態(tài)問(wèn)答中的應(yīng)用流程與優(yōu)勢(shì)Exact

Match:回答與標(biāo)準(zhǔn)答案是否完全一致;F1Score:回答與標(biāo)準(zhǔn)答案的詞級(jí)重合度(調(diào)和平均)?;诙嘀悄荏w的故障定位

基于多智能體的故障定位?運(yùn)維大模型訓(xùn)練:通過(guò)收集故障處置過(guò)程中運(yùn)維專家的思考、操作歷史記錄,訓(xùn)練運(yùn)維大模型,使其可以構(gòu)建出類似于運(yùn)維專家的排障樹(shù)思維,通過(guò)Agent規(guī)劃運(yùn)維步驟,并調(diào)用相關(guān)工具?多智能體交互框架:多智能體的交互框架,使其能夠協(xié)作完成復(fù)雜的運(yùn)維任務(wù)?

運(yùn)維流程數(shù)據(jù)范式:符合Agent的訓(xùn)練標(biāo)準(zhǔn),兼顧運(yùn)維專家的編寫(xiě)習(xí)慣?

運(yùn)維流程數(shù)據(jù)處理:自動(dòng)化處理收集到的運(yùn)維流程數(shù)據(jù),

完成格式校驗(yàn)、內(nèi)容校驗(yàn)、Prompt填充、樣本轉(zhuǎn)換等步驟?

智能體增強(qiáng)訓(xùn)練:利用專家

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論