第十三章智能體技術(shù)人工智能通識(shí)基礎(chǔ)主講教師：王存睿目錄智能體概述01插件工具02知識(shí)庫(kù)03記憶04工作流05目錄智能體概述011.1智能體概念智能體（AIAgent）是一種能夠感知環(huán)境、進(jìn)行決策和執(zhí)行動(dòng)作的智能實(shí)體。1智能體概述1.2智能體概念A(yù)IAgent的最終目標(biāo)是通向AGI，通往AGI的道路仍需探索，AI智能體是當(dāng)前的主要路線1智能體概述1.3智能體概念A(yù)I智能體的發(fā)展階段可類比自動(dòng)駕駛的L4級(jí)別，距離完全成熟仍有顯著差距。將AI和人類協(xié)作的程度類比自動(dòng)駕駛的不同階段1智能體概述1.4智能體分類我們將目前AI智能體劃分為兩大類：1.自主智能體自主智能體力圖實(shí)現(xiàn)復(fù)雜流程自動(dòng)化。當(dāng)給定自主智能體一個(gè)目標(biāo)時(shí)，它們能自行創(chuàng)建任務(wù)、完成任務(wù)、創(chuàng)建新任務(wù)、重新確定任務(wù)列表的優(yōu)先級(jí)、完成新的首要任務(wù)，并不斷重復(fù)這個(gè)過程，直到完成目標(biāo)。準(zhǔn)確度要求高，因而更需要外部工具輔助減少大模型不確定性的負(fù)面影響。2.智能體模擬智能體模擬力圖更加擬人可信，分為強(qiáng)調(diào)情感情商的智能體以及強(qiáng)調(diào)交互的智能體強(qiáng)調(diào)交互的智能體在多智能體環(huán)境中可能涌現(xiàn)出超越設(shè)計(jì)者規(guī)劃的場(chǎng)景和能力，大模型生成的不確定性反而成為優(yōu)勢(shì)，多樣性使其有望成為AIGC重要組成部分。1智能體概述1.5發(fā)展現(xiàn)狀—國(guó)外基于LLM的AGENT領(lǐng)域產(chǎn)品增長(zhǎng)情況1智能體概述1.6發(fā)展現(xiàn)狀—國(guó)內(nèi)基于LLM的AGENT領(lǐng)域產(chǎn)品增長(zhǎng)情況1智能體概述1.7AIGENT發(fā)展中的挑戰(zhàn)1智能體概述1.8主流智能體平臺(tái)——字節(jié)Coze重點(diǎn)平臺(tái)特點(diǎn)無(wú)代碼開發(fā)豐富的插件庫(kù)內(nèi)置多個(gè)LLM多平臺(tái)發(fā)布知識(shí)庫(kù)功能數(shù)據(jù)庫(kù)功能圖像流工作流多Agent模式團(tuán)隊(duì)協(xié)作1智能體概述1.9主流智能體平臺(tái)——騰訊元器智能體平臺(tái)特點(diǎn)工作流模式騰訊生態(tài)集成全域分發(fā)支持1智能體概述1.10主流智能體平臺(tái)——Dify平臺(tái)特點(diǎn)開源的LLM應(yīng)用開發(fā)平臺(tái)低代碼/無(wú)代碼開發(fā)模塊化設(shè)計(jì)豐富的功能組件支持多種大語(yǔ)言模型強(qiáng)大的數(shù)據(jù)集管理功能1智能體概述1.11本書實(shí)踐平臺(tái)——COZE的架構(gòu)1智能體概述目錄插件工具02在Coze

平臺(tái)中，插件是一個(gè)工具集，一個(gè)插件內(nèi)可以包含一個(gè)或多個(gè)工具（API）。2.1插件基本概念2插件工具2.2插件在提示詞中的使用方法2插件工具2.3插件的參數(shù)調(diào)用和返回值2插件工具2.4插件的使用2插件工具2.5端插件端插件是扣子插件的一種類型，能夠使智能體直接與本地設(shè)備進(jìn)行交互，實(shí)現(xiàn)對(duì)本地設(shè)備的控制和信息獲取。2插件工具目錄知識(shí)庫(kù)033.1為什么需要知識(shí)庫(kù)通用大語(yǔ)言模型僅基于公開數(shù)據(jù)進(jìn)行訓(xùn)練，無(wú)法覆蓋特定組織的私有化知識(shí)體系。例如，模型無(wú)法掌握內(nèi)部規(guī)章制度、專有知識(shí)、用戶專屬項(xiàng)目的實(shí)施細(xì)節(jié)及進(jìn)度信息等非公開數(shù)據(jù)。通過搭建私有知識(shí)庫(kù)系統(tǒng)，可將企業(yè)制度文檔、項(xiàng)目會(huì)議紀(jì)要、技術(shù)資料等專有信息進(jìn)行結(jié)構(gòu)化整合。1.自主智能體扣子支持從多種數(shù)據(jù)源例如本地文檔、在線數(shù)據(jù)、Notion、飛書文檔等渠道上傳文本和表格數(shù)據(jù)。上傳后，扣子可將知識(shí)內(nèi)容自動(dòng)切分為一個(gè)個(gè)內(nèi)容片段進(jìn)行存儲(chǔ)，同時(shí)支持用戶自定義內(nèi)容分片規(guī)則，例如通過分段標(biāo)識(shí)符、字符長(zhǎng)度等方式進(jìn)行內(nèi)容分割。2.智能體模擬扣子的知識(shí)功能還提供了多種檢索方式來(lái)對(duì)存儲(chǔ)的內(nèi)容片段進(jìn)行檢索，例如使用全文檢索通過關(guān)鍵詞進(jìn)行內(nèi)容片段檢索和召回。大模型會(huì)根據(jù)召回的內(nèi)容片段生成最終的回復(fù)內(nèi)容。Coze的知識(shí)庫(kù)功能包含兩個(gè)能力：3知識(shí)庫(kù)3.2Coze平臺(tái)知識(shí)和記憶的對(duì)比知識(shí)：知識(shí)是供智能體或工作流調(diào)用的靜態(tài)數(shù)據(jù)，可在空間內(nèi)共享。由開發(fā)者創(chuàng)建和維護(hù)，智能體的終端用戶無(wú)法對(duì)知識(shí)內(nèi)容進(jìn)行修改。記憶：扣子提供了數(shù)據(jù)庫(kù)、變量、長(zhǎng)期記憶等記憶功能。通常這些數(shù)據(jù)是智能體的終端用戶在使用智能體時(shí)產(chǎn)生的動(dòng)態(tài)數(shù)據(jù)，不支持跨智能體使用。類別

存儲(chǔ)的數(shù)據(jù)

特點(diǎn)

知識(shí)周邊所有的房屋的信息（房屋面積、朝向、租房?jī)r(jià)格等）周邊所有小區(qū)的信息（小區(qū)位置、小區(qū)年代、周邊交通等）某地區(qū)租房政策文件信息官方租房介紹文檔...由智能體開發(fā)者上傳和維護(hù)所有用戶可見但不可修改可跨智能體使用記憶用戶租房喜好（位置、面積、是否帶獨(dú)衛(wèi)等）用戶歷史租房信息用戶關(guān)注的小區(qū)/房屋...用戶個(gè)人數(shù)據(jù)不可以跨智能體使用3知識(shí)庫(kù)3.3知識(shí)庫(kù)類型扣子支持使用扣子知識(shí)庫(kù)和火山知識(shí)庫(kù)，兩者對(duì)應(yīng)的分類方式不同?？圩又R(shí)庫(kù)：分為文本類型、表格類型、圖片類型的知識(shí)庫(kù)?；鹕街R(shí)庫(kù)：分為結(jié)構(gòu)化和非結(jié)構(gòu)化的知識(shí)庫(kù)。對(duì)比維度

扣子知識(shí)庫(kù)

火山知識(shí)庫(kù)

產(chǎn)品定位扣子官方知識(shí)庫(kù)，支持智能切片管理，適合輕量檢索場(chǎng)景?；鹕揭嫣峁┑钠髽I(yè)級(jí)知識(shí)庫(kù)服務(wù)，精細(xì)化切片管理，適合于企業(yè)客戶場(chǎng)景。存儲(chǔ)空間與性能輕量級(jí)數(shù)據(jù)量及檢索操作。相對(duì)扣子知識(shí)庫(kù)，火山知識(shí)庫(kù)支持更大的存儲(chǔ)空間（例如單個(gè)知識(shí)庫(kù)支持300萬(wàn)個(gè)文檔數(shù)量）、更高的QPS（單個(gè)知識(shí)庫(kù)最高可支持1萬(wàn)QPS）、更精細(xì)的切片管理（單個(gè)文檔支持最大切片數(shù)10萬(wàn)個(gè)）和更復(fù)雜的文檔處理需求，能夠滿足企業(yè)客戶對(duì)于大規(guī)模知識(shí)庫(kù)的存儲(chǔ)需求。操作難度其操作流程簡(jiǎn)單便捷，用戶可以輕松上手。配置相對(duì)復(fù)雜、繁瑣。3知識(shí)庫(kù)3.4在資源庫(kù)新建知識(shí)庫(kù)3知識(shí)庫(kù)3.5設(shè)置知識(shí)庫(kù)參數(shù)概念解釋1.精準(zhǔn)解析：支持從文檔中提取元素支持設(shè)置過濾策略，耗時(shí)更長(zhǎng)的時(shí)間。2.快速解析：不支持從文檔中提取圖像、表格等元素，適用于純文本。3.按層級(jí)分段：根據(jù)內(nèi)容的重要性和邏輯關(guān)系設(shè)置為多個(gè)層級(jí)。層級(jí)為2系統(tǒng)會(huì)將知識(shí)庫(kù)內(nèi)容按照1級(jí)和2級(jí)標(biāo)題進(jìn)行劃分形成結(jié)構(gòu)化信息。4.檢索切片保留層級(jí)信息：是否保留文檔段落的層級(jí)結(jié)構(gòu)信息，以便在檢索結(jié)果中展示段落之間的層次關(guān)系。3知識(shí)庫(kù)3.6提示詞中調(diào)用知識(shí)庫(kù)選擇在已經(jīng)提前創(chuàng)建好的知識(shí)庫(kù)；配置提示詞，讓智能體自動(dòng)使用知識(shí)庫(kù)回答問題；點(diǎn)擊右上角“優(yōu)化”，可以自動(dòng)優(yōu)化提示詞，獲得更好的結(jié)果。3知識(shí)庫(kù)目錄記憶044.1記憶的概念在Coze

平臺(tái)中，”記憶”和”知識(shí)庫(kù)”是兩個(gè)重要的概念，它們?cè)诠δ芎蛻?yīng)用上有所區(qū)別：知識(shí)庫(kù)：知識(shí)庫(kù)功能主要用于存儲(chǔ)和管理外部數(shù)據(jù)，允許Bot與指定的數(shù)據(jù)進(jìn)行交互；記憶：記憶庫(kù)功能則用于保留和理解對(duì)話細(xì)節(jié)，支持添加外部知識(shí)庫(kù)給模型補(bǔ)充知識(shí)，使Bot與用戶的互動(dòng)更有針對(duì)性和個(gè)性化。簡(jiǎn)單點(diǎn)說就是：一個(gè)是動(dòng)態(tài)更新的，一個(gè)是靜態(tài)的，一個(gè)是實(shí)時(shí)更新的，一個(gè)是預(yù)先收集的。4記憶4.2記憶的類型1.變量：用戶變量用于存儲(chǔ)每個(gè)用戶在使用智能體過程中，需要持久化存儲(chǔ)和讀取的數(shù)據(jù)，例如用戶的個(gè)性化設(shè)置、語(yǔ)言偏好、歷史交互記錄等。2.數(shù)據(jù)庫(kù)：允許用戶以表格結(jié)構(gòu)存儲(chǔ)數(shù)據(jù)，用戶可通過自然語(yǔ)言與智能體進(jìn)行交互來(lái)插入或查詢數(shù)據(jù)庫(kù)中的數(shù)據(jù)。這種類似傳統(tǒng)軟件開發(fā)中數(shù)據(jù)庫(kù)的功能，允許用戶以表格結(jié)構(gòu)存儲(chǔ)數(shù)據(jù)。這種數(shù)據(jù)存儲(chǔ)方式非常適合組織和管理結(jié)構(gòu)化數(shù)據(jù)，例如客戶信息、產(chǎn)品列表、訂單記錄等。3.長(zhǎng)期記憶：智能體會(huì)自動(dòng)收集對(duì)話中和用戶相關(guān)的個(gè)性化信息，并將其記錄到自己的長(zhǎng)期記憶中。在多輪對(duì)話中，智能體會(huì)根據(jù)對(duì)話的上下文生成更符合當(dāng)下場(chǎng)景的回復(fù)。但上下文是相對(duì)短期的記憶，超過模型指定的上下文輪數(shù)之后，對(duì)話效果通常會(huì)質(zhì)量下降。尤其在和情感陪伴類的智能體對(duì)話時(shí)，對(duì)話體驗(yàn)更依賴模型的長(zhǎng)期記憶能力。4文件盒子：文件盒子基于合規(guī)和隱私保護(hù)統(tǒng)一存儲(chǔ)和管理用戶上傳的文檔、圖片、表格等常用類型文件，在面向復(fù)雜的用戶任務(wù)場(chǎng)景時(shí)，通過文件盒子可以反復(fù)使用已保存的多模態(tài)數(shù)據(jù)。4記憶4.3記憶-變量可以通過創(chuàng)建變量來(lái)保存用戶個(gè)人信息，例如語(yǔ)言偏好等，并讓智能體記住這些特征，使回復(fù)更加個(gè)性化。變量以key-value形式存儲(chǔ)用戶的某一行為或偏好。大語(yǔ)言模型會(huì)根據(jù)用戶輸入內(nèi)容進(jìn)行語(yǔ)義匹配，為定義的變量賦值并保存值。你可以在提示詞中為智能體聲明某個(gè)變量的具體使用場(chǎng)景。變量分類

變量名稱

變量描述

變量類型

支持渠道

用戶信息sys_uuid用戶唯一ID。String全部渠道sys_longitude用戶實(shí)時(shí)位置的經(jīng)度信息，使用此變量會(huì)觸發(fā)用戶授權(quán)。String扣子商店和扣子模板sys_latitude用戶實(shí)時(shí)位置的緯度信息，使用此變量會(huì)觸發(fā)用戶授權(quán)。String扣子商店和扣子模板sys_lat_lon用戶實(shí)時(shí)位置的經(jīng)緯度信息，緯度在前，經(jīng)度在后，使用此變量會(huì)觸發(fā)用戶授權(quán)。String扣子商店和扣子模板sys_lon_lat用戶實(shí)時(shí)位置的經(jīng)緯度信息，經(jīng)度在前，緯度在后，使用此變量會(huì)觸發(fā)用戶授權(quán)。String扣子商店和扣子模板4記憶4.4記憶-數(shù)據(jù)庫(kù)扣子的數(shù)據(jù)庫(kù)功能提供了一種簡(jiǎn)單、高效的方式來(lái)管理和處理結(jié)構(gòu)化數(shù)據(jù)，開發(fā)者和用戶可通過自然語(yǔ)言插入、查詢、修改或刪除數(shù)據(jù)庫(kù)中的數(shù)據(jù)。同時(shí)，也支持開發(fā)者開啟多用戶模式，支持更靈活的讀寫控制?？圩犹峁┝祟愃苽鹘y(tǒng)軟件開發(fā)中數(shù)據(jù)庫(kù)的功能，允許用戶以表格結(jié)構(gòu)存儲(chǔ)數(shù)據(jù)。這種數(shù)據(jù)存儲(chǔ)方式非常適合組織和管理結(jié)構(gòu)化數(shù)據(jù)，例如客戶信息、產(chǎn)品列表、訂單記錄等。單用戶模式

多用戶模式

讀寫模式有限讀寫模式完整讀寫模式讀寫權(quán)限開發(fā)者和用戶都可以添加記錄，但僅能讀/修改/刪除自己創(chuàng)建的來(lái)自同渠道的數(shù)據(jù)。開發(fā)者和用戶都可讀/寫/修改/刪除表中來(lái)自同渠道的任何數(shù)據(jù)，由業(yè)務(wù)邏輯控制讀寫權(quán)限。生效方式在創(chuàng)建表格時(shí)，選擇單用戶模式。在創(chuàng)建表格時(shí)，選擇多用戶模式。調(diào)用方式支持在Prompt、Query中通過NL2SQL方式及代碼方式調(diào)用支持在工作流中通過NL2SQL方式及代碼方式調(diào)用支持在Prompt、Query中通過NL2SQL方式及代碼方式調(diào)用支持在工作流中通過NL2SQL方式及代碼方式調(diào)用應(yīng)用場(chǎng)景示例一個(gè)記賬智能體，每個(gè)用戶/開發(fā)者,自己記錄賬單，自己查看。一個(gè)金融分析智能體，開發(fā)者導(dǎo)入上市公司近三年財(cái)報(bào)到數(shù)據(jù)表用于做金融分析，所有用戶都可以讀這份數(shù)據(jù)用于金融分析。一個(gè)漂流瓶智能體，用戶可以發(fā)布漂流瓶，也可以隨機(jī)讀取別人的漂流瓶。一個(gè)聯(lián)網(wǎng)游戲智能體，游戲結(jié)束后，可以查看排行榜。4記憶4.5記憶-數(shù)據(jù)庫(kù)調(diào)用4記憶4.6記憶-長(zhǎng)期記憶長(zhǎng)期記憶功能模仿人類大腦形成對(duì)用戶的個(gè)人記憶，根據(jù)這些記憶可以提供個(gè)性化回復(fù)，提升用戶體驗(yàn)。長(zhǎng)期記憶功能主要包含以下2部分能力：記錄：自動(dòng)識(shí)別并記錄用戶在對(duì)話中提供的個(gè)性化信息，例如用戶畫像、記憶點(diǎn)等信息。召回：在用戶要求提取相關(guān)的長(zhǎng)期記憶，并總結(jié)個(gè)性化信息，在此基礎(chǔ)上生成最終回復(fù)。支持智能體的開發(fā)者刪除或清空本人的長(zhǎng)期記憶。在調(diào)試頁(yè)面的右上角單擊Memory>長(zhǎng)期記憶，可查看本人相關(guān)的所有長(zhǎng)期記憶，也可以編輯或刪除、清空本人的長(zhǎng)期記憶。4記憶4.7記憶-長(zhǎng)期記憶常見問題1長(zhǎng)期記憶與變量的區(qū)別？變量是由智能體開發(fā)者創(chuàng)建的，智能體僅記錄開發(fā)者定義過的變量。而長(zhǎng)期記憶是智能體從對(duì)話中自動(dòng)提取、總結(jié)、并且不斷調(diào)整和積累的用戶信息，是更為個(gè)性化的內(nèi)容。2長(zhǎng)期記憶與知識(shí)的區(qū)別？知識(shí)是更通用的基礎(chǔ)設(shè)施，雖然支持自動(dòng)更新已添加的知識(shí)，但知識(shí)仍然是相對(duì)靜態(tài)的內(nèi)容。而長(zhǎng)期記憶一定是在不斷構(gòu)建的，隨著用戶使用智能體對(duì)話的變多，記憶也會(huì)越來(lái)越豐富。3為什么Memory中看不到長(zhǎng)期記憶？長(zhǎng)期記憶記錄到Memory中需要一定時(shí)間，建議在對(duì)話一段時(shí)間后再進(jìn)入Memory>長(zhǎng)期記憶頁(yè)面查看長(zhǎng)期記憶，或者再與智能體對(duì)話1~2輪之后查看。常見問題4記憶4.8記憶-文件盒子文件盒子（Filebox）是扣子智能體的能力之一，它提供了多模態(tài)數(shù)據(jù)的合規(guī)存儲(chǔ)、管理以及交互能力。多模態(tài)數(shù)據(jù)是指用戶發(fā)給智能體的圖片、PDF、DOCX、Excel等常見文件。1記憶

>文件盒子區(qū)域，開啟文件盒子能力2編排頁(yè)面的預(yù)覽與調(diào)試區(qū)域，展開Memory

>文件盒子4.以在照片或文檔頁(yè)簽中查看自己上傳的文件列表3.在照片或文檔頁(yè)簽的右上角單擊上傳。4記憶目錄工作流055.1為什么需要工作流業(yè)務(wù)流程當(dāng)用戶向小助手發(fā)起咨詢后，小助手會(huì)首選判斷用戶咨詢的問題是否與扣子產(chǎn)品有關(guān)。如果是扣子使用的相關(guān)問題，則調(diào)用扣子知識(shí)庫(kù)查找相關(guān)說明并使用大模型能力進(jìn)行總結(jié)和回復(fù)。并且將消息記錄寫入到多維表格中，進(jìn)行自動(dòng)分析。如果不是扣子使用的相關(guān)問題，則直接調(diào)用大語(yǔ)言模型進(jìn)行回復(fù)，且不進(jìn)行問題記錄。5工作流5.2為什么需要工作流這就需要一個(gè)調(diào)用知識(shí)庫(kù)、插件和大模型的復(fù)雜流程5工作流5.3利用工作流實(shí)現(xiàn)流程5工作流5.4工作流概念工作流是一系列可執(zhí)行指令的集合，用于實(shí)現(xiàn)業(yè)務(wù)邏輯或完成特定任務(wù)。工作流的核心在于將大模型的強(qiáng)大能力與特定的業(yè)務(wù)邏輯相結(jié)合，通過系統(tǒng)化、流程化的方法來(lái)實(shí)現(xiàn)高效、可擴(kuò)展的AI應(yīng)用開發(fā)?？圩犹峁┝艘粋€(gè)可視化畫布，你可以通過拖拽節(jié)點(diǎn)迅速搭建工作流?？圩悠脚_(tái)提供兩種工作流工作流（Workflow）：用于處理功能類的請(qǐng)求，可通過順序執(zhí)行一系列節(jié)點(diǎn)實(shí)現(xiàn)某個(gè)功能。適合數(shù)據(jù)的自動(dòng)化處理場(chǎng)景，例如生成行業(yè)調(diào)研報(bào)告、生成一張海報(bào)、制作繪本等。對(duì)話流（Chatflow）：處理對(duì)話類請(qǐng)求。對(duì)話流通過對(duì)話的方式和用戶交互，并完成復(fù)雜的業(yè)務(wù)邏輯。例如個(gè)人助手、智能客服、虛擬伴侶等。5工作流5.5對(duì)話流和工作流的區(qū)別差異工作流對(duì)話流場(chǎng)景適合數(shù)據(jù)的自動(dòng)化處理場(chǎng)景，例如生成行業(yè)調(diào)研報(bào)告、生成一張海報(bào)、制作繪本等。對(duì)話流專為對(duì)話場(chǎng)景設(shè)計(jì)，更適合處理對(duì)話類請(qǐng)求。它通過與用戶對(duì)話，完成復(fù)雜業(yè)務(wù)邏輯，適用于如智能客服、虛擬伴侶等需要復(fù)雜交互的應(yīng)用。節(jié)點(diǎn)涉及大模型處理的節(jié)點(diǎn)不支持查看對(duì)話歷史。開始節(jié)點(diǎn)必須傳入會(huì)話名稱，以便記錄用戶和模型的對(duì)話歷史。對(duì)話流中的模型類節(jié)點(diǎn)支持讀取對(duì)話歷史，會(huì)話中的上下文會(huì)和用戶問題一起傳遞給大模型。角色配置不支持角色配置。支持為每個(gè)對(duì)話流單獨(dú)配置角色屬性，如名稱、頭像、開場(chǎng)白、音色和輸入方式等。對(duì)話服務(wù)會(huì)根據(jù)配置，以指定角色與用戶互動(dòng)。用戶界面支持布局組件、展示組件等豐富的組件類型。目前僅支持AI對(duì)話組件。AI對(duì)話組件可將對(duì)話流包裝為一個(gè)聊天面板，展示在移動(dòng)端或網(wǎng)頁(yè)端頁(yè)面中。發(fā)布渠道在AI應(yīng)用中的工作流，支持發(fā)布到API，工作流綁定用戶界面之后，還可以發(fā)布到模板、商店。暫不支持發(fā)布到社交渠道、