?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。AI原生數(shù)據(jù)架構(gòu):亞馬遜云科技數(shù)據(jù)庫(kù)高級(jí)產(chǎn)品經(jīng)理亞馬遜云科技數(shù)據(jù)庫(kù)高級(jí)產(chǎn)品經(jīng)理亞馬遜云科技數(shù)據(jù)庫(kù)高級(jí)產(chǎn)品經(jīng)理?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。生成式AI應(yīng)用的數(shù)據(jù)挑戰(zhàn)?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。協(xié)調(diào)多個(gè)AI組件協(xié)同工作管理AI模型的權(quán)重和運(yùn)行狀態(tài)?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。生成式AI應(yīng)用中的數(shù)據(jù)類型結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)向量數(shù)據(jù)元數(shù)據(jù)?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。生成式AI應(yīng)用中數(shù)據(jù)的特點(diǎn)海量數(shù)據(jù)規(guī)模生成式AI應(yīng)用需要處理PB級(jí)別的訓(xùn)練數(shù)據(jù)和大規(guī)模的用戶交互數(shù)據(jù),對(duì)存儲(chǔ)容量和擴(kuò)展性提出極高要求多樣化數(shù)據(jù)類型同時(shí)處理結(jié)構(gòu)化、非結(jié)構(gòu)化和向量化數(shù)據(jù),跨越文本、圖像、音頻、視頻等多種媒體格式實(shí)時(shí)處理需求要求低延遲的響應(yīng)速度和實(shí)時(shí)數(shù)據(jù)處理能力,以支持自然對(duì)話和動(dòng)態(tài)內(nèi)容生成持續(xù)演變與更新數(shù)據(jù)持續(xù)增長(zhǎng)并不斷演變,需要支持增量更新、版本管理和知識(shí)庫(kù)動(dòng)態(tài)調(diào)整安全性與隱私保障處理敏感信息和個(gè)人數(shù)據(jù),需要嚴(yán)格的訪問(wèn)控制、數(shù)據(jù)加密和隱私保護(hù)機(jī)制?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。對(duì)數(shù)據(jù)庫(kù)的要求向量檢索能力低延遲查詢性能靈活的模式適應(yīng)性多模態(tài)數(shù)據(jù)支持?jǐn)?shù)據(jù)安全與隱私?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。靈活數(shù)據(jù)模型與生成式AI的契合點(diǎn)可擴(kuò)展性?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。無(wú)需更改代碼,即可遷移生成式AI核心應(yīng)用場(chǎng)景向量數(shù)據(jù)存儲(chǔ)存儲(chǔ)多維度向量數(shù)據(jù),向量搜索兼有JSON文檔數(shù)據(jù)庫(kù)的靈活性和豐富的查詢功能對(duì)話歷史與上下文管理記錄用戶與AI系統(tǒng)的完整交互歷史,實(shí)現(xiàn)長(zhǎng)期記憶和上下文理解非結(jié)構(gòu)化內(nèi)容索引存儲(chǔ)和檢索文章、報(bào)告等內(nèi)容,為RAG系統(tǒng)提供知識(shí)基礎(chǔ)多模態(tài)數(shù)據(jù)存儲(chǔ)統(tǒng)—管理文本、元數(shù)據(jù)和媒體引用,支持跨模態(tài)AI應(yīng)用],?DocumentDB能同時(shí)存儲(chǔ)用戶畫(huà)像、對(duì)話歷史和AI系統(tǒng)所需的輔助數(shù)據(jù),為生成式AI提供—站式存儲(chǔ)方案?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。向量數(shù)據(jù)庫(kù)和向量搜索*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外區(qū)域可用,亞馬遜云科技中國(guó)僅為幫助您發(fā)展海外業(yè)務(wù)和/或了解行業(yè)前沿技*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外區(qū)域可用,亞馬遜云科技中國(guó)僅為幫助您發(fā)展海外業(yè)務(wù)和/或了解行業(yè)前沿技2獲取對(duì)話狀態(tài)/歷史42獲取對(duì)話狀態(tài)/歷史4令牌化,通過(guò)大語(yǔ)言模型獲取問(wèn)題嵌入5針對(duì)問(wèn)題嵌入運(yùn)行相似性搜索,獲取相6使用工程化的Prompt調(diào)用大語(yǔ)言模型7更新對(duì)話狀態(tài)/歷史816816334455AmazonDocumentDB?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。通常情況下,向量和數(shù)據(jù)最好存儲(chǔ)在—起?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利?？焖偾铱蓴U(kuò)縮:計(jì)算與存儲(chǔ)分離使得計(jì)算能力可以獨(dú)立擴(kuò)展到支持最高每秒數(shù)百萬(wàn)讀操作,存儲(chǔ)通過(guò)以應(yīng)用程序支持的靈活的JSON格式存儲(chǔ)、查詢、索引和聚合數(shù)據(jù)(包括向量)加速應(yīng)用程序的開(kāi)發(fā)和更新全托管:通過(guò)以應(yīng)用程序支持的靈活的JSON格式存儲(chǔ)、查詢、索引和聚合數(shù)據(jù)(包括向量)加速應(yīng)用程序的開(kāi)發(fā)和更新企業(yè)準(zhǔn)備就緒:99.99%高可用性;同區(qū)域3可用區(qū)確保數(shù)據(jù)可持續(xù)性;全局集群支持多區(qū)域工據(jù)類型;支持MongoDBAPI、驅(qū)動(dòng)程序和工具?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。為什么要存儲(chǔ)對(duì)話為什么要存儲(chǔ)對(duì)話/聊天歷史信息?2025,AmazonWebServices,Inc.或其附屬公司。保留所有?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。聊天歷史數(shù)據(jù)存儲(chǔ)需求聊天歷史數(shù)據(jù)存儲(chǔ)需求大吞吐量的讀寫(xiě):在角色扮演的對(duì)話中,App的注冊(cè)用戶數(shù)量經(jīng)常會(huì)達(dá)到百萬(wàn)甚至千萬(wàn)級(jí)別,需要數(shù)據(jù)庫(kù)支撐大并發(fā)高吞吐量的讀寫(xiě)大吞吐量的讀寫(xiě):在角色扮演的對(duì)話中,App的注冊(cè)用戶數(shù)量經(jīng)常會(huì)達(dá)到百萬(wàn)甚至千萬(wàn)級(jí)別,需要數(shù)據(jù)庫(kù)支撐大并發(fā)高吞吐量的讀寫(xiě)資源容易擴(kuò)展:隨著用戶的增多,高效而經(jīng)濟(jì)地?cái)?shù)據(jù)存儲(chǔ):面對(duì)百萬(wàn)/千萬(wàn)級(jí)的用戶聊天,對(duì)話消息的數(shù)據(jù)量可能會(huì)達(dá)到億條甚至10億條,數(shù)據(jù)庫(kù)需要提供資源容易擴(kuò)展:隨著用戶的增多,支持高效的數(shù)據(jù)檢索和分析,以便后續(xù)對(duì)聊天歷史進(jìn)行數(shù)據(jù)挖掘和查詢?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。0101靈活的數(shù)據(jù)模型:地表示復(fù)雜的數(shù)據(jù)結(jié)構(gòu),息數(shù)據(jù),如文本、圖片、0202高性能:大量的并發(fā)請(qǐng)求,并且具有快速的讀寫(xiě)能力,0303水平可擴(kuò)展性:擴(kuò)展,可以通過(guò)增加服數(shù)據(jù)集和更高的負(fù)載,0404數(shù)據(jù)高可用性和容錯(cuò)性:可用性和容錯(cuò)性,確保聊0505豐富的查詢功能:的查詢語(yǔ)言,包括全文查詢、地理空間查詢等,可以滿足各種查詢需求,?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。{"CreateTime":"2018-11-1411:31:23.000","UpdatedTime":"2025-05-0201:17:36.000",”ChatType":"membership",”ChatContentSummary":{"en-US":"Howtoresetaccountpas}}AmazonAmazonAmazonAmazonSystemAmazonDocumentDBlsaaParameterStoreAmazon?2025,AmazonWebServices,Inc?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。DynamoDB:鍵值數(shù)據(jù)庫(kù)在生成式AI中的應(yīng)用生成式生成式AI核心應(yīng)用場(chǎng)景存儲(chǔ)用戶偏好和行為數(shù)據(jù),支持AI模型提供實(shí)時(shí)個(gè)性化內(nèi)容推薦持久化AI對(duì)話歷史和上下文信息,確保對(duì)話連貫性為生成式AI模型提供低延遲的特征訪問(wèn),提升推理質(zhì)量DynamoDBDynamoDB核心特點(diǎn)無(wú)服務(wù)器架構(gòu):完全托管,無(wú)需服務(wù)器管理極致性能:毫秒級(jí)延遲,幾乎無(wú)限的吞吐量技術(shù)優(yōu)勢(shì)?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利?；A(chǔ)生成式AI應(yīng)用生成式AI應(yīng)用?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利?；跀?shù)據(jù)定制生成式AI生成式生成式AI應(yīng)用是否對(duì)LLM是否對(duì)LLM有特殊指令?使用Prompt模板情景上下文是否作為正在進(jìn)行的對(duì)話的—部分?情景上下文語(yǔ)義上下文是否有能幫助LLM語(yǔ)義上下文?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。處理各種數(shù)據(jù)使用Prompt模板為模型定義指令使用Prompt模板為模型定義指令情景上下文語(yǔ)義上下文?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。:內(nèi)存加速在?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。超高速內(nèi)存數(shù)據(jù)庫(kù)超高速內(nèi)存數(shù)據(jù)庫(kù)MemoryDB優(yōu)化生成式AI延遲對(duì)比生成式AI核心應(yīng)用場(chǎng)景存儲(chǔ)對(duì)話上下文和會(huì)話狀態(tài),確保毫秒級(jí)響應(yīng)速度緩存頻繁訪問(wèn)的向量嵌入,減少計(jì)算開(kāi)銷,加速相似性搜索存儲(chǔ)中間結(jié)果和計(jì)算狀態(tài),提高大模型推理速度為多節(jié)點(diǎn)AI服務(wù)集群提供共享緩存,平衡負(fù)載,降低冷啟動(dòng)時(shí)間?超高吞吐量-支持海量并發(fā)用戶?數(shù)據(jù)持久性-不犧牲性能的數(shù)據(jù)?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。持久語(yǔ)義緩存緩存重復(fù)且消耗高的查詢結(jié)果,從而優(yōu)化性能、規(guī)模和成本但是,持久δ義?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。從語(yǔ)義方面來(lái)說(shuō),向量嵌入是什么?將語(yǔ)義上相似的上下文包含到執(zhí)行語(yǔ)義相似性搜索存儲(chǔ)在向量數(shù)據(jù)將語(yǔ)義上相似的上下文包含到執(zhí)行語(yǔ)義相似性搜索存儲(chǔ)在向量數(shù)據(jù)存儲(chǔ)庫(kù)令牌化向量化音頻/視頻語(yǔ)義元素:0.350.100.9001.0000001.000…0.350.100.8001.0000001.000…0.150.100.7001.0000001.000…來(lái)源:/embeddings-explained向量嵌入:在生成式AI中應(yīng)用的具有語(yǔ)義的向量元素?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。#....?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。語(yǔ)義緩存-找到語(yǔ)義相似的向量●?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。基礎(chǔ)生成式AI應(yīng)用生成式AI應(yīng)用生成式AI應(yīng)用基礎(chǔ)模型?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。添加持久語(yǔ)義緩存(創(chuàng)建向量嵌入Vector(0.35、0.1、2.7、0.9、1.2…)基礎(chǔ)模型Prompt基礎(chǔ)模型Prompt生成式AI生成式AI應(yīng)用(0.35、0.1、2.7、0.9、1.2…)持久語(yǔ)義緩存?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。添加持久語(yǔ)義緩存(創(chuàng)建向量嵌入Vector(0.35、0.1、2.7、0.9、1.2…)基礎(chǔ)模型Prompt基礎(chǔ)模型Prompt生成式AI生成式AI應(yīng)用(0.35、0.1、2.7、0.9、1.2….)持久語(yǔ)義緩存?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。未使用MemoryDB1124.73%49.73%74.73%89.79%89.79%100%200%300%400%注意:1)假設(shè)使用Bedrock上的AnthropicClaude3Sonnet模型,每日處理的問(wèn)題數(shù)量為10萬(wàn),每個(gè)問(wèn)題涉及1900個(gè)輸入Token和250個(gè)輸出Token。2)假設(shè)使用3個(gè)db.r7g.xlarge系列的MemoryDB實(shí)例,1主2備架構(gòu),啟用了緩存預(yù)熱功能,每日寫(xiě)入數(shù)據(jù)17GB,費(fèi)用價(jià)格為$0.20/GB。?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。?使用AmazonBedrock服務(wù)構(gòu)建聊天機(jī)器人?每月聊天請(qǐng)求數(shù)達(dá)57,000?80%的請(qǐng)求語(yǔ)義重復(fù),可以從緩存中獲取答案?由于使用MemoryDB后緩存命中率高,成本減少70%?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。:圖數(shù)據(jù)庫(kù)在?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。圖數(shù)據(jù)庫(kù)模型與人類認(rèn)知方式相似,更自然地表達(dá)實(shí)體間關(guān)系快速發(fā)現(xiàn)間接關(guān)聯(lián)和隱藏模式,支持復(fù)雜推理鏈隨著新知識(shí)和關(guān)系的添加,模型可靈活擴(kuò)展生成式AI核心應(yīng)用場(chǎng)景為大語(yǔ)言模型提供結(jié)構(gòu)化知識(shí)庫(kù),存儲(chǔ)實(shí)體關(guān)系和上下文信息支持多跳推理,從多個(gè)事實(shí)中推導(dǎo)新知識(shí),增強(qiáng)AI推理能力整合用戶行為、偏好和社交關(guān)系,提供更精準(zhǔn)的個(gè)性化推薦?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利?；旌纤阉?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。向量表示:?文本嵌入模型?圖像嵌入模型節(jié)點(diǎn)代表實(shí)體Xiulan?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。西葫蘆與夏南瓜和小胡瓜具有相似性EfuaOwusu和JohnDoe有關(guān)聯(lián)因?yàn)樗麄兒舷蛄勘硎??文本嵌入模型向量表示:?文本嵌入模型?圖像嵌入模型XiulanXiulan?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。在向量空間中和知識(shí)圖譜空間中均相似的實(shí)體?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。在向量空間中不同但在知識(shí)圖譜空間中相似的實(shí)體?2025,AmazonWebServices,Inc.?2025,AmazonWebServices,Inc.或其附屬公司。保留所有權(quán)利。融合所有信息:—個(gè)典型的生成式AI應(yīng)用使用資料庫(kù)的流程數(shù)據(jù)治理(可發(fā)現(xiàn)性、質(zhì)量、安全/訪問(wèn)控制策略)互動(dòng)歷史和狀態(tài)內(nèi)存緩存(如,多輪聊天機(jī)器人)內(nèi)存緩存事件、變化數(shù)據(jù)捕獲使用企業(yè)數(shù)據(jù)增強(qiáng)生成數(shù)據(jù)攝取(來(lái)自結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)源的數(shù)據(jù)攝取(來(lái)自結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)源的批量數(shù)據(jù)和流數(shù)據(jù))數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)(特定領(lǐng)域數(shù)據(jù)集,(數(shù)據(jù)轉(zhuǎn)換、清洗;(數(shù)據(jù)轉(zhuǎn)換、清洗;生成式AI應(yīng)用生成式AI應(yīng)用微調(diào)/訓(xùn)練)亞馬遜云科技數(shù)據(jù)庫(kù)服務(wù)生成式AI模型(LLM)亞馬遜云科技數(shù)據(jù)分析服務(wù)?2025,AmazonWebServices,Inc.?2025,AmazonWebServi