面向生成式AI的智能搜索李俊欣(資深產(chǎn)品經(jīng)理亞馬遜云科技*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外搜到你想找的內(nèi)容了嗎?文本查詢:“文本查詢:“Blueshoes”滿意嗎?搜索結(jié)果感到失望?滿意嗎?搜索結(jié)果終于找到了放棄搜索*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外發(fā)展趨勢未來信息查找和交互將更加長期化,更多地依賴人機(jī)之間的對話交流未來信息查找和交互將更加長期化,更多地依賴人機(jī)之間的對話交流搜索引擎結(jié)果仍然有價(jià)值,尤其是當(dāng)您有確切的搜索詞時(shí)基礎(chǔ)模型*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外基礎(chǔ)模型局限性響應(yīng)時(shí)長產(chǎn)生幻覺專業(yè)不足調(diào)用響應(yīng)時(shí)長產(chǎn)生幻覺專業(yè)不足調(diào)用成本*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外檢索增強(qiáng)生成(基礎(chǔ)模型基礎(chǔ)模型向量向量數(shù)據(jù)存儲(chǔ)向量嵌入*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外什么是向量嵌入?政策培訓(xùn)退貨產(chǎn)品政策培訓(xùn)退貨產(chǎn)品網(wǎng)球鞋雨鞋雨鞋*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外向量空間*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外向量相似度搜索生成式AI模型將非結(jié)構(gòu)化數(shù)據(jù)(文本,圖像,音頻,視頻)表示為向量embeddingsEmbeddings捕捉語義含義和內(nèi)容關(guān)系通過比較向量距離,根據(jù)向量接近度提供相你最愛的歌曲可能喜歡的歌曲AmazonAmazonMusic:推薦歌曲*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外向量搜索工作流原始數(shù)據(jù)生成向量embeddings加載搜索結(jié)果通過關(guān)鍵詞(元數(shù)據(jù))檢索最相關(guān)內(nèi)容…檢索與部分內(nèi)容最相似的內(nèi)容:提問上下文、圖像、音樂片段…*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外?0pen?0pen500,000+*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外?支持文本檢索?支持稀疏向量高性能可存儲(chǔ)數(shù)十億向量并提供毫秒級延時(shí)查詢高可用可跨AZ部署,且不額外收取跨AZ數(shù)據(jù)傳輸費(fèi)用自動(dòng)替換壞節(jié)點(diǎn)多路召回結(jié)合傳統(tǒng)文本搜索,提升準(zhǔn)確率*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外CC?支持文本檢索?支持稀疏向量高性能可存儲(chǔ)數(shù)十億向量并提供毫秒級延時(shí)查詢無服務(wù)器化用戶無需關(guān)心節(jié)點(diǎn)選擇和分片策略高可用性,且無需擔(dān)心底層節(jié)點(diǎn)運(yùn)維易于擴(kuò)展,按需付費(fèi)多路召回結(jié)合傳統(tǒng)文本搜索,提升準(zhǔn)確率*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外工作原理11式數(shù)據(jù)22數(shù)據(jù)建立索引–所有字段均可搜索,包括嵌套JSON33布爾表達(dá)式、排序和分析2 12 1*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外數(shù)據(jù)準(zhǔn)備 源文檔包含實(shí)體的文檔包含規(guī)范化實(shí)體和包含規(guī)范化實(shí)體、文本分塊1*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外通過離線處理進(jìn)行數(shù)據(jù)攝取源文檔存儲(chǔ)桶嵌入文檔存儲(chǔ)桶AmazonBedrock離線處理可以提供較大限度的靈活性,整合*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外刀職PUT_ingest/pipeline/remote-neural-pipeline{"description":"SemanticSearchpipeline",{"field_map":{"description":"desc_v"name":"name_v"}}}]}{"settings":{"default_pipeline":"remote-neural-pipeline",},"mappings":{"properties":{"dimension":384,"method":{"name":"hnsw","engine":"nmslib","space_type":"cosi}}}}}*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外查詢{"query":{"query":{"range":{"price":{ "lte":100}}},"script":{"lang":"knn","params":{"query_value":[-0.12926292,0.11163,…],{"query":{"knn":{”embedding":{"vector":"filter":{}}}]}search_pipeline=hybrid-pipeline{"query":{"hybrid":{"match":{"text":{"query":"redshirt"}}},{"neural":{"query_text":"redshirt","model_id":}}}]}}}*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外知識(shí)召回*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外簡化聊天工作流AI聊天機(jī)器人應(yīng)用大語言模型[5,3,2,4,3][1,2,4,3,5][1,2,4,3,5][9,3,2,4,3][0,2,4,3,5][1,2,4,3,5]*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外成本必要的職舍:性能調(diào)優(yōu)能力成本$$高召回率下成本降低磁盤模式:高召回率下成本降低磁盤模式:至原來的三分之—至原來的三分之—●$$$-二進(jìn)制量化(壓縮率達(dá)32倍)$$$-采用磁盤經(jīng)過優(yōu)化的布局進(jìn)行全精度采樣和重新評分延遲(速度)5-20毫秒<0.50召回率(質(zhì)量)>0.951.00*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外純向量數(shù)據(jù)庫局限性專業(yè)不足同義詞?專業(yè)名詞同義詞??*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外多路召回(混合搜索)*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外個(gè)性化推薦(亞馬遜音樂)1億首存放的歌曲,根據(jù)用戶選擇記錄進(jìn)行推薦10億條在OpenSearch中存放的向量,用于近似向量檢索高峰訪問期的QPS(每秒檢索次數(shù))來源:/blogs/big-data/amazon-opensearch-services-vector-database-capabilities-explained/*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外知識(shí)產(chǎn)權(quán)侵權(quán)發(fā)現(xiàn)(亞馬遜品牌保護(hù)計(jì)劃)680億OpenSearch中存放的產(chǎn)品信息向量條數(shù)80億每天被檢索的記錄數(shù)99%自動(dòng)發(fā)現(xiàn)的侵權(quán)比例來源:/blogs/big-data/amazon-opensearch-services-vector-database-capabilities-explained/*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外