AI時(shí)代的湖倉(cāng)數(shù)據(jù)體系建設(shè)騰訊游戲數(shù)據(jù)工程的挑戰(zhàn)基于多智能體的需求構(gòu)造

AI驅(qū)動(dòng)的湖倉(cāng)資產(chǎn)體系

可持續(xù)優(yōu)化的工程平臺(tái)系統(tǒng)演示01騰訊游戲數(shù)據(jù)工程的挑戰(zhàn)1.1

騰訊游戲數(shù)據(jù)發(fā)展—緊跟業(yè)務(wù)發(fā)展，以業(yè)務(wù)需求為核心以數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)變革，安全合規(guī)與成本治理。3.0

技術(shù)驅(qū)動(dòng)創(chuàng)新逐步開始接入實(shí)時(shí)技術(shù)：datamore投入應(yīng)用，決策對(duì)于數(shù)據(jù)時(shí)效性提出較高要求對(duì)于數(shù)據(jù)資產(chǎn)集中管理的進(jìn)一步加強(qiáng)，河圖數(shù)據(jù)治理平臺(tái)全面升級(jí)標(biāo)準(zhǔn)數(shù)據(jù)治理體系建設(shè)：以業(yè)務(wù)應(yīng)用為導(dǎo)向，數(shù)據(jù)管理規(guī)范3.0發(fā)布產(chǎn)業(yè)鏈布局和全面出海2015

~

Now數(shù)據(jù)平臺(tái)演進(jìn)游戲業(yè)務(wù)發(fā)展游戲發(fā)展初期，缺乏統(tǒng)一標(biāo)準(zhǔn)，游戲數(shù)據(jù)孤島。從零起步數(shù)據(jù)應(yīng)用數(shù)據(jù)治理一切從簡(jiǎn)，快速數(shù)據(jù)單位主要是每年在游戲數(shù)量啟動(dòng)，MySQL讀G，數(shù)據(jù)分散在上翻翻，對(duì)接不寫分離、分庫(kù)分各個(gè)數(shù)據(jù)庫(kù)，缺同業(yè)務(wù)的游戲日表乏整體數(shù)據(jù)統(tǒng)計(jì)志，標(biāo)準(zhǔn)難以統(tǒng)—1.0

基礎(chǔ)功能完善階段騰訊游戲以休閑品類進(jìn)入市場(chǎng)2003~2007外部大廠紛紛投身網(wǎng)游，騰訊游戲基于繞道休閑品類打造QQ系列游戲，深耕社交流量重啟游戲代理，同步自主研發(fā)率先完成“端改手”移動(dòng)化，全面升級(jí)自研體系打造全品類矩陣，扶持游戲廠商，建立全球化發(fā)行平臺(tái)，全面出海，推動(dòng)電競(jìng)職業(yè)化、游戲IP化等業(yè)務(wù)持續(xù)擴(kuò)張，數(shù)據(jù)驅(qū)動(dòng)成為新的價(jià)值增長(zhǎng)。2.0

平臺(tái)構(gòu)建階段架構(gòu)升級(jí)數(shù)據(jù)應(yīng)用數(shù)據(jù)治理遷移到TDW數(shù)據(jù)日志標(biāo)準(zhǔn)迭代推數(shù)據(jù)治理處于萌倉(cāng)庫(kù)，完成數(shù)據(jù)進(jìn)，移動(dòng)互聯(lián)網(wǎng)芽階段，數(shù)據(jù)資的集中管理與統(tǒng)數(shù)字化，精準(zhǔn)分產(chǎn)意識(shí)建立，數(shù)一分析析，用戶畫像、據(jù)管理規(guī)范1.0買量與增長(zhǎng)分析發(fā)布以“代理+自研”后來(lái)居上2008～20141.2

游戲業(yè)務(wù)對(duì)數(shù)據(jù)的需求現(xiàn)存游戲業(yè)務(wù)的數(shù)據(jù)挖掘/提取類需求數(shù)萬(wàn)個(gè)/年，數(shù)據(jù)挖掘是問(wèn)題歸因、分析決策、干預(yù)閉環(huán)的關(guān)鍵。業(yè)務(wù)對(duì)數(shù)據(jù)需求數(shù)據(jù)產(chǎn)品和服務(wù)經(jīng)營(yíng)分析（可視化）精細(xì)化運(yùn)營(yíng)（數(shù)據(jù)挖掘）輔助決策（預(yù)測(cè)）驅(qū)動(dòng)業(yè)務(wù)（干預(yù)）數(shù)百個(gè)看板（框架+特性）數(shù)萬(wàn)個(gè)/年數(shù)據(jù)提取服務(wù)數(shù)十個(gè)算法服務(wù)數(shù)十個(gè)實(shí)時(shí)線上服務(wù)數(shù)據(jù)資產(chǎn)數(shù)據(jù)加工鏈路1%的數(shù)據(jù)表資產(chǎn)離線計(jì)算+數(shù)倉(cāng)基于明細(xì)數(shù)據(jù)動(dòng)態(tài)分層流式計(jì)算+湖倉(cāng)一體特征和畫像標(biāo)簽湖倉(cāng)一體特征和畫像標(biāo)簽流式計(jì)算+實(shí)時(shí)計(jì)算1.3

如何更好地服務(wù)業(yè)務(wù)？AI要解決的問(wèn)題不是僅僅是寫SQL，而是從業(yè)務(wù)需求到數(shù)據(jù)結(jié)果的各個(gè)環(huán)節(jié)，需要建立AI環(huán)境下的工程平臺(tái)和資產(chǎn)體系。業(yè)務(wù)需求數(shù)據(jù)結(jié)果口徑對(duì)齊資產(chǎn)探查SQL代碼實(shí)現(xiàn)SQL驗(yàn)證提交任務(wù)使用LLM進(jìn)行提效對(duì)齊業(yè)務(wù)統(tǒng)計(jì)邏輯找到細(xì)粒度的數(shù)據(jù)表確定數(shù)據(jù)分層與業(yè)務(wù)二次對(duì)齊邏輯驗(yàn)證SQL準(zhǔn)確性提交正式數(shù)據(jù)任務(wù)數(shù)據(jù)結(jié)果及提取邏輯結(jié)果和想法驗(yàn)證需求理解1資產(chǎn)體系2計(jì)算加速3持續(xù)運(yùn)營(yíng)結(jié)果發(fā)送402基于多智能體的需求構(gòu)造2.1

提示詞（需求）的完備度與結(jié)果準(zhǔn)確性《The

Prompt

Report:

A

Systematic

Survey

ofPrompting

Techniques》/abs/2406.06608“好”提示詞的特點(diǎn)：完整的上下文解釋隱性知識(shí)行業(yè)know-how恰當(dāng)?shù)氖纠鸩剿伎济鞔_的預(yù)期結(jié)果2.2

基于“需求標(biāo)準(zhǔn)”的人與AI需求對(duì)齊需求對(duì)齊通過(guò)需求Agent，匹配需求案例和行業(yè)知識(shí)，對(duì)進(jìn)行需求整理與改寫，改寫成標(biāo)準(zhǔn)的需求格式需求標(biāo)準(zhǔn)一個(gè)完備的SQL需求包括：“篩選”、“問(wèn)題”、“結(jié)果”三段式提問(wèn)，及“行業(yè)知識(shí)”統(tǒng)計(jì)：玩家數(shù)2024.1.1-2024.2.2期間XX條件的玩家每個(gè)自然周不同周活躍天數(shù)輸出：

統(tǒng)計(jì)周、周活躍天數(shù)、玩家數(shù)2.3

根據(jù)復(fù)雜度進(jìn)行需求分解根據(jù)騰訊游戲內(nèi)部實(shí)際應(yīng)用統(tǒng)計(jì)：需求復(fù)雜度小于等于4準(zhǔn)確率>90%，5至7準(zhǔn)確率>60%，大于等于8準(zhǔn)確率<25%，復(fù)雜度大于等于15時(shí)正確率趨近于0需求復(fù)雜度=Where

個(gè)數(shù)+Join

個(gè)數(shù)+Union

個(gè)數(shù)+Group

By

個(gè)數(shù)+Order

By個(gè)數(shù)+Distinct個(gè)數(shù)+開窗/json等高階函數(shù)個(gè)數(shù)把復(fù)雜需求分解成簡(jiǎn)單的子需求，降低AI生成難度，通過(guò)工程化方式組合成最終結(jié)果，確保穩(wěn)定可控的交付質(zhì)量。標(biāo)準(zhǔn)化需求看板資產(chǎn)完全滿足庫(kù)表資產(chǎn)完全滿足資產(chǎn)匹配與推薦知識(shí)資產(chǎn)

特征資產(chǎn)

庫(kù)表資產(chǎn)復(fù)雜度估算生成SQL是是<=4分解成子需求>=

503AI驅(qū)動(dòng)的湖倉(cāng)資產(chǎn)體系3.1

LLM在SQL生成的能力瓶頸BIRD（BIgBenchfor

LaRge-scale

Database

Grounded

Text-to-SQL

Evaluation）代表了一個(gè)開創(chuàng)性的跨域數(shù)據(jù)集，用于檢查廣泛的數(shù)據(jù)庫(kù)內(nèi)容對(duì)文本到SQL

解析的影響。BIRD

包含超過(guò)12,751

個(gè)獨(dú)特的問(wèn)題SQL

對(duì)、95

個(gè)大型數(shù)據(jù)庫(kù)，總大小為33.4

GB。它還涵蓋了區(qū)塊鏈、曲棍球、醫(yī)療保健和教育等超過(guò)37個(gè)專業(yè)領(lǐng)域。

https://bird-bench.github.io/Spider

是一個(gè)由11

名耶魯大學(xué)學(xué)生注釋的大規(guī)模復(fù)雜、跨領(lǐng)域語(yǔ)義解析和文本到SQL

數(shù)據(jù)集。它由

10,181

個(gè)問(wèn)題和5,693

個(gè)獨(dú)特的復(fù)雜SQL

查詢組成，涉及200

個(gè)數(shù)據(jù)庫(kù)以及覆蓋138

個(gè)不同領(lǐng)域的多個(gè)表。/taoyds/spider3.2

如何提高SQL準(zhǔn)確率？SQL優(yōu)化引擎BI

RD數(shù)據(jù)集的挑戰(zhàn)通過(guò)資產(chǎn)建設(shè)覆蓋所有需求？庫(kù)表資產(chǎn)元數(shù)據(jù)補(bǔ)充但真實(shí)的需求更復(fù)雜示例：統(tǒng)計(jì)：2024.10.1-10.7，游戲內(nèi)各個(gè)玩法，按每天的參與率排名+次日留存排名+七日留存排名算一個(gè)總排名排名邏輯：每個(gè)玩法在每天都有一個(gè)參與率、次留、七留的數(shù)值，先需要按照這三個(gè)數(shù)值排名，然后按照排名總和再order一下無(wú)法提前通過(guò)預(yù)處理，建設(shè)好資產(chǎn)無(wú)法將知識(shí)提前補(bǔ)充到元數(shù)據(jù)中SQL復(fù)雜，無(wú)法滿足實(shí)時(shí)查詢速度需求3.3

從經(jīng)典數(shù)據(jù)中臺(tái)到AI+湖倉(cāng)中臺(tái)10%無(wú)特征40%已有特征50%已有指標(biāo)資產(chǎn)自助交付滿足率+資產(chǎn)成本運(yùn)行效率+按來(lái)源識(shí)別最小粒度按最小粒度建邏輯視圖按熱度進(jìn)行物化&

冷熱策略按特征識(shí)別指標(biāo)維度唯一按維度組合建邏輯視圖按速度進(jìn)行物化&

冷熱策略拆解指標(biāo)、維度至特征補(bǔ)充業(yè)務(wù)信息生成特征根據(jù)特征生成新指標(biāo)、維度生成新看板拆解指標(biāo)、維度至特征根據(jù)特征生成指標(biāo)、維度生成新看板匹配已有指標(biāo)維度推薦已有看板指標(biāo)庫(kù)AI+湖倉(cāng)中臺(tái)特征庫(kù)實(shí)時(shí)鏈路數(shù)據(jù)接入按照最細(xì)粒度進(jìn)行輕量加工透明加速層語(yǔ)義層建模規(guī)范語(yǔ)義資產(chǎn)數(shù)據(jù)集維度特征業(yè)務(wù)規(guī)則經(jīng)典數(shù)據(jù)中臺(tái)自上而下業(yè)務(wù)梳理自上而下分層加工業(yè)務(wù)數(shù)據(jù)工程數(shù)科用戶分層使用數(shù)據(jù)應(yīng)用數(shù)據(jù)層ADS匯總數(shù)據(jù)層DWS明細(xì)數(shù)據(jù)層DWD操作數(shù)據(jù)層ODS資產(chǎn)治理資產(chǎn)覆蓋率資產(chǎn)覆蓋率存在天花板資產(chǎn)建設(shè)滯后于業(yè)務(wù)需求數(shù)據(jù)治理體系復(fù)雜邊際收益低非結(jié)構(gòu)化資產(chǎn)標(biāo)準(zhǔn)缺失指標(biāo)3.4

構(gòu)建“人和AI”都能理解的資產(chǎn)迭代建設(shè)的驗(yàn)證用例集推薦準(zhǔn)確率超過(guò)80%資產(chǎn)認(rèn)證推薦未通過(guò)，不轉(zhuǎn)正為優(yōu)選資產(chǎn)無(wú)歧義的傳遞復(fù)雜信息資產(chǎn)運(yùn)營(yíng)&效率工具資產(chǎn)治理治理建議公共特征自動(dòng)識(shí)別和轉(zhuǎn)化根據(jù)ROI迭代優(yōu)選資產(chǎn)通過(guò)大模型，結(jié)合SQL本身復(fù)雜度，自動(dòng)識(shí)別出通用特征資產(chǎn)流程資產(chǎn)治理資產(chǎn)知識(shí)圖譜雙周流失用戶標(biāo)簽輔助英雄出輔助裝明細(xì)……技能命中率……玩法域活躍域…………框架初始化邏輯初始化-自動(dòng)解析特征初始化臨時(shí)號(hào)碼包規(guī)則熱度分析

特征聚類

事前事后收斂

群助手定期曝光特征資產(chǎn)化沉淀數(shù)據(jù)資產(chǎn)治理：資產(chǎn)下架（邏輯刪除、物理刪除…）、資產(chǎn)結(jié)構(gòu)優(yōu)化（指標(biāo)新增、邏輯調(diào)整…）、資產(chǎn)質(zhì)量提升（計(jì)算效率、穩(wěn)定性、異?；謴?fù)…）數(shù)據(jù)資產(chǎn)標(biāo)準(zhǔn)：開發(fā)標(biāo)準(zhǔn)（命名、字根、邏輯…）、管理標(biāo)準(zhǔn)（唯一性、標(biāo)簽…）、運(yùn)營(yíng)標(biāo)準(zhǔn)（熱度、復(fù)用率、成本…）治理評(píng)價(jià)優(yōu)質(zhì)資產(chǎn)S指標(biāo)唯一性、資產(chǎn)標(biāo)簽、維度匹配等管理標(biāo)準(zhǔn)校驗(yàn)，人和機(jī)器能理解基礎(chǔ)資產(chǎn)命名、注釋、邏輯等開發(fā)標(biāo)準(zhǔn)校驗(yàn)，人能理解評(píng)價(jià)模型AI用資產(chǎn)資產(chǎn)推薦自助分析

開放式問(wèn)答人用資產(chǎn)資產(chǎn)檢索手工提數(shù)任務(wù)開發(fā)游戲歷史

SQL日志表（存量）中間表建立從業(yè)務(wù)需求、行業(yè)知識(shí)、數(shù)據(jù)結(jié)構(gòu)之間的資產(chǎn)紐帶，通過(guò)領(lǐng)域模型進(jìn)行沉淀和推薦，確保資產(chǎn)能被AI理解和使用3.5

領(lǐng)域模型技術(shù)架構(gòu)檢索Query理解排序底層語(yǔ)料離線挖掘在線推理服務(wù)場(chǎng)景基礎(chǔ)組件系統(tǒng)數(shù)據(jù)庫(kù)表 邏輯資產(chǎn) 搜索日志 反饋日志

數(shù)據(jù)看板 分析SOPQuery分域預(yù)處理Query分詞Query歸一文本召回L0粗排圖譜召回SFT模型部署樣本生成資產(chǎn)熱度文本索引語(yǔ)義索引知識(shí)圖譜推理加速Server接口監(jiān)控告警MysqlESFaissPytorch微服務(wù)Deep

SpeedNeo4jvLLMTerm分析意圖解析語(yǔ)義召回L1精排模型蒸餾改寫詞庫(kù)業(yè)務(wù)邏輯標(biāo)簽索引預(yù)訓(xùn)練智能提數(shù)智能問(wèn)答歸因分析資產(chǎn)治理……原有架構(gòu)TGlog日志采集時(shí)序數(shù)據(jù)Druid日志表-ODS配置表道具、渠

道、地圖、賽季、模式...特性表對(duì)局、組

隊(duì)、武器、活動(dòng)、社交、行為...經(jīng)分框架表注冊(cè)、活躍、流水結(jié)果表中間表TDW離線表PG實(shí)時(shí)表MySQLiData報(bào)表TDBankStorm當(dāng)前架構(gòu)TGlog日志采集DA

看板/探索分析TGArk

預(yù)處理框架時(shí)間修復(fù)維度提取傾斜打散動(dòng)態(tài)分發(fā)監(jiān)控對(duì)賬自動(dòng)修復(fù)...資產(chǎn)表日志明細(xì)表離線數(shù)據(jù)倉(cāng)庫(kù)湖（CN）倉(cāng)（BE）資產(chǎn)實(shí)時(shí)化分析自助化用戶的看板基于明細(xì)數(shù)據(jù)實(shí)時(shí)計(jì)算和匯總，能夠支持進(jìn)一步的數(shù)據(jù)挖掘和探索分析，快速洞察業(yè)務(wù)增長(zhǎng)背后的深層次原因。湖倉(cāng)一體化分冷，熱，實(shí)時(shí)三級(jí)存儲(chǔ)，滿足實(shí)時(shí)與性能從低到高不同層級(jí)提速要求，可以將不同數(shù)據(jù)按時(shí)間或重要程度，分級(jí)提供最優(yōu)性價(jià)比。鏈路實(shí)時(shí)化減少原有開發(fā)過(guò)程中的數(shù)據(jù)重跑檢驗(yàn)過(guò)程；數(shù)據(jù)源（資產(chǎn)）變化時(shí)看板自動(dòng)更新，無(wú)需等待。3.6

新一代AI資產(chǎn)基建-湖倉(cāng)一體通過(guò)湖倉(cāng)一體的技術(shù)架構(gòu)，最終數(shù)據(jù)分析直接使用明細(xì)數(shù)據(jù)（非傳統(tǒng)結(jié)果數(shù)據(jù)）而不用考慮性能問(wèn)題，配合實(shí)時(shí)鏈路接入，讓業(yè)務(wù)人員可以使用實(shí)時(shí)明細(xì)數(shù)據(jù)做業(yè)務(wù)洞察分析。StarRocks3.7

基于StarRocks構(gòu)建湖倉(cāng)一體解決方案COS加速優(yōu)化騰訊云對(duì)象存儲(chǔ)（COS）數(shù)據(jù)湖數(shù)據(jù)倉(cāng)庫(kù)OLAP

TableExternal

Table彈性計(jì)算+計(jì)算資源隔離（異步）物化視圖代價(jià)預(yù)估，CBO優(yōu)化計(jì)算加速緩存加速優(yōu)化（Caching）統(tǒng)一SQL訪問(wèn)分析層資產(chǎn)推薦智能應(yīng)用JDBCSuperSQL基于大模型的智能應(yīng)用冷熱分層冷熱分層虛擬數(shù)倉(cāng)存算分離建模與開發(fā)獨(dú)立無(wú)狀態(tài)的Compute

Node

支持靈活的計(jì)算擴(kuò)展。存儲(chǔ)層可以在對(duì)象存儲(chǔ)上進(jìn)行靈活的資源擴(kuò)展。Compute

Node

支持熱存儲(chǔ)（BE）和冷存儲(chǔ)（對(duì)象存儲(chǔ)）查詢。通過(guò)數(shù)據(jù)下沉機(jī)制，可以實(shí)現(xiàn)數(shù)據(jù)在冷熱存儲(chǔ)的轉(zhuǎn)儲(chǔ)3.8

智能動(dòng)態(tài)加速資產(chǎn)熱度查詢粒度管理粒度目錄管理粒度資產(chǎn)詳情粒度智能標(biāo)識(shí)特征粒度標(biāo)識(shí)數(shù)據(jù)集粒度標(biāo)識(shí)資產(chǎn)速度冷熱沉降執(zhí)行物化創(chuàng)建物化視圖物化視圖動(dòng)態(tài)變更驗(yàn)證物化視圖自動(dòng)化觸發(fā)物化特征看板使用熱度粒度熱度粒度治理粒度重復(fù)判斷成本優(yōu)化建議資產(chǎn)優(yōu)化器資產(chǎn)熱度熱度&速度采集特征引用熱度數(shù)據(jù)集訪問(wèn)熱度數(shù)據(jù)集運(yùn)行速度物化視圖加速統(tǒng)計(jì)熱度&速度治理熱度&速度總覽API服務(wù)資產(chǎn)粒度查詢物化狀態(tài)查詢資產(chǎn)速度查詢數(shù)據(jù)集/特征待優(yōu)化建議數(shù)據(jù)集/特征治理詳情優(yōu)化策略制定資產(chǎn)透明加速映射資產(chǎn)粒度AI自助式交付ODS（日志表/原始業(yè)務(wù)表/半結(jié)構(gòu)化數(shù)據(jù)/….）DWD（

規(guī)范化的明細(xì)數(shù)據(jù)表）DWS（按粒度匯總寬表）特征資產(chǎn)（代碼邏輯）報(bào)表-SQL(Reports)多維分析-SQL(OLAP)即席查詢-SQL（Ad

Hoc）External

Catalog

MV指標(biāo)資產(chǎn)（計(jì)算公式）View/MaterializedView

Modeling數(shù)據(jù)集資產(chǎn)（元數(shù)據(jù)）MVAcceleration資產(chǎn)熱度資產(chǎn)粒度查詢速度ADS查詢改寫查詢改寫查詢改寫3.9

智能動(dòng)態(tài)加速–StarRocks物化視圖04基于LLM的數(shù)據(jù)工程平臺(tái)4.1

多智能體架構(gòu)，人與AI高度協(xié)同工作使用Agent多智能體架構(gòu)，將一個(gè)Job（工作）分解成若干的Task（任務(wù)），在某些Task上由AI完成，某些Task人與AI協(xié)同完成（需求協(xié)同、驗(yàn)收協(xié)同），覆蓋從業(yè)務(wù)需求到數(shù)據(jù)交付的全鏈路，各節(jié)點(diǎn)Agent可與用戶實(shí)時(shí)交互，及時(shí)感知問(wèn)題并進(jìn)行干預(yù)和修正，確保系統(tǒng)