數(shù)據(jù)驅(qū)動指標(biāo)體系建立與應(yīng)用01以終為始的指標(biāo)體系什么是指標(biāo)體系，以及為什么我們需要指標(biāo)體系02

不僅業(yè)務(wù)驅(qū)動，也要數(shù)據(jù)驅(qū)動業(yè)務(wù)驅(qū)動&數(shù)據(jù)驅(qū)動03數(shù)據(jù)驅(qū)動指標(biāo)體系建立實戰(zhàn)通過分析、建模提取信息，實現(xiàn)數(shù)據(jù)驅(qū)動指標(biāo)和維度的研發(fā)04數(shù)據(jù)驅(qū)動指標(biāo)體系應(yīng)用實戰(zhàn)如何預(yù)警、診斷、驅(qū)動迭代甚至直接影響業(yè)務(wù)結(jié)果目錄CONTENT01以終為始的指標(biāo)體系什么是指標(biāo)體系，以及為什么我們需要指標(biāo)體系02

不僅業(yè)務(wù)驅(qū)動，也要數(shù)據(jù)驅(qū)動業(yè)務(wù)驅(qū)動&數(shù)據(jù)驅(qū)動03數(shù)據(jù)驅(qū)動指標(biāo)體系建立實戰(zhàn)通過分析、建模提取信息，實現(xiàn)數(shù)據(jù)驅(qū)動指標(biāo)和維度的研發(fā)04數(shù)據(jù)驅(qū)動指標(biāo)體系應(yīng)用實戰(zhàn)如何預(yù)警、診斷、驅(qū)動迭代甚至直接影響業(yè)務(wù)結(jié)果目錄CONTENT什么是指標(biāo)體系？我們來看網(wǎng)上的幾個經(jīng)典案例：指標(biāo)體系即體系化的指標(biāo)集合，由一系列基礎(chǔ)指標(biāo)和維度交互構(gòu)成，有層次、有結(jié)構(gòu)案例1：某電商APP案例2：某內(nèi)容型產(chǎn)品成交額客單價客戶數(shù)成交價人均成交價新客戶數(shù)老客戶數(shù)二次客戶數(shù)多次客戶數(shù)以終為始的指標(biāo)體系以終為始Ifyoucannotmeasureit,youcannotimprove

it指標(biāo)使得量化業(yè)務(wù)表現(xiàn)成為可能，從而實現(xiàn)業(yè)務(wù)各階段發(fā)展的現(xiàn)狀評估和目標(biāo)制定。換言之，我們通過指標(biāo)實現(xiàn)為什么需要指標(biāo)體系？而面對繁雜的數(shù)據(jù)，和幫助業(yè)務(wù)發(fā)展的最終目標(biāo)，我們需要-提煉和框架！有了指標(biāo)體系-目標(biāo)可拆、體現(xiàn)指標(biāo)變動的關(guān)聯(lián)和因果、問題清晰、決策明確繁雜的數(shù)據(jù)框架提煉01以終為始的指標(biāo)體系什么是指標(biāo)體系，以及為什么我們需要指標(biāo)體系02

不僅業(yè)務(wù)驅(qū)動，也要數(shù)據(jù)驅(qū)動業(yè)務(wù)驅(qū)動&數(shù)據(jù)驅(qū)動03數(shù)據(jù)驅(qū)動指標(biāo)體系建立實戰(zhàn)通過分析、建模提取信息，實現(xiàn)數(shù)據(jù)驅(qū)動指標(biāo)和維度的研發(fā)04數(shù)據(jù)驅(qū)動指標(biāo)體系應(yīng)用實戰(zhàn)如何預(yù)警、診斷、驅(qū)動迭代甚至直接影響業(yè)務(wù)結(jié)果目錄CONTENT搭建步驟確定北極星指標(biāo)拆解指標(biāo)構(gòu)建體系業(yè)務(wù)驅(qū)動數(shù)據(jù)驅(qū)動戰(zhàn)略驅(qū)動業(yè)務(wù)驅(qū)動指標(biāo)體系建立OSM框架下，指標(biāo)體系模型(例如AAARR、UJM)和拆解原則(MECE)往往組合使用O

bjective

:

總播放時長拆解目標(biāo)StrategyMetric品類1品類2品類3??1??2??3DAU播放轉(zhuǎn)化播放?戶?均播放時?……MECE原則：不重不漏（加法拆解）渠道優(yōu)化產(chǎn)品體驗優(yōu)化?戶拉新流量效率提升e.g.push優(yōu)化、IP排播內(nèi)容質(zhì)量提升獲取-激發(fā)-留存-變現(xiàn)-傳播e.g.

樣式改版、動線優(yōu)化、新增模塊場景訪問-模塊訪問-點(diǎn)擊AAARR模型愿意來-有曝光-愿意點(diǎn)-愿意看UJM(用戶生命旅程)模型e.g.

搜索優(yōu)化、推薦優(yōu)化

e.g.

內(nèi)容制作、內(nèi)容采買渠道日活躍用戶數(shù)渠道用戶次留渠道用戶人均活躍天數(shù)新用戶次留新用戶占比...場景UV場景滲透場景用戶模塊訪問場景用戶模塊點(diǎn)擊UTR場景用戶停留時長...用戶搜索框點(diǎn)擊 人均海報曝光次數(shù)人均搜索query次數(shù) 海報CTR搜索有點(diǎn)率 單次海報曝光貢獻(xiàn)時長搜索引流播放時長...

推薦模塊引流時長...僅有業(yè)務(wù)驅(qū)動是不夠的

-

困惑的指標(biāo)案例1：某頁面上了新功能案例2：搜索算法調(diào)整頂部放了多個tab導(dǎo)航后人均停留時長增加導(dǎo)航結(jié)構(gòu)讓用戶消費(fèi)更多內(nèi)容？導(dǎo)航結(jié)構(gòu)讓用戶更加困惑，相比原來，更找不到自己想看的？搜索算法調(diào)整后發(fā)現(xiàn)用戶人均搜索次數(shù)上升？算法優(yōu)化讓用戶更愿意搜索？算法優(yōu)化使得搜索效率降低，用戶不得不更改query詞？如果長期是想提升用戶對搜索引擎的心智和使用習(xí)慣，我們應(yīng)該關(guān)注哪些指標(biāo)呢？時長越長越好嘛？搜索次數(shù)越多越好嘛？業(yè)務(wù)直接產(chǎn)生的指標(biāo)很多時候無法真正度量我們核心關(guān)注的用戶體驗，而這才是產(chǎn)品功能需要度量的關(guān)鍵所在。僅有業(yè)務(wù)驅(qū)動是不夠的

-

繁多的維度應(yīng)該給哪些人投放夢華錄呢年齡地域?qū)W歷性別經(jīng)濟(jì)水平僅用戶而言，維度就多種多樣，然而很多時候這些維度不一定是核心維度。我們需要通過數(shù)據(jù)幫助我們確認(rèn)核心維度，甚至是研發(fā)更為合適的維度。數(shù)據(jù)驅(qū)動指標(biāo)體系建立GoalSignalMetric明確目標(biāo)用戶體驗、商業(yè)價值等或是某些長期、難以短期實現(xiàn)的指標(biāo)尋找信號例如當(dāng)用戶對產(chǎn)品心智變好后，哪些現(xiàn)象會發(fā)生確定指標(biāo)哪些指標(biāo)可以能夠反映出想要的信號可以用google提出的GSM框架進(jìn)行概括初步構(gòu)造指標(biāo)候選集合或是明確分析起點(diǎn)數(shù)據(jù)驅(qū)動指標(biāo)篩選/構(gòu)造指標(biāo)表現(xiàn)評估這個框架是靈活的，既適用于用戶體驗的信號提取，也適用于長期/北極星指標(biāo)的短期過程指標(biāo)研發(fā)。數(shù)據(jù)驅(qū)動-如何明確目標(biāo)&構(gòu)造候選集合H Happiness（愉悅度）E Engagement（參與度）A Adoption（接受度）R Retention（留存度）T Tasksuccess（任務(wù)完成度）可以Google的HEART模型為基礎(chǔ)e.g.

用戶反饋、評價、分享/推薦表現(xiàn)e.g.用戶訪問次數(shù)、訪問深度e.g. 訂閱率、會員續(xù)費(fèi)e.g.

用戶復(fù)購、用戶留存e.g.上傳成功率、創(chuàng)建成功率等有時候既是目標(biāo)、又是信號數(shù)據(jù)驅(qū)動-如何進(jìn)一步研發(fā)指標(biāo)/維度統(tǒng)計分析法機(jī)器學(xué)習(xí)應(yīng)用因果分析法了解候選集合的統(tǒng)計學(xué)表現(xiàn)分布特征異常值檢測相關(guān)性分析觀測候選集合和最終目標(biāo)之間相關(guān)性強(qiáng)弱相關(guān)性系數(shù)可視化探索核心為找到與目標(biāo)高度相關(guān)/起決定作用的信號/特征Shapleyvalue即以Goal為預(yù)測目標(biāo)，尋找對預(yù)測值影響大的指標(biāo)決策樹/rulefit

提取關(guān)鍵信號聚類構(gòu)造新維度PCA進(jìn)行降維核心通過評估用戶行為達(dá)成對最終目標(biāo)的因果效益而最終確認(rèn)指標(biāo)Uplift

模型框架下多個算法可選，e.g.meta-learner,tree-based…DML模型解決觀測數(shù)據(jù)下高維控制變量問題框架較靈活有的時候歷史實驗數(shù)據(jù)也可以提供參考數(shù)據(jù)驅(qū)動-如何評估指標(biāo)靈魂拷問我們怎么知道這些指標(biāo)選的好還是不好呢？?向性Alignwiththe

Goal敏感性Sensitivity數(shù)據(jù)驅(qū)動-如何評估指標(biāo)Degradation

experiment1 一系列明確用戶體驗好壞的實驗-

策略效果顯著/業(yè)務(wù)邏輯有共識2 統(tǒng)計指標(biāo)在這些實驗下的表現(xiàn)有明確label/共識的實驗是很少的---人為創(chuàng)造變化實驗名稱顯著上升顯著下降無顯著變化XXX1XXX2方向性表現(xiàn)敏感度表現(xiàn)開啟功能/性能退化等明確的對用戶感受受損的實驗（e.g.

bug導(dǎo)致crash提升、頁面延遲等）在人為的實驗上觀測指標(biāo)的方向性和敏感度這個方法不僅可以評估指標(biāo)表現(xiàn)，目標(biāo)沒有相對具象的指標(biāo)的時候，也是研發(fā)指標(biāo)的方法Validation

Corpus01以終為始的指標(biāo)體系什么是指標(biāo)體系，以及為什么我們需要指標(biāo)體系02

不僅業(yè)務(wù)驅(qū)動，也要數(shù)據(jù)驅(qū)動業(yè)務(wù)驅(qū)動&數(shù)據(jù)驅(qū)動03數(shù)據(jù)驅(qū)動指標(biāo)體系建立實戰(zhàn)通過分析、建模提取信息，實現(xiàn)數(shù)據(jù)驅(qū)動指標(biāo)和維度的研發(fā)04數(shù)據(jù)驅(qū)動指標(biāo)體系應(yīng)用實戰(zhàn)如何預(yù)警、診斷、驅(qū)動迭代甚至直接影響業(yè)務(wù)結(jié)果目錄CONTENT案例1-視頻App場景播放用戶指標(biāo)研發(fā)場景由海報點(diǎn)擊播放場景自動播放很多用戶無意識下滑，也會導(dǎo)致起播場景播放用戶大量增加，人均消費(fèi)大幅降低如何度量真正對場景有意識的用戶的消費(fèi)深度？剔除自動播的影響？不同物理時長下，播放X秒以上播放完成占比明顯上升播放閾值和播放完成占比的關(guān)系1分鐘以下視頻1-5分鐘視頻統(tǒng)計分析實驗數(shù)據(jù)應(yīng)用差異明顯在X秒后自動播和手動播實驗策略下的對比分布案例2-視頻App播放指標(biāo)研發(fā)播放到什么程度才能反應(yīng)用戶真正的興趣，才能證明我們給用戶的推薦是正確的呢？-

用戶長期的活躍與用戶是否消費(fèi)到滿意內(nèi)容息息相關(guān)視頻內(nèi)容結(jié)構(gòu)、物理時長、連續(xù)性天差地別，用戶也形形色色，都會影響用戶的播放表現(xiàn)，如何排除這些因素的影響？相關(guān)性分析？Not

enough！問題轉(zhuǎn)換當(dāng)用戶播放完成度>X%時，對用戶后續(xù)留存的提升增量做法模型：Uplift下的meta-learner模型特征（X）：視頻特征、內(nèi)容特征、節(jié)假日特征等模型Treatment：用戶播放完成度是否>X%模型結(jié)果Y：用戶留存最終評估目標(biāo)：播放完成度對留存的Average

Treatment

Effect（即達(dá)標(biāo)和未達(dá)標(biāo)人群的在留存效果的差的期望）解法：因果推斷問題與挑戰(zhàn)所有播放用戶（含?意識）有意識播放用戶感興趣用戶（愿意進(jìn)?步消費(fèi)）留存、活躍切入點(diǎn)案例2-視頻App播放指標(biāo)研發(fā)結(jié)合完播度下的ATE幅度和曲率最終決定完播度在

X

%

以上的為有效播放。多個明確的歷史實驗中，研發(fā)的有效播放指標(biāo)和?戶留存變化同步，且較為敏感/后應(yīng)?于?戶畫像，?戶畫像滿意度?測也證明其準(zhǔn)確性模型結(jié)果（模擬）指標(biāo)評估播放完成度（%）留存或活躍的ATE拐點(diǎn)：X

%案例3-用戶偏好維度挖掘用戶留存播放增加算法調(diào)優(yōu)供給增加用戶分群男一線城市24歲本科高級會員基礎(chǔ)畫像維度繁多，且同樣基礎(chǔ)畫像的人觀看偏好差異較大用戶長期播放歷史進(jìn)行聚類長期目標(biāo)-提升用戶留存特征選?。▋?nèi)容標(biāo)簽聚合）特征加工K-meansElbowMethodSilhouette

Analysis特征模型評估業(yè)務(wù)背景解決方案案例3-用戶偏好維度挖掘場景算法效果評估（基礎(chǔ)屬性畫像）（消費(fèi)偏好維度）基于數(shù)據(jù)挖掘的維度更有針對性，洞察力更強(qiáng)頭部消費(fèi)榜單用戶特征25歲以下、男、會員、一線城市模型結(jié)果舉例-新熱動漫用戶業(yè)務(wù)應(yīng)用基礎(chǔ)屬性性別

x

年齡

x

學(xué)歷

x

地域

x

……推薦轉(zhuǎn)化未見明顯過高過低曝光頭部有差異，但差異不明顯數(shù)據(jù)表現(xiàn)少兒用戶新熱動漫星粉綜藝推薦轉(zhuǎn)化正常偏低偏低曝光頭部少兒內(nèi)容

+生活內(nèi)容影視解說影視解說

+新聞業(yè)務(wù)評估正常需優(yōu)化需優(yōu)化01以終為始的指標(biāo)體系什么是指標(biāo)體系，以及為什么我們需要指標(biāo)體系02

不僅業(yè)務(wù)驅(qū)動，也要數(shù)據(jù)驅(qū)動業(yè)務(wù)驅(qū)動&數(shù)據(jù)驅(qū)動03數(shù)據(jù)驅(qū)動指標(biāo)體系建立實戰(zhàn)通過分析、建模提取信息，實現(xiàn)數(shù)據(jù)驅(qū)動指標(biāo)和維度的研發(fā)04數(shù)據(jù)驅(qū)動指標(biāo)體系應(yīng)用實戰(zhàn)如何預(yù)警、診斷、驅(qū)動迭代甚至直接影響業(yè)務(wù)結(jié)果目錄CONTENT指標(biāo)體系應(yīng)用思路預(yù)警診斷策略即發(fā)現(xiàn)指標(biāo)異常、異動識別?法：基于統(tǒng)計規(guī)則：3-sigma、分位數(shù)法等基于預(yù)測模型：xgb、prophet等即問題歸因常??法：指標(biāo)體系多維度下拆基尼系數(shù)/剔除法/adtributor等即針對問題，及時給予業(yè)務(wù)策略建議常?策略：?群策略：針對識別?群進(jìn)?觸達(dá)優(yōu)化場景策略：針對App問題場景進(jìn)?業(yè)務(wù)問題排查、動線優(yōu)化等流量策略：推薦扶持等播中干預(yù)——讓指標(biāo)體系全面發(fā)揮價值經(jīng)典業(yè)務(wù)問題 問題&方案運(yùn)營A：這個內(nèi)容最近播放下降了是為什么呀？運(yùn)營B：這個IP是今年的重點(diǎn)，為什么都播出2個禮拜了播放還沒有起來？老板：這個電視劇看起來播放規(guī)模是無法達(dá)成預(yù)期了，背后原因是什么，有復(fù)盤嗎？異常歸因？問題診斷？復(fù)盤分析？發(fā)現(xiàn)問題往往滯后，指標(biāo)難以挽回即使發(fā)現(xiàn)問題，短期內(nèi)缺乏針對性的提升手段，導(dǎo)致預(yù)后不佳及時預(yù)警推送診斷結(jié)論提供可落地的策略打通數(shù)據(jù)回收，進(jìn)行效果復(fù)盤播中干預(yù)項目！前置&串聯(lián)&閉環(huán)播中干預(yù)——讓指標(biāo)體系全面發(fā)揮價值整體框架1掃片/創(chuàng)意采買/制作上線運(yùn)營復(fù)盤梳理業(yè)務(wù)邏輯、定位線上運(yùn)營環(huán)節(jié)物料制作項目潛力識別核心指標(biāo)預(yù)測達(dá)標(biāo)風(fēng)險預(yù)警診斷分析人群網(wǎng)格分析資源位分析物料制作內(nèi)容結(jié)構(gòu)人群觸達(dá)及項目回收人群觸達(dá)效果回收播中干預(yù)——讓指標(biāo)體系全面發(fā)揮價值2項目潛力識別產(chǎn)品形態(tài)當(dāng)