1、基于AWS的大數(shù)據(jù)反欺詐運(yùn)營架構(gòu)技術(shù)創(chuàng)新 變革未來大數(shù)據(jù)平臺建設(shè)業(yè)務(wù)場景統(tǒng)一的報表平臺，解決報表 分散，數(shù)據(jù)不同步問題。匯聚的日志查詢接口，方便 運(yùn)營服務(wù)人員調(diào)查問題?？缮炜s的機(jī)器學(xué)習(xí)平臺，支 撐數(shù)據(jù)科學(xué)家多樣的數(shù)據(jù)分 析需求。項目要求要求時間短人力少預(yù)算低擴(kuò)展性高容量大性能好在不到三個月的時間里，利用研發(fā) 人員項目間隙，有限預(yù)算情況下搭 建能夠承載每日億級流量，近實時 同步，可靈活擴(kuò)展的數(shù)據(jù)平臺架構(gòu)設(shè)計特點(diǎn)采用Kappa架構(gòu)， 以消息總線為核 心部署業(yè)務(wù)處理 邏輯充分利用現(xiàn)成 的AWS和第三 方組件快速搭 建利用EMR應(yīng)對臨 時計算擴(kuò)展需求主要技術(shù)問題及解決數(shù)據(jù)導(dǎo)入跨IDC同步與生產(chǎn)環(huán)境隔離

2、故障恢復(fù)ETL消息驅(qū)動：處理節(jié)點(diǎn)訂閱特定的Topic，由消息驅(qū)動處理的結(jié)果。無狀態(tài)：每個處理節(jié)點(diǎn)只依賴于消 息隊列和自己使用的基礎(chǔ)設(shè)施，模 塊間相互解耦，模塊內(nèi)部無狀態(tài)。節(jié)點(diǎn)分工：業(yè)務(wù)處理和數(shù)據(jù)持久化 節(jié)點(diǎn)分離，業(yè)務(wù)處理節(jié)點(diǎn)了解業(yè)務(wù) 邏輯，數(shù)據(jù)持久化節(jié)點(diǎn)只負(fù)責(zé)數(shù)據(jù) 落地?？缮炜s快速開發(fā)報表實時+定期歷史報表數(shù)據(jù)可維護(hù)0前端開發(fā)案例反欺詐效果報表猛犸反欺詐平臺可以利用反欺詐模型標(biāo)記欺詐業(yè)務(wù)記錄業(yè)務(wù)記錄可以從生產(chǎn)環(huán)境Kafka中訂閱客戶端可能會上報重復(fù)業(yè)務(wù)記錄要求：一周給客戶看到反欺詐效果報表數(shù)據(jù)處理過程效果綜合交易請求分布異常交易請求分布正常交易請求分布成本優(yōu)化成本問題及分析集群規(guī)模：29臺 成

3、本：50000/月成本分析：EMR節(jié)點(diǎn)冗余較大Work節(jié)點(diǎn)按高流量配置，平時壓力不高部分臨時EMR節(jié)點(diǎn)未及時拆除臨時性EMR即用即拆降低Work節(jié)點(diǎn)配置，使用Spot+AMI應(yīng)對臨時流量固定式EMR采用Spot Instance做工作節(jié)點(diǎn)解決方案及結(jié)果50,00030,000下一步與AWS API集成，實現(xiàn)持續(xù)集成，彈性擴(kuò)展，監(jiān)控的自動化謝 謝！公司簡介2017.3DCM投資2016.12伽利略資本微軟加速器終身 校友淡馬錫旗下祥峰 投資GMIC年度創(chuàng)新 創(chuàng)業(yè)三強(qiáng)2016.32015.82015.22014.112017.7創(chuàng)業(yè)邦中國人工 智能創(chuàng)新50強(qiáng)MaxEnt是Maximum Entropy（最大熵）的縮寫一切事物終將走向庸常，唯有智慧與行動才能與之對抗MaxEnt鞭策我們時刻與庸常搏斗，不斷創(chuàng)新、前行上海北京成都2018.4Gartner Cool Vendor產(chǎn)品及解決方案AI應(yīng)用AI平臺使用精準(zhǔn)的設(shè)備識別、行為生物識別為依托 的ID Mapping技術(shù)，建立多源、統(tǒng)一語義的 數(shù)據(jù)平臺；在數(shù)據(jù)平臺之上，發(fā)展關(guān)聯(lián)圖譜、用戶行為 分析（UEBA）、異常檢測等特定領(lǐng)域的感知、 思考能力，形成AI基礎(chǔ)能力平臺，幫助客戶 更好的了解線上用戶；使用AI基礎(chǔ)平臺的能力，為線上金融零售業(yè) 務(wù)（消費(fèi)金融，小額貸款，無卡交易）、電 商、