格力大數(shù)據(jù)項目工作說明書格力大數(shù)據(jù)項目工作說明書北京西塔網(wǎng)絡(luò)科技股份有限公司二零一六年一月格力大數(shù)據(jù)項目工作說明書格力大數(shù)據(jù)項目工作說明書(SOW)TOC\o"1-5"\h\z\o"CurrentDocument"項目目標(biāo)3\o"CurrentDocument"建設(shè)及服務(wù)內(nèi)容4需求調(diào)研及數(shù)據(jù)標(biāo)準(zhǔn)化4大數(shù)據(jù)基礎(chǔ)平臺搭建4數(shù)據(jù)采集4分層存儲設(shè)計52.5數(shù)據(jù)加工處理526數(shù)據(jù)分析挖掘52.7內(nèi)存數(shù)據(jù)庫6交互式探査分析6數(shù)據(jù)可視化應(yīng)用6語音智能分析6文本、視頻、圖片存儲6大數(shù)據(jù)平臺運維監(jiān)控6大數(shù)據(jù)平臺任務(wù)調(diào)度7ETL過程可視化7培訓(xùn)工作7\o"CurrentDocument"建設(shè)方案8\o"CurrentDocument"時間進(jìn)度與里程碑8\o"CurrentDocument"費用支付9\o"CurrentDocument"需求變更過程9格力大數(shù)據(jù)項目工作說明書格力大數(shù)據(jù)項目工作說明書(SOW)第第#頁MLlib機(jī)器學(xué)習(xí)庫具有完整的機(jī)器學(xué)習(xí)框架和各類別機(jī)器學(xué)習(xí)算法，滿足各種場合的需求。Mllib隨著Spark版本一起發(fā)布和應(yīng)用。本系統(tǒng)采用MLlib構(gòu)建在Hadoop之上對大數(shù)據(jù)進(jìn)行挖掘處理，實現(xiàn)故障診斷、故障預(yù)測、配件庫存優(yōu)化等深度挖掘。內(nèi)存數(shù)據(jù)庫內(nèi)存數(shù)據(jù)庫是將全部數(shù)據(jù)駐留內(nèi)存的分析型數(shù)據(jù)庫系統(tǒng)，采用內(nèi)存計算技術(shù)，從根本上解決了數(shù)據(jù)倉庫由于磁盤I/O導(dǎo)致的性能瓶頸問題，具有性能高、成本低、靈活、可擴(kuò)展等眾多優(yōu)良特性，尤其適合做為大數(shù)據(jù)的計算引擎、分析引擎使用。把熱點數(shù)據(jù)加載到內(nèi)存數(shù)據(jù)庫中，提供交互式探查分析、智能查詢分析等功能。交互式探查分析基于內(nèi)存數(shù)據(jù)庫快速查詢，使用明細(xì)數(shù)據(jù)，免去清洗、聚合過程，更快速地分析和揭露數(shù)據(jù)中蘊含的問題,直接由業(yè)務(wù)人員使用，免去提需求、澄清、確認(rèn)溝通環(huán)節(jié)，快速實現(xiàn)分析意圖，提高了發(fā)現(xiàn)和解決問題的效率使用時可由全部數(shù)據(jù)快速過濾出關(guān)注的部分?jǐn)?shù)據(jù)進(jìn)行分析；關(guān)注數(shù)據(jù)的特征可進(jìn)一步由明細(xì)數(shù)據(jù)刻畫、佐證；可按需保存分析場景、導(dǎo)出明細(xì)數(shù)據(jù)付諸解決。優(yōu)異的用戶體驗，以客戶體驗為中心設(shè)計，側(cè)重易理解（業(yè)務(wù)視角，選擇、過濾、分析）、易用（平鋪、圖形操作）、去除干擾（功能隱藏）、快速響應(yīng)（內(nèi)存計算）增加趣味性（改分檔數(shù)）。數(shù)據(jù)可視化應(yīng)用提供通過實時查詢、產(chǎn)品統(tǒng)計功能，不做個性化推送。2.10語音智能分析大數(shù)據(jù)平臺提供語言智能分析，通過錄入語言，將語言轉(zhuǎn)換為文本，并對文本進(jìn)行分詞和語義分析，提交到大數(shù)據(jù)平臺完成產(chǎn)品產(chǎn)品及銷售數(shù)據(jù)的查詢、統(tǒng)計及分析的功能。2.11文本、視頻、圖片存儲大數(shù)據(jù)平臺增加文本、音視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)的存儲。2.12大數(shù)據(jù)平臺運維監(jiān)控提供格力大數(shù)據(jù)平臺管理、運維工具及說明，包括服務(wù)器和運維系統(tǒng)都正常運行，運維系統(tǒng)可以對集群所有物理機(jī)進(jìn)行性能監(jiān)控，包括但不限于以下指標(biāo)：CPU使用率、內(nèi)存使用率、硬盤利用率、網(wǎng)絡(luò)流量、I0負(fù)載、系統(tǒng)負(fù)載均值、ETL監(jiān)控、數(shù)據(jù)質(zhì)量監(jiān)控、等服務(wù)器性能指標(biāo)進(jìn)行監(jiān)控。運維要考慮大數(shù)據(jù)平臺的可擴(kuò)展性，支持：1、在線添加節(jié)點2、服務(wù)擴(kuò)展3、組件的升級4、異常處理：掛了的節(jié)點如何恢復(fù)，記錄日志方便追蹤2.13大數(shù)據(jù)平臺任務(wù)調(diào)度任務(wù)調(diào)度系統(tǒng)能夠?qū)Ω黝惾蝿?wù)進(jìn)行配置、啟動、跟蹤。同時，應(yīng)并具備任務(wù)聯(lián)動能力，即可以將多個任務(wù)通過流程組裝成一個聯(lián)合任務(wù)，各任務(wù)之間存在相互制約關(guān)系，任務(wù)調(diào)度管理能夠根據(jù)各任務(wù)的執(zhí)行狀態(tài)、結(jié)果來自動的啟動后續(xù)任務(wù)，任務(wù)間允許并發(fā)及串行兩種模式。要求各任務(wù)的配置應(yīng)當(dāng)為可視化的配置。對于任務(wù)啟動至少包括定時啟動和條件啟動兩種模式。同時允許管理員進(jìn)行任務(wù)的手動執(zhí)行。任務(wù)執(zhí)行可設(shè)定優(yōu)先級，比如按銷售＞技術(shù)＞質(zhì)量＞售后(銷售量大的＞銷售量小的＞生產(chǎn)＞檢驗來設(shè)定。2.14ETL過程可視化ETL盡量滿足可配置性及可視化操作，如果甲方購買了第三方ETL可視化工具如kettle、Dataflow、Syncsoft等工具，乙方應(yīng)支持甲方做集成工作。15培訓(xùn)工作從格力大數(shù)據(jù)平臺未來的使用及運行來看，北京西塔提供的培訓(xùn)將達(dá)到如下的目標(biāo)：完成知識的轉(zhuǎn)移承建單位開發(fā)完成一個軟件系統(tǒng)后，將通過培訓(xùn)工作實現(xiàn)知識的轉(zhuǎn)移，不僅包括軟件系統(tǒng)的使用方法，同樣還包括業(yè)務(wù)理念、系統(tǒng)運行維護(hù)方法、技術(shù)開發(fā)方法等滿足系統(tǒng)未來業(yè)務(wù)拓展需要的各項技能與方法。＞實現(xiàn)全員的應(yīng)用應(yīng)用系統(tǒng)的建設(shè)目標(biāo)即要建設(shè)一個全員參與使用的系統(tǒng)，因此培訓(xùn)的目標(biāo)之一也是要使業(yè)務(wù)人員均可以熟練使用該系統(tǒng)，增強(qiáng)業(yè)務(wù)人員的知識儲備，提高整個使用應(yīng)用系統(tǒng)的業(yè)務(wù)人員素質(zhì)。＞保障系統(tǒng)的安全運行對格力大數(shù)據(jù)平臺的技術(shù)管理人員進(jìn)行技術(shù)培訓(xùn)，使其能掌握有關(guān)軟件產(chǎn)品及系統(tǒng)的使用、維護(hù)、管理，達(dá)到能獨立進(jìn)行管理、故障處理、日常測試維護(hù)、個性化應(yīng)用開發(fā)等工作目的，以保障北京西塔所提供的應(yīng)用系統(tǒng)能夠正常、安全地運行通過以上培訓(xùn)使用戶系統(tǒng)管理員能夠獨立完成平臺的設(shè)置、管理、故障恢復(fù)應(yīng)急處理等，能夠進(jìn)行日常的數(shù)據(jù)庫備份及恢復(fù)操作、能夠獨立處理常見突發(fā)事件及操作員提出的常見操作問題。建設(shè)方案詳見《格力大數(shù)據(jù)項目技術(shù)方案.docx》。時間進(jìn)度與里程碑格力工業(yè)大數(shù)據(jù)平臺建設(shè)。項目工期要求：總工期10個月分3個階段：里程碑階段性成果與提交物時間(月)付款1.項目簽約人員進(jìn)場30%2.、基礎(chǔ)平臺搭建&業(yè)務(wù)模型設(shè)計數(shù)據(jù)調(diào)研報告、數(shù)據(jù)標(biāo)準(zhǔn)化文檔需求規(guī)格說明書功能設(shè)計說明書220%3.業(yè)務(wù)需求開發(fā)ETL、業(yè)務(wù)模型開發(fā)、大數(shù)據(jù)服務(wù)接口開發(fā)、大數(shù)據(jù)標(biāo)準(zhǔn)可視化系統(tǒng)開發(fā)、MPP內(nèi)存數(shù)據(jù)庫、交互式探査分析、智能語音搜索330%4.大數(shù)據(jù)管理系統(tǒng)大數(shù)據(jù)運維監(jiān)控系統(tǒng)大數(shù)據(jù)任務(wù)管理系統(tǒng)大數(shù)據(jù)安全管理系統(tǒng)210%5.項目終驗產(chǎn)品配置說明應(yīng)用系統(tǒng)部署架構(gòu)說明平臺監(jiān)控、維護(hù)說明310%費用支付以合同為準(zhǔn)。需求變更過程6.1變更依據(jù)變更請求除特殊緊急情況，只處理書面變更請求。變更標(biāo)準(zhǔn)當(dāng)工作說明書中建設(shè)內(nèi)容所說明的工作項因某種原因(如實際業(yè)務(wù)變更、可實現(xiàn)性變更等)發(fā)生增加、減少或變更時，認(rèn)為變更發(fā)生。變更申請樣式詳見《需求變更申請表.docx》。6.2變更請求處理流程客戶項目經(jīng)理將書面變更請求提交項目經(jīng)理項目經(jīng)理與技術(shù)經(jīng)理或軟件架構(gòu)師研究可行性項目經(jīng)理將研究結(jié)果與變更請求一同提交項目控制委員會審批控制委員會將審批結(jié)果提交所有相關(guān)人?若審批通過，項目經(jīng)理■將變更請求提交項目團(tuán)隊執(zhí)行■相應(yīng)修改項目管理計劃以便后續(xù)跟蹤雙方責(zé)任甲方：珠海格力電器股份有限公司乙方：北京西塔網(wǎng)絡(luò)科技股份有限公司甲方責(zé)任?自合同簽定后，成立項目領(lǐng)導(dǎo)協(xié)調(diào)小組并委派高層經(jīng)理參與項目委員會，協(xié)調(diào)解決實施過程中的各種問題；共同審核批準(zhǔn)項目實施計劃；共同進(jìn)行項目實施過程中的重大事件的決策；共同根據(jù)項目過程中的進(jìn)度、質(zhì)量、技術(shù)、資源、風(fēng)險等實行宏觀監(jiān)控幫助協(xié)調(diào)項目組織中甲方相關(guān)方的工作關(guān)系自合同簽訂后，委派項目經(jīng)理或協(xié)調(diào)人在項目的各個階段，包括需求調(diào)研、系統(tǒng)開發(fā)、系統(tǒng)實施、驗收測試用例制定、驗收測試、合同收尾與上線后支持等，協(xié)調(diào)項目組織中甲方或其它相關(guān)方的工作關(guān)系，包括相關(guān)的業(yè)務(wù)人員、技術(shù)人員等有責(zé)任根據(jù)雙方確認(rèn)的實施進(jìn)度提供必要的工作環(huán)境和工作支持，及時應(yīng)乙方的要求向乙方提供實施過程中所需的各種資料和數(shù)據(jù)、配合乙方人員的工作在項目的各個階段乙方提交評審請求后，包括需求、設(shè)計、驗收測試用例與驗收報告，甲方有責(zé)任在2個工作日內(nèi)提供反饋確認(rèn)?在項目實施過程中，能及時應(yīng)乙方的通知組織有關(guān)人員參與測試與培訓(xùn)工作。?甲方需提供給乙方一個20人的辦公場所，以及宿舍、出入證。甲方需要參與項目開發(fā)維護(hù)人員需要具備以下條件：開發(fā)人員：熟悉java或scala語言，具有一定的軟件開發(fā)、設(shè)計經(jīng)驗。運維人員：深入理解linux系統(tǒng)，運維體系結(jié)構(gòu)，精于容量規(guī)劃、架構(gòu)設(shè)計、

性能優(yōu)化；精通一門以上腳本語言(shellperlpython等)；熟悉Hadoop大數(shù)據(jù)生態(tài)圈，包括HDFS、YARN、Hive、HBase、Spark等使用人員：有一定的計算機(jī)知識，能熟練使用SQL語言以及瀏覽器。乙方責(zé)任乙方承諾所提供的大數(shù)據(jù)相關(guān)軟件具有自主知識產(chǎn)權(quán)，不侵犯任何第三者的合法權(quán)益。負(fù)責(zé)甲方項目實施范圍內(nèi)的開發(fā)與實施工作■委派項目經(jīng)理?根據(jù)項目進(jìn)展及工作范圍要求整合工作計劃，并監(jiān)督實施，控制進(jìn)度；?協(xié)調(diào)項目組內(nèi)人員的分工合作，資源分配；向雙方匯報項目狀況，提出建議及改進(jìn)措施；負(fù)責(zé)用戶需求匯總和分析；與用戶進(jìn)行有效的溝通協(xié)調(diào)負(fù)責(zé)需求管理、需求變更管理、質(zhì)量管理、進(jìn)度管理、成本管理和風(fēng)險管理委派技術(shù)經(jīng)理參與系統(tǒng)總體設(shè)計；指導(dǎo)并參與開發(fā)團(tuán)隊工作任務(wù)，包括開發(fā)、實施與上線支持協(xié)助項目經(jīng)理完成需求管理、需求變更管理、質(zhì)量管理和進(jìn)度管理委派軟件架構(gòu)師負(fù)責(zé)系統(tǒng)總體設(shè)計委派開發(fā)團(tuán)隊負(fù)責(zé)系統(tǒng)開發(fā)、實施與上線支持應(yīng)妥善保管與正當(dāng)使用甲方交付的技術(shù)資料、設(shè)備設(shè)施。?應(yīng)及時交付包括源代碼在內(nèi)的工作成果，并交還相應(yīng)的技術(shù)資料及設(shè)備。?乙方有責(zé)任在項目的各個階段通過電子郵件方式提交評審請求，包括需求、設(shè)計、驗收測試用例與驗收報告乙方將通過知識轉(zhuǎn)移對合作伙伴和甲方進(jìn)行培訓(xùn)乙方應(yīng)對甲方的數(shù)據(jù)、設(shè)備、項目相關(guān)資料進(jìn)行保密項目組織架構(gòu)項目建設(shè)過程中的人員配置和管理是影響項目好壞和成敗的重要因素。在項目目標(biāo)和內(nèi)容確定之后，如何組織、如何實施、如何管理，這都將對能否順利進(jìn)行，工程的質(zhì)量能否達(dá)標(biāo)起到至關(guān)重要的作用。為保證格力大數(shù)據(jù)項目的順利實施，建議建設(shè)方和承建方一起組建適于本項工程