1、 計算機與數(shù)據(jù)科學(xué)學(xué)院2019 年 12 月 17 日目錄12 2 3p451 1.1 開發(fā)目的隨著計算機技術(shù)以及互聯(lián)網(wǎng)的快速發(fā)展特別是網(wǎng)絡(luò)的普及，金融、通信等大眾行業(yè)對信息的需求越來越高，待處理的數(shù)據(jù)量也越來越大。與此同時，人們對復(fù)雜查詢操作能力的需求以及高性能聯(lián)機事務(wù)處理能力也在不斷提高,分析核心數(shù)據(jù)成為了公司發(fā)展的關(guān)鍵點，但是公司內(nèi)部的核心數(shù)據(jù)原始文件龐大，目前大部分是通過人工分析得出結(jié)論，因此分析處理海量數(shù)據(jù)成為待解決的問題。由于公司內(nèi)部的許多核心數(shù)據(jù)是必須要產(chǎn)生并且加以分析的，而眾多的公司系統(tǒng)則對產(chǎn)生和分析數(shù)據(jù)造成了相當(dāng)大的困難，一方面，大規(guī)模的數(shù)據(jù)需要強大的運算能力才能夠加以分析，

2、傳統(tǒng)的單機處理已經(jīng)不能夠滿足當(dāng)前業(yè)務(wù)發(fā)展的需求，另一方面，眾多的業(yè)務(wù)系統(tǒng)，使得眾多數(shù)據(jù)的處理和分析更加困難，公司內(nèi)部存在著手工分析分布式系統(tǒng)數(shù)據(jù)結(jié)果的現(xiàn)狀不能夠得到改善，工作效率嚴(yán)重受到影響。因此，企業(yè)迫切的需要一個可以大規(guī)模集中處理和分析展現(xiàn)數(shù)據(jù)的系統(tǒng)模式，統(tǒng)籌規(guī)劃龐大的數(shù)據(jù)，實現(xiàn)高效處理。解決問題：此設(shè)計使用 Hadoop的相關(guān)技術(shù)和 HDFS文件系統(tǒng)，分析京東的需求，將海量原始數(shù)據(jù)通過 Windows下的 Mysql和 Linux Mysql轉(zhuǎn)換成 HDFS數(shù)據(jù)，通過 Hive據(jù)進行可視化，可視化通過交互式視覺表現(xiàn)的方式來幫助企業(yè)探索和理解復(fù)雜的數(shù)據(jù)。可視化與可視分析能夠迅速和有效地簡化

3、與提煉數(shù)據(jù)流，有助于使用者更快更好地從復(fù)雜數(shù)據(jù)中得到新的發(fā)現(xiàn)，成為用戶了解復(fù)雜數(shù)據(jù)、開展深入分析不可或缺的手段。1.2 開發(fā)語言表編程語言文本標(biāo)記語言數(shù)據(jù)庫語言Mysql SQLHiveQL11.3 開發(fā)環(huán)境表文件管理系統(tǒng)HDFS22 2.1 數(shù)據(jù)處理數(shù)據(jù)處理把數(shù)據(jù)轉(zhuǎn)換成便于觀察分析、傳送或進一步處理的形式。以便從大量的原始數(shù)據(jù)中抽取部分?jǐn)?shù)據(jù)，推導(dǎo)出對人們有價值的信息以作為行動和決策的依據(jù)。利用計算機科學(xué)地保存和管理經(jīng)過處理(如校驗、整理等)的大量數(shù)據(jù)，以便人們能方便而充分地利用這些寶貴的信息資源。導(dǎo)入復(fù)制導(dǎo)入 入圖2.2 數(shù)據(jù)可視化數(shù)據(jù)信息會員占比京東銷售數(shù)據(jù)總計平臺分類用戶印象印象榜TOP

4、5圖 22.2.1數(shù)據(jù)信息商品類型手機型號手機網(wǎng)絡(luò)圖2.2.2會員占比企業(yè)會員鉆石會員金牌會員銀牌會員銅牌會員注冊會員圖2.2.3京東銷售數(shù)據(jù)總計云南江蘇北京上海重慶河北河南遼寧湖南黑龍江圖32.2.4平臺分類安卓手機微信購物京東PC 端QQ購物Iphone圖2.2.5用戶印象系統(tǒng)流暢外觀漂亮電池耐用待機時間照相不錯分辨率高國民手機能齊全價比高圖2.2.6印象榜TOP5功能齊全性價比高系統(tǒng)流暢外觀漂亮圖43 在本次的系統(tǒng)中主要用到了 EclipseMySQLHive Sqoop 傳輸數(shù)據(jù)；用Java API 連接數(shù)據(jù)庫；用Eclipse 寫 Java 代碼，操作Hive 數(shù)據(jù)庫，導(dǎo)出數(shù)據(jù)；用獲

5、得的數(shù)據(jù)，利用 Echarts 平臺進行展示數(shù)據(jù)可視化。相關(guān)技術(shù)與原理介紹如下：3.1 HadoopHadoop 是一個由 Apache 基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。Hadoop 的框架最核心的設(shè)計就是：HDFS 和 MapReduceHDFS 為海量的數(shù)據(jù)提供了存儲，則 MapReduce 為海量的數(shù)據(jù)提供了計算。Hadoop原本來自于谷歌一款名為MapReduceMapReduce框架可以把一個應(yīng)用程序分解為許多并行計算指令，跨大量的計算節(jié)點運行非常巨大的數(shù)據(jù)集。使用該框架的一個典型例子就是

6、在網(wǎng)絡(luò)數(shù)據(jù)上運行的搜索算法。Hadoop 最初只與網(wǎng)頁索引有關(guān)，迅速發(fā)展成為分析大數(shù)據(jù)的領(lǐng)先平臺。目前有很多公司開始提供基于 Hadoop 的商業(yè)軟件、支持、服務(wù)以及培訓(xùn)。Cloudera 2008 年開始提供基于 Hadoop 的軟件和服務(wù)。GoGrid 2012 Cloudera合作加速了企業(yè)采納基于 Hadoop 應(yīng)用的步伐。Dataguise 公司是一家數(shù)據(jù)安全公司，同樣在 2012 年該公司推出了一款針對 Hadoop 的數(shù)據(jù)保護和風(fēng)險評估。Hadoop 地在 Hadoop 性、高效性、高容錯性、低成本優(yōu)點。Hadoop 得以在大數(shù)據(jù)處理應(yīng)用中廣泛應(yīng)用得益于其自身在數(shù)據(jù)提取、變形和加

7、載(ETL)方面上的天然優(yōu)勢。Hadoop 的分布式架構(gòu)，將大數(shù)據(jù)處理引擎盡可能的靠近存儲，對例如像 ETL 這樣的批處理操作相對合適，因為類似這樣操作的批處理結(jié)果可以直接走向存儲。Hadoop 的MapReduce 功能實現(xiàn)了將單個任務(wù)打碎，并將碎片任務(wù)(Map)發(fā)送到多個節(jié)點上，之后再以單個數(shù)據(jù)集的形式加載(Reduce)到數(shù)據(jù)倉庫里。3.2 SqoopSqoop 是一個用來將 Hadoop 5MySQL,Oracle,Postgres Hadoop（Hive）的 HDFS中，也可以將 HDFS的數(shù)據(jù)導(dǎo)進到關(guān)系型數(shù)據(jù)庫中。Sqoop項目開始于 2009年，最早是作為 Hadoop的一個第三

8、方模塊存在，后來為了讓使用者能夠快速部署，也為了讓開發(fā)人員能夠更快速的迭代開發(fā)，Sqoop獨立成為一個Apache項目。3.3 MySQLMySQL MySQLAB 公司開發(fā)，目前屬于Oracle 旗下產(chǎn)品。MySQL 是最流行的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)之一，在 WEB 應(yīng)用方面，MySQL是最好的 RDBMS (Relational Database Management System，關(guān)系數(shù)據(jù)庫管理系統(tǒng)) 應(yīng)用軟件之一。MySQL 是一種關(guān)系數(shù)據(jù)庫管理系統(tǒng)，關(guān)系數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個大倉庫內(nèi)，這樣就增加了速度并提高了靈活性。MySQL所使用的 SQL語言是用于訪

9、問數(shù)據(jù)庫的最常用標(biāo)準(zhǔn)化語言。MySQL 軟件采用了雙授權(quán)政策，分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，一般中小型網(wǎng)站的開發(fā)都選擇 MySQL作為網(wǎng)站數(shù)據(jù)庫。3.4 HiveHive是一種數(shù)據(jù)倉庫架構(gòu)，建立在 Hadoop之上。主要作用：存儲、查詢、分析存放在 HDFS/HBase中的大規(guī)模數(shù)據(jù)。Hive有自己的類 SQL，即HQL，它將SQL解析為 M/RJob，然后在Hadoop 上執(zhí)行。允許開發(fā)自定義 Mapper 和 Reducer 來處理內(nèi)建的 Mapper 和ReducerUDF）。而啟動MapReduce是一個高延遲的一件事，每次提交任務(wù)和

10、執(zhí)行任務(wù)都需要消耗很多時間，這也就決定 Hive只能處理一些高延遲的應(yīng)用。存儲原理：Hive的數(shù)據(jù)存儲在 HDFS上，Hive的表其實就是 HDFS的目錄，Hive沒有自己的數(shù)據(jù)存儲格式，存儲結(jié)構(gòu)主要包括：數(shù)據(jù)庫、文件、表、視圖、索引。Hive默認(rèn)可以直接加載 textHive的數(shù)據(jù)的列分隔符與行分隔符，Hive即可解析數(shù)據(jù)。所以，往 Hive表里面導(dǎo)入數(shù)據(jù)只是簡單的 HDFS系統(tǒng)中，那么是將數(shù)據(jù)復(fù)制到表所在的目錄中）。6Hive中主要包含：Table（表），ExternalTable（外部表），Partition（分區(qū)），Bucket（桶）幾種數(shù)據(jù)模型。Hive和 hadoop的集群關(guān)系：H

11、ive相當(dāng)于是Hadoop的客戶端工具，部署時不一定放在集群管理節(jié)點上。系統(tǒng)架構(gòu)：用戶接口包括 CLI（即 shell）、JDBC/ODBC、WebUI。Hive 是一種數(shù)據(jù)倉庫（DataWarehouse），數(shù)據(jù)倉庫將不同的數(shù)據(jù)庫中的數(shù)據(jù)源整合到一起進行數(shù)據(jù)分析。數(shù)據(jù)倉庫的輸入方是各種各樣的數(shù)據(jù)源，最終的所以靠的是 ETLExtractTransform，數(shù)據(jù)轉(zhuǎn)換，把原始數(shù)據(jù)轉(zhuǎn)換成期望的格式和維度。如果用在數(shù)據(jù)倉庫的場景下，Transform 也包含數(shù)據(jù)清洗，清洗掉噪音數(shù)據(jù)。Load，數(shù)據(jù)加載，把處理后的數(shù)據(jù)加載到目標(biāo)處，比如數(shù)據(jù)倉庫。Hive的使用：(1)命令行方式 CLIshell腳本文

12、件方式：實際生產(chǎn)中用的最多的方式。(3)JDBC方式：HiveServer。(4)web GUI接口：hwi方式3.5 EchartsECharts 是一個使用 JavaScript 實現(xiàn)的開源可視化庫，涵蓋各行業(yè)圖表，滿足各種需求。遵循 Apache-2.0 開源協(xié)議，免費商用。ECharts 兼容當(dāng)前絕大IE8/9/10/11ChromeFirefoxSafari等）及兼容多種設(shè)備，可隨時隨地任性展示。ECharts 1）豐富的可視化類型: 提供了常規(guī)的折線圖、柱狀圖、散點圖、餅圖、K 線圖，用于統(tǒng)計的盒形圖，用于地理數(shù)據(jù)可視化的地圖、熱力圖、線圖，用于關(guān)系數(shù)據(jù)可視化的關(guān)系圖、treema

13、p、旭日圖，多維數(shù)據(jù)可視 BI2）多種數(shù)據(jù)格式無需轉(zhuǎn)換直接使用:內(nèi)置的 dataset4.0+二維表，key-value 等多種格式的數(shù)據(jù)源，此外還支持輸入 TypedArray 格式的3: 4.0+），配合各種細(xì)致的優(yōu)化，ECharts 能夠展現(xiàn)千萬級的數(shù)據(jù)量。（4）移動端優(yōu)化:針對移動端交互做PC端5）多渲染方案，跨平臺使用:支持以 Canvas、SVG（4.0+）、VML 的形式渲染圖表。（6）深度的交互式數(shù)據(jù)探索:提供了 tooltip、數(shù)據(jù)刷選等開箱即用的交互組件，可以對數(shù)據(jù)進行多維度數(shù)據(jù)篩取、視圖縮放、展示細(xì)節(jié)等交互77）多維數(shù)據(jù)的支持以及豐富的視覺編碼手段: 對于傳統(tǒng)的散點圖等，

14、傳8:數(shù)據(jù)的改變驅(qū)動圖表展現(xiàn)的改變。（9）絢麗的特效:針對線數(shù)據(jù)，點數(shù)據(jù)等地理數(shù)據(jù)的可視化提供了吸引眼球的特10）通過GL實現(xiàn)更多更強大絢麗的三維可視化:在 VR，大屏場景里實現(xiàn)三11）無障礙訪問（4.0+:支持自動根據(jù)圖表配置項智能生成描述，使得盲人可以在朗讀設(shè)備的幫助下了解圖表內(nèi)容，讓圖表可以被更多人群訪問！3.6 JDBCJDBC（Java數(shù)據(jù)庫連接）是一種用于執(zhí)行SQL語句的 JavaAPI，可以為多種 Java語言編寫的類和接口組成.JDBC提供了一種基準(zhǔn)，據(jù)此可以構(gòu)建更高級的工具和接口，使數(shù)據(jù)庫開發(fā)人員能夠編寫數(shù)據(jù)庫應(yīng)用程序，JDBC實現(xiàn)了所有這些面向標(biāo)準(zhǔn)的目標(biāo)并且具有簡單，嚴(yán)格類

15、型定義且高性能實現(xiàn)的接口。流程原理：12、在Java程序中加載驅(qū)動程序。3 DriverManager類創(chuàng)建數(shù)據(jù)庫連接對象 Connection。DriverManager類作用于 Java程序和 JDBC驅(qū)動程序之間，用于檢查所加載的驅(qū)動程序是否可以建立連接，然后通過它的 getConnection方法，根據(jù)數(shù)據(jù)庫的 URL、用戶名和密碼，創(chuàng)建一個 JDBC Connection 對象。4、創(chuàng)建Statement對象：Statement 類的主要是用于執(zhí)行靜態(tài) SQL語句并返回它所生成結(jié)果的對象。通過 Connection 對象的 createStatement()方法可以創(chuàng)建一個State

16、ment對象。5、調(diào)用 Statement對象的相關(guān)方法執(zhí)行相對應(yīng)的 SQL 語句：通過 execuUpdate()方法用來數(shù)據(jù)的更新，包括插入和刪除等操作。6、關(guān)閉數(shù)據(jù)Connection的 close()方法及時關(guān)閉數(shù)據(jù)連接。主要用途：簡單地說，JDBC 可做三件事：與數(shù)據(jù)庫建立連接、發(fā)送 操作數(shù)據(jù)庫的語句并處理結(jié)果。3.7 HDFSHadoop 由許多元素構(gòu)成。其最底部是 Hadoop Distributed File System（HDFS），它存儲 Hadoop 集群中所有存儲節(jié)點上的文件。HDFS（對于本文）的8上一層是 MapReduce JobTrackers 和 TaskTr

17、ackers 對 Hadoop分布式計算平臺最核心的分布式文件系統(tǒng) HDFS、MapReduce處理過程，以及數(shù)據(jù)倉庫工具 Hive和分布式數(shù)據(jù)庫 Hbase的介紹，基本涵蓋了 Hadoop分布式平臺的所有技術(shù)核心。對外部客戶機而言，HDFS就像一個傳統(tǒng)的分級文件系統(tǒng)?？梢詣?chuàng)建、刪除、移動或重命名文件，等等。但是 HDFS 的架構(gòu)是基于一組特定的節(jié)點構(gòu)建的，這是由它自身的特點決定的。這些節(jié)點包括 NameNode（僅一個），它在 HDFS內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode HDFS NameNode，因此這是 HDFS 的一個缺點（單點失敗）。存儲在 HDFS 中的文件被分成塊，然后將這些塊

18、復(fù)制到多個計算機中（DataNode）。這與傳統(tǒng)的 RAID 架構(gòu)大不相同。塊的大?。ㄍǔ?64MB）和復(fù)制的塊數(shù)量在創(chuàng)建文件時由客戶機決定。NameNode 可以控制所有文件操作。HDFS內(nèi)部的所有通信都基于標(biāo)準(zhǔn)的 TCP/IP協(xié)議。94 4.1 數(shù)據(jù)處理實現(xiàn)1、將海量數(shù)據(jù)（）導(dǎo)入到 Window Mysql(表 new1)，然后導(dǎo)出為 sql 文件；2、復(fù)制到 Linux 共享文件夾里（以防虛擬機卡死）然后啟動 Mysql 服務(wù)： 進入 Mysql 命令行： sql 文件導(dǎo)入數(shù)據(jù)到 Linux Mysql 中：查看數(shù)據(jù)庫中是否成功導(dǎo)入： 3、利用 Sqoop 上傳 Mysql 數(shù)據(jù)到 H

19、DFS(input2 文件夾不能存在： 1查看 HDFS 數(shù)據(jù)是否導(dǎo)入成功： 啟動 Hive 的兩個服務(wù)使用默認(rèn)數(shù)據(jù)庫 default 創(chuàng)建表 HDFS 數(shù)據(jù)導(dǎo)入 Hive： 104.2Java代碼設(shè)計實現(xiàn)由于數(shù)據(jù)源龐大，對數(shù)據(jù)分析造成很大困難。利用 Eclipse Jee Oxygen 工具查詢對可視化分析有價值的數(shù)據(jù)，本設(shè)計共定義五個 Java 類，如下：Area.javaDatanum.javaMember.javaUserimpression.javaUserplat.java。它們分別對應(yīng)可視化各省或直轄市銷售數(shù)據(jù)總計、京東銷售數(shù)據(jù)總計、會員占比、用戶印象、平臺分類這五模塊內(nèi)容。 =

20、 11= = = + =12= =13= = = = +/4、Userimpression.java（數(shù)據(jù)部分省略） =14= = = = = = = = =;15= *了= 東 =16= 東 = = = = + 4.3 可視化實現(xiàn)工作中，無論是哪一種場景，都要接觸數(shù)據(jù)，接觸表達(dá)。數(shù)據(jù)可視化就是表+多數(shù)企業(yè)正逐漸從傳統(tǒng)的流程式管理方式過渡到基于數(shù)據(jù)的管理方式。這是一種必然趨勢，數(shù)據(jù)可視化能夠幫助分析的人對數(shù)據(jù)有更全面的認(rèn)識，獲得更有商業(yè)價值的洞見和價值。對于本課設(shè)數(shù)據(jù)可視化，使用圖表類插件：Echarts。JavaScript 是一種高級的、多范式、解釋型的編程語言，是一門基于原型、JavaS

21、cript是一種基于對象和事件驅(qū)動并具有相對安全性的客戶端腳本語言。同時也是一種17廣泛用于客戶端 Web HTML JavaScript 是一種動態(tài)、弱類型、基于原型的語言，內(nèi)置支持類。CSS(層疊樣式表），控制HTML 語句樣式。例如，可以改變字符的大小，背景的顏色，圖像的排列等。 /* /* 3 /*18 19 ; ; 20 215 5.1 數(shù)據(jù)處理頁面圖圖圖圖22圖5.2 數(shù)據(jù)庫頁面圖圖23圖圖圖245.3 可視化頁面5.3.1 數(shù)據(jù)信息模塊每件商品的來源、性能皆不相同，其基本信息能幫助眾多消費者了解商品，根據(jù)自身需求購買產(chǎn)品。本系統(tǒng)是在京東銷售的一款華為 4G 智能手機展開研究的。圖

22、5.3.2 會員占比模塊購買產(chǎn)品的消費者階層不同，決定著產(chǎn)品以后主要的面向?qū)ο?，提前為不同企業(yè)會員、鉆石會員、金牌會員、銀牌會員、銅牌會員、注冊會員。圖255.3.3 京東銷售數(shù)據(jù)總計模塊對各省份及直轄市銷售情況進行統(tǒng)計和排名，可以直觀觀察出各地消費水平和此產(chǎn)品在不同地區(qū)的受歡迎程度。此分析有利于京東預(yù)測下期重點在哪些地區(qū)投放產(chǎn)品，銷售量大的地方提前在節(jié)日前存儲物資。圖5.3.4 平臺分類模塊通過對消費者購買途徑分析可以直觀看出大眾消費的主要平臺，從而加大對此途徑的宣傳力度，提高銷售量。圖5.3.5 用戶印象模塊對用戶印象進行統(tǒng)計分析可以直觀反映出產(chǎn)品的性能，對產(chǎn)品性能不足的地方加以改善，進行

23、優(yōu)化，使得產(chǎn)品受到更多消費者的青睞。26圖5.3.6 印象榜模塊對消費者使用產(chǎn)品的印象進行排名反映出消費者對此產(chǎn)品的滿意程度，使用本產(chǎn)品的重點關(guān)心方面，顯示出此商品的優(yōu)點，商家可以通過分析結(jié)果在銷售宣傳時突出優(yōu)點來提升銷售量。圖5.3.7 可視化整體界面對海量數(shù)據(jù)進行處理、篩選，對有用信息進行分析和可視化。此可視化界面可以直觀看出商品銷售總量和各地區(qū)消費能力、消費者購買途徑、用戶評價和產(chǎn)品主要銷售對象。通過直觀顯示方便商家企業(yè)對各種情況進行預(yù)測，根據(jù)實際情況實時調(diào)整銷售手段。圖27此次課程設(shè)計從最初的茫然，到慢慢的進入狀態(tài)，再到對思路逐漸的清晰，整個寫作過程難以用語言來表達(dá)。歷經(jīng)兩周的奮戰(zhàn)，緊張而又充實的課程設(shè)計終于落下了帷幕?；叵脒@段日子的經(jīng)歷和感受，我感慨萬千，在這次課程設(shè)計的過程中，我擁有了無數(shù)難忘的回憶和收獲。本文對海量數(shù)據(jù)分析系統(tǒng)的代碼架構(gòu)進