大數(shù)據(jù)采集與預(yù)處理一、選擇題1．按產(chǎn)生數(shù)據(jù)的主體來(lái)劃分，大數(shù)據(jù)主要有三個(gè)來(lái)源，它們分別是（B）。信息管理系統(tǒng)的記錄、計(jì)算機(jī)產(chǎn)生的數(shù)據(jù)和對(duì)現(xiàn)實(shí)世界的測(cè)量對(duì)現(xiàn)實(shí)世界的測(cè)量、人類的記錄和計(jì)算機(jī)產(chǎn)生的數(shù)據(jù)對(duì)現(xiàn)實(shí)世界的測(cè)量、人類的記錄和物聯(lián)網(wǎng)監(jiān)測(cè)的數(shù)據(jù)對(duì)現(xiàn)實(shí)世界的測(cè)量、傳感器采集的數(shù)據(jù)和計(jì)算機(jī)產(chǎn)生的數(shù)據(jù)2．以下哪項(xiàng)處理是屬于數(shù)據(jù)集成要完成的工作（D）。數(shù)據(jù)平滑標(biāo)準(zhǔn)化處理去除噪聲實(shí)體識(shí)別3．以下哪項(xiàng)不屬于數(shù)據(jù)預(yù)處理中去除噪聲的方法（C）。分箱移動(dòng)平均歸一化3σ探測(cè)方法4．假設(shè)有12個(gè)從小到大的有序數(shù)據(jù)：5，10，11，13，15，35，50，55，72，92，203，215，使用等寬分箱法（假設(shè)箱寬為30,即每個(gè)箱數(shù)據(jù)之差不超過(guò)30）將它們劃分成四個(gè)箱，92在哪個(gè)箱中（C）。第1個(gè)第2個(gè)第3個(gè)第4個(gè)二、填空題1．網(wǎng)絡(luò)數(shù)據(jù)的采集通?？梢苑譃開(kāi)_網(wǎng)頁(yè)內(nèi)容采集___和___網(wǎng)絡(luò)流量采集___兩種類型。 2．?dāng)?shù)據(jù)容量單位1GB=___1024*1024=1048576___KB。3．據(jù)預(yù)處理是指在數(shù)據(jù)進(jìn)行分析挖掘之前，對(duì)原始數(shù)據(jù)進(jìn)行變換、清洗與集成等一系列操作。三、簡(jiǎn)答題1、簡(jiǎn)述大數(shù)據(jù)采集主要采用的方法。答：數(shù)據(jù)采集的常用方法：傳感數(shù)據(jù)采集、系統(tǒng)日志采集、網(wǎng)絡(luò)數(shù)據(jù)采集、外包和眾包和數(shù)據(jù)庫(kù)采集等。2、簡(jiǎn)述網(wǎng)絡(luò)爬蟲(chóng)工具Scrapy框架的組成與功能。答：Scrapy框架主要由五大組件組成，它們分別是調(diào)度器（Scheduler）、下載器（Downloader）、爬蟲(chóng)（Spider）、實(shí)體管道（ItemPipeline）和Scrapy引擎（ScrapyEngineer）。3、簡(jiǎn)述歸一化處理和標(biāo)準(zhǔn)化處理的差別。答：它們都是對(duì)數(shù)據(jù)的特征進(jìn)行縮放的方法，作用是使不同量綱的特征處于同一數(shù)值量級(jí)，減少方差大的特征的影響，使分析模型更準(zhǔn)確。（1）數(shù)據(jù)歸一化是將數(shù)據(jù)變換為[0,1]或[-1，1]之間的小數(shù)，這樣可以把有量綱數(shù)據(jù)轉(zhuǎn)變?yōu)闊o(wú)量綱表示。歸一化方法的優(yōu)點(diǎn)是能保留數(shù)據(jù)的權(quán)重信息；缺點(diǎn)是魯棒性較差（易受異常值的影響，如果有異常大或小的數(shù)，則會(huì)將正常數(shù)據(jù)據(jù)“擠”到一起）。（2）標(biāo)準(zhǔn)化不但將數(shù)據(jù)縮放到相同區(qū)間，并且將數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)正態(tài)分布。該方法基于數(shù)據(jù)是服從正態(tài)分布這一隱含假設(shè)，只是將數(shù)據(jù)調(diào)整為均值為0，方差為1的標(biāo)準(zhǔn)正態(tài)分布。如果數(shù)據(jù)不滿足這一隱含的假設(shè)，則標(biāo)準(zhǔn)化方法會(huì)改變數(shù)據(jù)的分布特性。標(biāo)準(zhǔn)化方法的魯棒性較好；缺點(diǎn)是會(huì)丟失數(shù)據(jù)的權(quán)重信息。四、實(shí)驗(yàn)題【實(shí)驗(yàn)3-1】用Scrapy采集豆瓣讀書(shū)評(píng)分9分以上的圖書(shū)數(shù)據(jù)。豆瓣讀書(shū)的網(wǎng)址為：/doulist/1264675/，要求采集每本圖書(shū)的數(shù)據(jù)包括：書(shū)名、評(píng)分、作者、出版社和出版年份?！緦?shí)驗(yàn)3-2】使用Flume軟件從Linux主機(jī)的特定目錄中采集日志文件，匯總到指定的服務(wù)器并存入Hadoop集群的HDFS文件系統(tǒng)中。（1）任務(wù)要求將Linux主機(jī)Node02和Node03中/usr/local/logs文件夾（假設(shè)不含子文件夾）下的所有*.log文件采集到Node01上，并匯總到Hadoop集群的HDFS文件系統(tǒng)的/flume/logdir目錄中，HDFS中的日志文件名用“年/月/日/時(shí)/分”進(jìn)行命名。（2）數(shù)據(jù)流模型示意圖【實(shí)驗(yàn)3-3】使用Python的sklearn庫(kù)進(jìn)行數(shù)據(jù)預(yù)處理實(shí)驗(yàn)。 （1）從/ml/index.php下載labor數(shù)據(jù)集，對(duì)所有的屬性列（不包括類別標(biāo)簽列）進(jìn)行缺失值填充，數(shù)值型屬性采用平均值進(jìn)行填充，類屬型屬