大數(shù)據(jù)平臺(tái)搭建與配置管理第11頁共11頁《大數(shù)據(jù)平臺(tái)搭建與配置管理》期中試題期中試題（閉卷A）題號(hào)一二三四五六七八九十成績滿分30202030100得分【本套試卷共有4大題，計(jì)66小題】一、選擇題（20題，每題1.5分，共30分）1、Client端上傳文件的時(shí)候下列正確的是（）。A.數(shù)據(jù)經(jīng)過NameNode傳給DataNodeB.Client只上傳數(shù)據(jù)到一臺(tái)DataNodeC.Client端將文件切分為Block，依次上傳D.NameNode負(fù)責(zé)Block復(fù)制工作2、HDFS的NameNode負(fù)責(zé)管理文件系統(tǒng)的命名空間，將所有的文件和文件夾的元數(shù)據(jù)保存在一個(gè)文件系統(tǒng)樹中，這些信息也會(huì)在硬盤上保存成一下文件（）。A.日志B.命名空間鏡像C.兩者都是D.以上都不是3、MapReduce框架提供了一種序列化鍵/值對(duì)的方法，支持這種序列化的類能夠在Map和Reduce過程中充當(dāng)鍵或值，以下說法錯(cuò)誤的是？（）A.實(shí)現(xiàn)Writable接口的類是值B.實(shí)現(xiàn)WritableComparable接口的類可以是值或鍵C.Hadoop的基本類型Text并不實(shí)現(xiàn)WritableComparable接口D.鍵和值的數(shù)據(jù)類型可以超出Hadoop自身支持的基本類型4、對(duì)MapReduce的體系結(jié)構(gòu)，以下說法不正確的是（）A.分布式編程架構(gòu)B.以數(shù)據(jù)為中心，更看重吞吐率C.分而治之的思想D.將一個(gè)任務(wù)合并成多個(gè)子任務(wù)5、在創(chuàng)建Linux分區(qū)時(shí)，一定要?jiǎng)?chuàng)建（）兩個(gè)分區(qū)。A.FAT/NTFSB.FAT/SWAPC.NTFS/SWAPD.SWAP/根分區(qū)6、下面哪個(gè)命令是用來定義shell的全局變量（）。A.exportfsB.aliasC.exportsD.export7、ZooKeeper可以實(shí)現(xiàn)（）。A.高吞吐量和低延遲數(shù)量B.高吞吐量和高延遲數(shù)量C.低吞吐量和低延遲數(shù)量D.低吞吐量和高延遲數(shù)量8、分布式應(yīng)用正在運(yùn)行的一組系統(tǒng)稱為（）。A.集群B.分布式系統(tǒng)C.單元D.組9、查詢速度的提升是以額外的（）為代價(jià)的。A.創(chuàng)建索引B.創(chuàng)建索引和存儲(chǔ)索引C.刪除索引D.存儲(chǔ)索引10、Hive的元數(shù)據(jù)不能夠存儲(chǔ)在哪些位置？（）A.mysqlB.derbyC.oracleD.文本文件11、HBase依賴（）提供消息通信機(jī)制。A.ZookeeperB.ChubbyC.RPCD.Socket12、LSM含義是？（）A.日志結(jié)構(gòu)合并樹B.二叉樹C.平衡二叉樹D.長平衡二叉樹13、HFile數(shù)據(jù)格式中的Data字段用于（）。A.存儲(chǔ)實(shí)際的KeyValue數(shù)據(jù)B.存儲(chǔ)數(shù)據(jù)的起點(diǎn)C.指定字段的長度D.存儲(chǔ)數(shù)據(jù)塊的起點(diǎn)14、下列不屬于StreamGrouping方式的是（）。A.ShuffleGroupingB.AllGroupingC.FieldsGroupingD.newGrouping15、Storm會(huì)在集群內(nèi)分配對(duì)應(yīng)并行度個(gè)數(shù)的（）來同時(shí)執(zhí)行這一組件。A.哈希值B.ThriftC.task線程D.Worker進(jìn)程16、Storm可以用來實(shí)時(shí)處理新數(shù)據(jù)和（）。A.刪除數(shù)據(jù)庫B.更新數(shù)據(jù)庫C.刪除節(jié)點(diǎn)D.更新表17、MapReduce編程模型，鍵值對(duì)<key,value>的key必須實(shí)現(xiàn)哪個(gè)接口？（）。A.WritableComparableB.ComparableC.WritableD.LongWritable18、HBase數(shù)據(jù)庫的BlockCache緩存的數(shù)據(jù)塊中，哪一項(xiàng)不一定能提高效率（）。A.–ROOT-表B..META.表C.HFileindexD.普通的數(shù)據(jù)塊19、HBase的Region組成中，必須要有以下哪一項(xiàng)（ ）。A.StoreFileB.MemStoreC.MetaStoreD.HFile20、設(shè)計(jì)分布式數(shù)據(jù)倉庫hive的數(shù)據(jù)表時(shí)，為取樣更高效，一般可以對(duì)表中的連續(xù)字段進(jìn)行什么操作（）。A.分桶B.分區(qū)C.索引D.分表二、填空題（20題，每題1分，共10分）21、Spouts會(huì)從外部讀取流數(shù)據(jù)并持續(xù)發(fā)出。22、當(dāng)Spout或者Bolt發(fā)送元組時(shí)，它會(huì)把元組發(fā)送到每個(gè)訂閱了該的Bolt上進(jìn)行處理。23、Storm采用了來作為分布式協(xié)調(diào)組件。24、HBase分布式模式最好需要個(gè)節(jié)點(diǎn)。25、LSM結(jié)構(gòu)的數(shù)據(jù)首先存儲(chǔ)在。26、HBase中Hmaster負(fù)責(zé)監(jiān)控的生命周期。27、Hive遠(yuǎn)程服務(wù)通過方式訪問Hive。28、Hive不支持的更新。29、Hive非常適合于對(duì)那些只在文本末尾添加數(shù)據(jù)的大型數(shù)據(jù)集進(jìn)行。30、分布式應(yīng)用程序可以基于Zookeeper實(shí)現(xiàn)諸如數(shù)據(jù)發(fā)布/訂閱、、命名服務(wù)、分布式協(xié)調(diào)/通知、、、分布式鎖和分布式隊(duì)列等功能。31、注冊成臨時(shí)節(jié)點(diǎn)后，再服務(wù)端出問題時(shí)，節(jié)點(diǎn)會(huì)自動(dòng)的從zookeeper上。32、ZooKeeper提供了一項(xiàng)基本服務(wù)是。33、計(jì)算過程高度抽象到兩個(gè)函數(shù)和。34、每一個(gè)小數(shù)據(jù)都可以完全地進(jìn)行處理。35、大規(guī)模數(shù)據(jù)集的處理包括兩個(gè)核心環(huán)節(jié)。36、ResourceManager默認(rèn)的WebUI訪問端口號(hào)為：。37、Hadoop集群搭建中常用的4個(gè)配置文件為：、hdfs-site.xml、mapred-site.xml、。38、HA產(chǎn)生的背景是。39、網(wǎng)絡(luò)管理兩個(gè)重要任務(wù)分別是：和。40、命令是刪除文件命令。三、判斷題，正確填“T”，錯(cuò)誤填“F”（20題，每題1分，共20分）41、Hadoop支持?jǐn)?shù)據(jù)的隨機(jī)讀寫（）。42、NameNode負(fù)責(zé)管理元數(shù)據(jù)信息metadata，client端每次讀寫請(qǐng)求，它都會(huì)從磁盤中讀取或會(huì)寫入metadata信息并反饋給client端（）。43、MapReduce的inputsplit一定是一個(gè)block（）。44、鏈?zhǔn)組apReduce計(jì)算中，對(duì)任意一個(gè)MapReduce作業(yè)，Map和Reduce階段可以有無限個(gè)Mapper，但Reducer只能有一個(gè)（）。45、HBase對(duì)于空（NULL）的列，不需要占用存儲(chǔ)空間。（）。46、MapReduce適于PB級(jí)別以上的海量數(shù)據(jù)在線處理（）。47、MapReduce計(jì)算過程中，相同的key默認(rèn)會(huì)被發(fā)送到同一個(gè)reducetask處理（）。48、HBase可以有列，可以沒有列族（columnfamily）（）。49、/tmp目錄主要用于存儲(chǔ)程序運(yùn)行時(shí)生成的臨時(shí)文件（）。50、Linux系統(tǒng)以文本文件的形式保存大備份系統(tǒng)日志，如lastlog（）。51、Hadoop是Java開發(fā)的，所以MapReduce只支持Java語言編寫（）。52、NameNode負(fù)責(zé)管理metadata，client端每次讀寫請(qǐng)求，它都會(huì)從磁盤中讀取或者會(huì)寫入metadata信息并反饋給client端（）。53、MapReduce程序可以直接讀取HBase內(nèi)存儲(chǔ)的數(shù)據(jù)內(nèi)容。（）54、所有消息交換都是通過MapReduce框架自身去實(shí)現(xiàn)的。（）55、更新ZooKeeper操作是非阻塞式的。（）56、在分布式鎖服務(wù)中，就是通過對(duì)集群進(jìn)行Master選舉，來解決分布式系統(tǒng)中的單點(diǎn)故障。（）57、分區(qū)的主要好處是加快查詢速度。（）58、Hive創(chuàng)建內(nèi)部表時(shí)，會(huì)將數(shù)據(jù)移動(dòng)到數(shù)據(jù)倉庫指向的路徑。（）。59、MapReduce程序可以直接讀取HBase內(nèi)存儲(chǔ)的數(shù)據(jù)內(nèi)容。（）60、使用Shell命令insert對(duì)HBase中的一張表進(jìn)行數(shù)據(jù)添加操作。（）四、簡答題（6題，每題5分，共30分）61、簡述HBase的主要技術(shù)特點(diǎn)。答：62、HBase有哪些類型的訪問接口？答：63、是否所有的MapReduce程序都需要經(jīng)過Map和Reduce這兩個(gè)過程？如果不是，請(qǐng)舉例說明。答：64、請(qǐng)描述HDFSHA架構(gòu)組成組建及其具體功能。答：65、hadoop節(jié)點(diǎn)動(dòng)態(tài)上線下線怎么操作?答：66、HAnamenode是如何工作的？答：《大數(shù)據(jù)平臺(tái)搭建與配置管理》期中標(biāo)答期中標(biāo)答A（閉卷）題號(hào)一二三四五六七八九十成績滿分30202030100得分一、選擇題（20題，每題1.5分，共30分）1-5：CCCDD 6-10：DAABD11-15：AAADC16-20：BADBA二、填空題（20題，每題1分，共20分）21、Tuple 22、Stream23、Zookeeper24、325、內(nèi)存中26、RegionServer27、JDBC28、級(jí)別29、批處理30、負(fù)載均衡集群管理Master選舉31、刪除32、分布式鎖33、MapReduce34、并行35、分布式存儲(chǔ)和分布式計(jì)算36、808837、core-site.xmlyarn-site.xml38、為了解決單NN那可能會(huì)出現(xiàn)宕機(jī)導(dǎo)致集群不可用或數(shù)據(jù)丟失的問題39、監(jiān)控控制40、rm三、判斷題（20題，每題1分，共20分）41-45：FFFTT46-50：FFFTF51-55：FFTTT56-60：TTTTF四、簡答題（6題，每題5分，共60分）61、答：（1）列式存儲(chǔ)（2）表數(shù)據(jù)是稀疏的多維映射表（3）讀寫的嚴(yán)格一致性（4）提供很高的數(shù)據(jù)讀寫速度（5）良好的線性可擴(kuò)展性（6）提供海量數(shù)據(jù)（7）數(shù)據(jù)會(huì)自動(dòng)分片（8）對(duì)于數(shù)據(jù)故障，hbase是有自動(dòng)的失效檢測和恢復(fù)能力。（9）提供了方便的與HDFS和MAPREDUCE集成的能力62、答：HBase提供了NativeJavaAPI,HBaseShell，ThriftGateway,RESTGateWay,Pig,Hive等訪問接口。63、答：不是。略64、答：在一個(gè)典型的HA集群中，一般設(shè)置兩個(gè)名稱節(jié)點(diǎn)，其中一個(gè)名稱節(jié)點(diǎn)處于“活躍”狀態(tài)，另一個(gè)處于“待命”狀態(tài)。處于活躍狀態(tài)的名稱節(jié)點(diǎn)負(fù)責(zé)對(duì)外處理所有客戶端的請(qǐng)求，而處于待命狀態(tài)的名稱節(jié)點(diǎn)則作為備用節(jié)點(diǎn)，保存了足夠多的系統(tǒng)元數(shù)據(jù)，當(dāng)名稱節(jié)點(diǎn)提供了“熱備份”，一旦活躍名稱節(jié)點(diǎn)出現(xiàn)故障，就可以立即切換到待命名稱節(jié)點(diǎn)，不會(huì)影響到系統(tǒng)的正常對(duì)外服務(wù)。65、答：1）節(jié)點(diǎn)上線操作：當(dāng)要新上線數(shù)據(jù)節(jié)點(diǎn)的時(shí)候，需要把數(shù)據(jù)節(jié)點(diǎn)的名字追加在dfs.hosts文件中（1）關(guān)閉新增節(jié)點(diǎn)的防火墻（2）在NameNode節(jié)點(diǎn)的hosts文件中加入新增數(shù)據(jù)節(jié)點(diǎn)的hostname（3）在每個(gè)新增數(shù)據(jù)節(jié)點(diǎn)的hosts文件中加入NameNode的hostname（4）在NameNode節(jié)點(diǎn)上增加新增節(jié)點(diǎn)的SSH免密碼登錄的操作（5）在NameNode節(jié)點(diǎn)上的dfs.hosts中追加上新增節(jié)點(diǎn)的hostname,（6）在其他節(jié)點(diǎn)上執(zhí)行刷新操作：hdfsdfsadmin-refreshNodes（7）在NameNode節(jié)點(diǎn)上，更改slaves文件，將要上線的數(shù)據(jù)節(jié)點(diǎn)hostname追加到slaves文件中（8）啟動(dòng)DataNode節(jié)點(diǎn)（9）查看NameNode的監(jiān)控頁面看是否有新增加的節(jié)點(diǎn)2）節(jié)點(diǎn)下線操作：（1）修改/conf/hdfs-site.xml文件（2）確定需要下線的機(jī)器，dfs.osts.exclude文件中配置好需要下架的機(jī)器，這個(gè)是阻止下架的機(jī)器去連接NameNode。（3）配置完成之后進(jìn)行配置的刷新操作./bin/hadoopdfsadmin-refreshNodes,這個(gè)操作的作用是在后臺(tái)進(jìn)行block塊的移動(dòng)。（4）當(dāng)執(zhí)行三的命令完成之后，需要下架的機(jī)器就可以關(guān)閉了，可以查看現(xiàn)在集群上連接的節(jié)點(diǎn)，正在執(zhí)行Decommission，會(huì)顯示：DecommissionStatus:Decommissioninprogress執(zhí)行完畢后，會(huì)顯示：DecommissionStatus:Decommissioned（5）機(jī)器下線完畢，將他們從excludes文件中移除。66、答：ZKFailoverController主要職責(zé)1）健康監(jiān)測：周期性的向它監(jiān)控的NN發(fā)送健康探測命令，從而來確定某個(gè)NameNode是否處于健康狀態(tài)，如果機(jī)器宕機(jī)，心跳失敗，那么zkfc就會(huì)標(biāo)記它處于一個(gè)不健康的狀態(tài)。2）會(huì)話管理：如果NN是健康的，zkfc就會(huì)在zookeeper中保持一個(gè)打開的會(huì)話，如果Name