2025年大數據技術與應用考核能力測試題及答案一、單項選擇題（每題2分，共20分）1.以下哪種技術屬于大數據實時處理框架？A.HadoopMapReduceB.SparkRDDC.ApacheFlinkD.Hive答案：C2.在數據湖倉一體（Lakehouse）架構中，核心解決的問題是？A.結構化數據與非結構化數據的統(tǒng)一存儲B.批處理與流處理的性能優(yōu)化C.數據倉庫的實時寫入限制D.數據湖的分析能力不足與數據倉庫的靈活性缺陷答案：D3.聯(lián)邦學習中“數據不動模型動”的核心目的是？A.降低數據傳輸成本B.保護數據隱私C.提升模型訓練速度D.減少計算資源消耗答案：B4.Spark中RDD的persist()方法默認存儲級別是？A.MEMORY_ONLYB.MEMORY_AND_DISKC.DISK_ONLYD.MEMORY_ONLY_SER答案：A5.以下哪項不屬于數據清洗的常見操作？A.缺失值填充B.異常值檢測C.數據歸一化D.重復數據刪除答案：C（數據歸一化屬于數據變換）6.HBase的RowKey設計中，為避免熱點問題通常采用的策略是？A.遞增時間戳作為前綴B.哈希散列或加鹽C.按業(yè)務主鍵直接排序D.長字符串作為主鍵答案：B7.在Flink的時間窗口中，事件時間（EventTime）的水印（Watermark）用于解決？A.數據亂序問題B.窗口觸發(fā)延遲C.狀態(tài)存儲溢出D.流數據背壓答案：A8.數據血緣分析的主要作用是？A.統(tǒng)計數據使用頻率B.追蹤數據來源與處理過程C.優(yōu)化數據存儲結構D.評估數據質量等級答案：B9.以下哪種數據庫適合存儲時序大數據（如IoT傳感器數據）？A.MySQLB.CassandraC.InfluxDBD.Redis答案：C10.云原生大數據平臺的核心特征是？A.基于單一云服務商構建B.支持容器化部署與彈性擴縮容C.完全依賴本地硬件資源D.僅支持批處理任務答案：B二、多項選擇題（每題3分，共15分，少選得1分，錯選不得分）1.大數據技術棧中，屬于分布式文件系統(tǒng)的有？A.HDFSB.GFS（GoogleFileSystem）C.CephD.HBase答案：ABC2.數據預處理階段可能包括以下哪些步驟？A.數據抽?。‥TL中的Extract）B.特征工程（FeatureEngineering）C.數據脫敏（DataMasking）D.維度建模（DimensionalModeling）答案：ABC（維度建模屬于數據倉庫設計階段）3.SparkSQL支持的數據源包括？A.Hive表B.JSON文件C.JDBC數據庫D.Kafka流數據答案：ABCD4.隱私計算技術主要包括？A.多方安全計算（MPC）B.聯(lián)邦學習（FL）C.同態(tài)加密（HE）D.數據脫敏（Masking）答案：ABC（數據脫敏屬于數據保護手段，非計算技術）5.大數據平臺性能優(yōu)化的常見方法有？A.增加并行度（Parallelism）B.減少數據Shuffle量C.使用列式存儲（如Parquet）D.關閉推測執(zhí)行（SpeculativeExecution）答案：ABC（推測執(zhí)行用于解決任務延遲，關閉可能降低容錯性）三、簡答題（每題8分，共40分）1.簡述Hadoop生態(tài)中HDFS、YARN、MapReduce的分工與協(xié)作關系。答案：HDFS負責分布式存儲，將大文件分塊存儲在集群節(jié)點；YARN作為資源管理系統(tǒng)，負責集群資源（CPU、內存）的調度與分配；MapReduce是計算框架，將任務分解為Map和Reduce階段，通過YARN申請資源執(zhí)行。協(xié)作流程：用戶提交MapReduce任務→YARN的ResourceManager分配Container資源→NodeManager啟動ApplicationMaster→ApplicationMaster向ResourceManager申請任務資源→NodeManager啟動Map/Reduce任務進程→任務讀取HDFS數據并輸出結果到HDFS。2.對比SparkRDD與FlinkDataStream的核心差異。答案：①數據模型：RDD是不可變的分布式數據集，基于批處理；DataStream是持續(xù)流動的事件流，基于流處理。②執(zhí)行方式：Spark通過DAG調度批處理任務，F(xiàn)link通過時間窗口和水印處理實時流。③狀態(tài)管理：Flink內置狀態(tài)后端（如RocksDB）支持長時間窗口的狀態(tài)存儲；Spark需通過Checkpoint或外部存儲管理狀態(tài)。④時間語義：Flink支持事件時間、處理時間、攝入時間，RDD默認基于處理時間。3.說明數據湖（DataLake）與數據倉庫（DataWarehouse）的主要區(qū)別。答案：①數據類型：數據湖存儲原始的、多格式（結構化/半結構化/非結構化）數據；數據倉庫存儲經過清洗、結構化的業(yè)務數據。②存儲成本：數據湖使用對象存儲（如S3、OSS），成本更低；數據倉庫使用結構化存儲（如關系型數據庫），成本較高。③處理模式：數據湖采用“讀時模式”（SchemaonRead），靈活性高；數據倉庫采用“寫時模式”（SchemaonWrite），需提前定義結構。④應用場景：數據湖支持探索性分析、AI訓練；數據倉庫支持確定性的OLAP查詢。4.解釋Flink中水?。╓atermark）的提供策略及其在事件時間窗口中的作用。答案：水印是一個時間戳，表示后續(xù)不會再有該時間戳之前的數據到達。提供策略包括：①周期性水?。≒eriodic）：按固定間隔提供，適用于數據亂序程度低的場景；②標點水?。≒unctuated）：基于特定事件（如數據中的標記）觸發(fā)，適用于亂序嚴重場景。作用：當水印超過窗口的結束時間時，觸發(fā)窗口計算，確保在延遲數據到達前完成計算（允許設置延遲時間），平衡實時性與準確性。5.列舉三種常見的大數據安全技術，并說明其應用場景。答案：①數據脫敏：對敏感數據（如身份證號、手機號）進行替換、掩碼處理，用于開發(fā)測試環(huán)境數據分發(fā)。②訪問控制（RBAC）：基于角色分配數據訪問權限，適用于企業(yè)內部多部門數據共享場景。③聯(lián)邦學習：在不交換原始數據的前提下聯(lián)合訓練模型，適用于跨機構（如銀行與電商）的用戶畫像建模。四、計算題（10分）某電商平臺日均產生用戶行為日志100TB（壓縮后，每記錄約500字節(jié)），要求存儲到HDFS中（塊大小128GB，副本數3）。假設集群節(jié)點存儲容量為16TB/節(jié)點（可用空間80%），計算：（1）每日產生的日志記錄數；（2）HDFS存儲所需的總塊數；（3）至少需要多少臺存儲節(jié)點？答案：（1）記錄數=100TB/500B=100×10^12B/500B=2×10^11條（200億條）。（2）HDFS塊數=100TB/128GB=100×1024GB/128GB=800塊（注意：HDFS按原始大小計算塊數，不考慮壓縮，若題目明確“壓縮后存儲”則需調整，但通常HDFS塊大小基于原始數據）。（3）總存儲量=100TB×3副本=300TB；每節(jié)點可用空間=16TB×80%=12.8TB；節(jié)點數=300TB/12.8TB≈23.44，向上取整為24臺。五、綜合應用題（15分）某智慧城市項目需實時分析交通傳感器數據（每秒10萬條，包含時間戳、傳感器ID、車流量、車速、車牌號），要求實現(xiàn)以下功能：（1）實時監(jiān)測主干道車流量，當連續(xù)5分鐘平均車流量超過5000輛/分鐘時觸發(fā)預警；（2）每日統(tǒng)計各路段的高峰時段（車流量前20%的時段）；（3）對異常車速（超過限速20%）的車輛進行記錄，需關聯(lián)車牌號與車主信息（存儲在MySQL數據庫）。請設計技術方案，包括：①數據采集與傳輸技術；②實時處理框架選擇及拓撲設計；③存儲方案（實時預警、歷史統(tǒng)計、異常記錄）；④關鍵技術點（如窗口定義、狀態(tài)管理、外部連接）。答案：①數據采集與傳輸：傳感器通過MQTT協(xié)議將數據發(fā)送至Kafka消息隊列（高吞吐量、持久化），分區(qū)數根據吞吐量設置（如10分區(qū)，每個分區(qū)處理1萬條/秒）。②實時處理框架：選擇ApacheFlink（支持事件時間窗口、狀態(tài)管理、SQL集成）。拓撲設計：Source：KafkaConsumer讀取原始數據流；處理1（預警）：按傳感器ID分組，定義滑動窗口（窗口大小5分鐘，滑動間隔1分鐘），計算平均車流量，輸出預警事件；處理2（高峰時段統(tǒng)計）：按路段分組，使用EventTime會話窗口（間隔30分鐘），聚合每日車流量，通過FlinkTableAPI寫入Hive或ClickHouse；處理3（異常車速）：過濾車速>限速×1.2的記錄，通過異步IO連接MySQL查詢車主信息（減少延遲），輸出異常記錄。③存儲方案：實時預警：結果寫入Redis（內存存儲，低延遲查詢）或Kafka（供監(jiān)控系統(tǒng)消費）；歷史統(tǒng)計：每日結果寫入Hive（支持批處理分析）或ClickHouse（OLAP加速）；異常記錄：結構化數據寫入MySQL（關聯(lián)車主信息），非結構化日志寫入Elasticsearch（支持快速檢索）。④關鍵技術點：