2025年Python爬蟲專項訓練試卷網絡數(shù)據(jù)抓取技巧考試時間：______分鐘總分：______分姓名：______一、選擇題1.在使用`requests`庫發(fā)送HTTP請求時，以下哪個參數(shù)主要用于在請求中添加瀏覽器標識，以模擬正常用戶訪問？A.`data`B.`headers`C.`cookies`D.`timeout`2.當一個網頁內容由JavaScript動態(tài)加載時，以下哪種Python庫通常用于模擬瀏覽器環(huán)境，執(zhí)行JavaScript代碼，從而獲取渲染后的內容？A.`urllib`B.`BeautifulSoup`C.`lxml`D.`Selenium`3.在HTML文檔中，用于精確描述元素結構和內容的語言是？A.CSSB.JavaScriptC.HTMLD.JSON4.如果一個網站返回的HTTP狀態(tài)碼是403Forbidden，這通常意味著？A.服務器無法找到請求的資源B.請求方法不被允許C.請求被服務器拒絕，通常是權限問題D.請求超時5.當需要從一個網站API獲取JSON格式的數(shù)據(jù)時，該數(shù)據(jù)在HTTP響應體中通常是哪種編碼格式？A.HTMLB.JSONC.XMLD.Base646.在編寫爬蟲代碼時，為了防止因頻繁請求而被服務器封禁，常用的方法是？A.使用代理IP池B.設置合適的請求間隔C.使用隨機User-AgentD.以上都是7.以下哪個文件通常用于指定網站允許或禁止爬蟲訪問哪些路徑？A.`.gitignore`B.`robots.txt`C.`sitemap.xml`D.`README.md`8.`BeautifulSoup`庫主要用于解析哪種格式的網頁數(shù)據(jù)？A.XMLB.JSONC.YAMLD.以上都不是9.在使用`requests`庫發(fā)送POST請求時，通常將數(shù)據(jù)放置在哪個參數(shù)中？A.`url`B.`headers`C.`params`D.`data`10.將抓取到的數(shù)據(jù)存儲為CSV格式，最直接和常用的方法是？A.使用`BeautifulSoup`的導出功能B.使用Python的`csv`模塊C.使用`json`庫D.使用數(shù)據(jù)庫操作庫二、填空題1.Python的`requests`庫默認使用_______協(xié)議進行網絡通信。2.要在`requests`請求中添加自定義的請求頭，需要設置`headers`參數(shù)為一個_______。3.如果要從網頁的`<divid="content">`標簽中提取其內部文本，使用`BeautifulSoup`庫，代碼片段大致可以是`content_tag.text`，其中`content_tag`是使用`.find()`或`.select_one()`找到的標簽對象。4.處理動態(tài)加載的JavaScript內容時，`Selenium`需要依賴一個真實的_______環(huán)境。5.當網站使用驗證碼進行反爬蟲時，如果無法手動輸入或使用服務，可能需要借助_______技術或第三方驗證碼識別服務。6.在`time.sleep()`函數(shù)中，參數(shù)的單位通常是_______。7.對于結構化的數(shù)據(jù)，如網頁表格，使用`pandas`庫的`read_html()`函數(shù)可以直接從HTML頁面中解析出_______。8.如果一個爬蟲項目需要長時間運行并抓取大量數(shù)據(jù)，使用_______框架可能會比簡單的腳本更合適。9.在處理網絡請求異常時，使用`try...except`語句捕獲`requests.exceptions.RequestException`可以處理大部分常見的網絡問題。10.尊重網站的`robots.txt`規(guī)則，意味著爬蟲應該避免抓取那些被_______標識為禁止抓取的URL。三、簡答題1.簡述使用`requests`庫發(fā)送一個GET請求的基本步驟，并說明如何獲取響應頭信息。2.解釋什么是反爬蟲機制中的“User-Agent”偽裝，為什么需要它，以及簡單的實現(xiàn)方法。3.當你嘗試抓取一個受版權保護的網站數(shù)據(jù)時，你認為一個負責任的爬蟲開發(fā)者應該考慮哪些倫理和法律問題？四、編程題1.(15分)編寫Python代碼，使用`requests`庫抓取指定URL（例如：`/todos/1`）的內容。要求：*使用`get`方法發(fā)送請求。*檢查HTTP響應狀態(tài)碼，如果不是200，則打印錯誤信息并退出。*將獲取到的JSON響應數(shù)據(jù)解析為Python字典。*提取字典中的`title`和`completed`字段，并打印輸出。2.(15分)假設你需要抓取一個簡單網站（例如：`/list.html`，你需要提前準備或訪問一個真實的、結構簡單的列表頁）的標題列表。該網頁的標題被包含在`<h2>`標簽中。請編寫使用`BeautifulSoup`庫的代碼片段實現(xiàn)：*發(fā)送GET請求獲取網頁內容。*使用`BeautifulSoup`解析內容。*找到所有`<h2>`標簽。*遍歷所有`<h2>`標簽，提取并打印其內部的文本內容。3.(15分)編寫Python代碼，模擬向一個簡單的登錄表單提交數(shù)據(jù)。假設登錄URL是`/login`，需要提交的表單數(shù)據(jù)包括`username`和`password`字段，提交方式為POST。要求：*使用`requests`庫發(fā)送POST請求。*在`headers`中設置`Content-Type`為`application/x-www-form-urlencoded`。*將`username`的值設為`testuser`，`password`的值設為`testpass`。*檢查響應狀態(tài)碼，如果是200，則打印“登錄成功”，否則打印“登錄失敗”。*（注意：此題不要求驗證登錄后的效果，僅模擬提交過程）---試卷答案一、選擇題1.B2.D3.C4.C5.B6.D7.B8.A9.D10.B二、填空題1.HTTP2.字典3.BeautifulSoup4.瀏覽器5.OCR6.秒7.DataFrame對象8.Scrapy9.requests.exceptions.RequestException10.Disallow三、簡答題1.解析思路：發(fā)送GET請求需要導入requests庫，創(chuàng)建一個Session對象或直接使用requests。使用session.get或requests.get方法，傳入URL，可以設置params參數(shù)傳遞查詢參數(shù)，設置headers參數(shù)傳遞請求頭。發(fā)送請求后，獲取Response對象。通過response.status_code屬性獲取狀態(tài)碼。通過response.headers屬性獲取響應頭信息，它是一個字典。2.解析思路：User-Agent是瀏覽器或其他客戶端向服務器標識自己的標識符，包含了瀏覽器類型、版本、操作系統(tǒng)等信息。網站通過檢測User-Agent來識別訪問者是人還是自動化程序（爬蟲）。爬蟲使用隨機或常見的User-Agent可以模擬正常用戶，避免被服務器基于User-Agent進行封禁。實現(xiàn)方法通常是在發(fā)送請求時，在headers字典中設置`'User-Agent':'你的瀏覽器標識字符串'`。3.解析思路：抓取受版權保護的數(shù)據(jù)，首先應考慮是否獲得網站所有者的明確許可。即使沒有明確許可，也應遵守`robots.txt`協(xié)議，不抓取禁止訪問的內容。其次，應控制抓取頻率，避免對網站服務器造成過大負擔。再次，抓取的數(shù)據(jù)用途應合法合規(guī)，不得侵犯版權進行商業(yè)利用或傳播。最后，應尊重用戶隱私，不抓取包含個人敏感信息的頁面或數(shù)據(jù)。四、編程題1.代碼示例（可能存在多種實現(xiàn)方式）：```pythonimportrequestsurl='/todos/1'headers={}#可以根據(jù)需要設置headerstry:response=requests.get(url,headers=headers)response.raise_for_status()#如果狀態(tài)碼不是200，將拋出HTTPError異常data=response.json()#將JSON響應解析為Python字典title=data.get('title','Notitle')completed=data.get('completed','Nostatus')print(f"Title:{title}")print(f"Completed:{completed}")exceptrequests.exceptions.RequestExceptionase:print(f"Errorfetchingdata:{e}")```解析思路：使用requests.get發(fā)送GET請求，帶入了URL和可選的headers。通過try...except結構捕獲可能的異常，使用response.raise_for_status()在狀態(tài)碼非200時主動拋出異常。調用response.json()方法將JSON字符串解析為Python字典。通過字典的get方法安全地獲取title和completed鍵對應的值，并打印。2.代碼示例（可能存在多種實現(xiàn)方式）：```pythonimportrequestsfrombs4importBeautifulSoupurl='/list.html'#請?zhí)鎿Q為實際的URLtry:response=requests.get(url)response.raise_for_status()soup=BeautifulSoup(response.text,'html.parser')#使用html.parser解析器h2_tags=soup.find_all('h2')#查找所有<h2>標簽fortaginh2_tags:print(tag.get_text(strip=True))#提取并打印標簽內部文本，strip=True去除首尾空白exceptrequests.exceptions.RequestExceptionase:print(f"Errorfetchingdata:{e}")```解析思路：使用requests.get獲取網頁內容。使用BeautifulSoup初始化時傳入網頁文本和解析器（如'html.parser'）。使用soup.find_all('h2')查找所有<h2>標簽，返回一個標簽列表。遍歷列表，對每個標簽調用get_text(strip=True)方法獲取其內部文本內容，并打印。strip=True參數(shù)用于去除提取文本前后的空白字符。3.代碼示例（可能存在多種實現(xiàn)方式）：```pythonimportrequestsurl='/login'data={'username':'testuser','password':'testpass'}headers={'Content-Type':'application/x-www-form-urlencoded'}try:response=requests.post(url,data=data,headers=headers)response.raise_for_status()print("登錄成功")exceptrequests.exceptions.RequestExceptionase: