網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的概述與研究摘要網(wǎng)絡(luò)爬蟲(chóng)，又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，隨著網(wǎng)絡(luò)的迅速發(fā)展，萬(wàn)維網(wǎng)成為大量信息的載體，如何有效地提取并利用這些信息成為一個(gè)巨大的挑戰(zhàn)。搜索引擎(SearchEngine)，例如傳統(tǒng)的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個(gè)輔助人們檢索信息的工具成為用戶訪問(wèn)web的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性。為了解決上述問(wèn)題，定向抓取相關(guān)網(wǎng)頁(yè)資源的聚焦爬蟲(chóng)應(yīng)運(yùn)而生。聚焦爬蟲(chóng)是一個(gè)自動(dòng)下載網(wǎng)頁(yè)的程序，它根據(jù)既定的抓取目標(biāo)，有選擇的訪問(wèn)萬(wàn)維網(wǎng)上的網(wǎng)頁(yè)與相關(guān)的鏈接，獲取所需要的信息。本文將對(duì)網(wǎng)絡(luò)爬蟲(chóng)技術(shù)及其原理進(jìn)行簡(jiǎn)單的介紹，并且給出實(shí)例。關(guān)鍵詞網(wǎng)絡(luò)爬蟲(chóng)聚焦爬蟲(chóng)網(wǎng)頁(yè)抓取搜索策略URL一、網(wǎng)絡(luò)爬蟲(chóng)的簡(jiǎn)介1、URL在介紹網(wǎng)絡(luò)爬蟲(chóng)之前，先引入U(xiǎn)RL的相關(guān)知識(shí)。URL是URI的一個(gè)子集。它是UniformResourceLocator的縮寫(xiě)，譯為“統(tǒng)一資源定位符”。通俗地說(shuō)，URL是Internet上描述信息資源的字符串，主要用在各種WWW客戶程序和服務(wù)器程序上，特別是著名的Mosaic。采用URL可以用一種統(tǒng)一的格式來(lái)描述各種信息資源，包括文件、服務(wù)器的地址和目錄等。URL的格式由三部分組成：·第一部分是協(xié)議(或稱為服務(wù)方式)。·第二部分是存有該資源的主機(jī)IP地址(有時(shí)也包括端口號(hào))。·第三部分是主機(jī)資源的具體地址，如目錄和文件名等。第一部分和第二部分用“://”符號(hào)隔開(kāi)，第二部分和第三部分用“/”符號(hào)隔開(kāi)。第一部分和第二部分是不可缺少的，第三部分有時(shí)可以省略。用URL表示文件時(shí)，服務(wù)器方式用file表示，后面要有主機(jī)IP地址、文件的存取路徑(即目錄)和文件名等信息。有時(shí)可以省略目錄和文件名，但“/”符號(hào)不能省略。例如file:///pub/files/foobar.txt爬蟲(chóng)最主要的處理對(duì)象就是URL，它根據(jù)URL地址取得所需要的文件內(nèi)容，然后對(duì)它進(jìn)行進(jìn)一步的處理。2、傳統(tǒng)爬蟲(chóng)與聚焦爬蟲(chóng)網(wǎng)絡(luò)爬蟲(chóng)是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從web上下載網(wǎng)頁(yè)，是搜索引擎的重要組成。傳統(tǒng)爬蟲(chóng)從一個(gè)或若干初始網(wǎng)頁(yè)的URL開(kāi)始，獲得初始網(wǎng)頁(yè)上的URL，在抓取網(wǎng)頁(yè)的過(guò)程中，不斷從當(dāng)前頁(yè)面上抽取新的URL放入隊(duì)列，直到滿足系統(tǒng)的一定停止條件。搜索引擎是基于傳統(tǒng)爬蟲(chóng)技術(shù)建立的，但其存在著一定的局限性，例如：(1)不同領(lǐng)域、不同背景的用戶往往具有不同的檢索目的和需求，通用搜索引擎所返回的結(jié)果包含大量用戶不關(guān)心的網(wǎng)頁(yè)。(2)通用搜索引擎的目標(biāo)是盡可能大的網(wǎng)絡(luò)覆蓋率，有限的搜索引擎服務(wù)器資源與無(wú)限的網(wǎng)絡(luò)數(shù)據(jù)資源之間的矛盾將進(jìn)一步加深。(3)萬(wàn)維網(wǎng)數(shù)據(jù)形式的豐富和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，圖片、數(shù)據(jù)庫(kù)、音頻、視頻多媒體等不同數(shù)據(jù)大量出現(xiàn)，通用搜索引擎往往對(duì)這些信息含量密集且具有一定結(jié)構(gòu)的數(shù)據(jù)無(wú)能為力，不能很好地發(fā)現(xiàn)和獲取。(4)通用搜索引擎大多提供基于關(guān)鍵字的檢索，難以支持根據(jù)語(yǔ)義信息提出的查詢。為了解決以上問(wèn)題，定向抓取網(wǎng)頁(yè)的聚焦爬蟲(chóng)應(yīng)運(yùn)而生。聚焦爬蟲(chóng)的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁(yè)分析算法過(guò)濾與主題無(wú)關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取URL的隊(duì)列。然后，它將根據(jù)一定的搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁(yè)URL，并重復(fù)上述過(guò)程，直到達(dá)到系統(tǒng)的某一條件時(shí)停止。二、網(wǎng)絡(luò)爬蟲(chóng)的工作原理在網(wǎng)絡(luò)爬蟲(chóng)的系統(tǒng)框架中，主過(guò)程由控制器，解析器，資源庫(kù)三部分組成?？刂破鞯闹饕ぷ魇秦?fù)責(zé)給多線程中的各個(gè)爬蟲(chóng)線程分配工作任務(wù)。解析器的主要代價(jià)，而且克服了單獨(dú)站點(diǎn)對(duì)整個(gè)網(wǎng)絡(luò)覆蓋率有限的缺點(diǎn)。附帶的一個(gè)優(yōu)點(diǎn)是，常見(jiàn)PageRank造假難以對(duì)SiteRank進(jìn)行欺騙。c、網(wǎng)頁(yè)塊粒度的分析算法在一個(gè)頁(yè)面中，往往含有多個(gè)指向其他頁(yè)面的鏈接，這些鏈接中只有一部分是指向主題相關(guān)網(wǎng)頁(yè)的，或根據(jù)網(wǎng)頁(yè)的鏈接錨文本表明其具有較高重要性。但是，在PageRank和HITS算法中，沒(méi)有對(duì)這些鏈接作區(qū)分，因此常常給網(wǎng)頁(yè)分析帶來(lái)廣告等噪聲鏈接的干擾。在網(wǎng)頁(yè)塊級(jí)別(Blocklevel)進(jìn)行鏈接分析的算法的基本思想是通過(guò)VIPS網(wǎng)頁(yè)分割算法將網(wǎng)頁(yè)分為不同的網(wǎng)頁(yè)塊(pageblock)，然后對(duì)這些網(wǎng)頁(yè)塊建立pagetoblock和blocktopage的鏈接矩陣，分別記為Z和X。于是，在pagetopage圖上的網(wǎng)頁(yè)塊級(jí)別的PageRank為Wp=X×Z；在blocktoblock圖上的BlockRank為Wb=Z×X。已經(jīng)有人實(shí)現(xiàn)了塊級(jí)別的PageRank和HITS算法，并通過(guò)實(shí)驗(yàn)證明，效率和準(zhǔn)確率都比傳統(tǒng)的對(duì)應(yīng)算法要好。2）基于網(wǎng)頁(yè)內(nèi)容的網(wǎng)頁(yè)分析算法基于網(wǎng)頁(yè)內(nèi)容的分析算法指的是利用網(wǎng)頁(yè)內(nèi)容（文本、數(shù)據(jù)等資源）特征進(jìn)行的網(wǎng)頁(yè)評(píng)價(jià)。網(wǎng)頁(yè)的內(nèi)容從原來(lái)的以超文本為主，發(fā)展到后來(lái)動(dòng)態(tài)頁(yè)面（或稱為HiddenWeb）數(shù)據(jù)為主，后者的數(shù)據(jù)量約為直接可見(jiàn)頁(yè)面數(shù)據(jù)（PIW，PubliclyIndexableWeb）的400~500倍。另一方面，多媒體數(shù)據(jù)、WebService等各種網(wǎng)絡(luò)資源形式也日益豐富。因此，基于網(wǎng)頁(yè)內(nèi)容的分析算法也從原來(lái)的較為單純的文本檢索方法，發(fā)展為涵蓋網(wǎng)頁(yè)數(shù)據(jù)抽取、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、語(yǔ)義理解等多種方法的綜合應(yīng)用。本節(jié)根據(jù)網(wǎng)頁(yè)數(shù)據(jù)形式的不同，將基于網(wǎng)頁(yè)內(nèi)容的分析算法，歸納以下三類：第一種針對(duì)以文本和超鏈接為主的無(wú)結(jié)構(gòu)或結(jié)構(gòu)很簡(jiǎn)單的網(wǎng)頁(yè)；第二種針對(duì)從結(jié)構(gòu)化的數(shù)據(jù)源（如RDBMS）動(dòng)態(tài)生成的頁(yè)面，其數(shù)據(jù)不能直接批量訪問(wèn)；第三種針對(duì)的數(shù)據(jù)界于第一和第二類數(shù)據(jù)之間，具有較好的結(jié)構(gòu)，顯示遵循一定模式或風(fēng)格，且可以直接訪問(wèn)。三、小結(jié)1、網(wǎng)絡(luò)爬蟲(chóng)安全性問(wèn)題網(wǎng)絡(luò)爬蟲(chóng)會(huì)占用網(wǎng)絡(luò)帶寬并增加Web服務(wù)器的處理開(kāi)銷，惡意用戶甚至?xí)门老x(chóng)程序?qū)Ψ?wù)器發(fā)動(dòng)Dos攻擊。惡意用戶還可能通過(guò)網(wǎng)絡(luò)爬蟲(chóng)抓取各種敏感資料，主要表現(xiàn)在以下幾個(gè)方面：

1）搜索目錄列表：互聯(lián)網(wǎng)中的許多Web服務(wù)器在客戶端請(qǐng)求站點(diǎn)中某個(gè)沒(méi)有默認(rèn)頁(yè)面的目錄時(shí)，會(huì)返回一個(gè)目錄列表。該目錄列表通常包括一個(gè)描述當(dāng)前目錄的標(biāo)題，可供用戶點(diǎn)擊的目錄和文件鏈接，及一個(gè)腳注。因而通過(guò)抓取目錄列表，惡意用戶往往可獲取大量有用的資料，包括站點(diǎn)的目錄結(jié)構(gòu)、敏感文件以及Web服務(wù)器配置信息等等。

2）搜索測(cè)試頁(yè)面、聯(lián)機(jī)手冊(cè)與樣本程序：大多數(shù)Web服務(wù)器軟件附帶了測(cè)試頁(yè)面、聯(lián)機(jī)手冊(cè)與樣本程序。這些文件往往會(huì)泄漏大量的系統(tǒng)信息，成為惡意用戶剖析Web服務(wù)器的工具,而且這些文件的存在也往往暗示網(wǎng)站的安全管理有問(wèn)題，網(wǎng)站中存在潛在的安全漏洞。

3）搜索管理員登錄頁(yè)面：許多網(wǎng)絡(luò)產(chǎn)品提供了基于Web的管理接口，允許管理員在互聯(lián)網(wǎng)中對(duì)其進(jìn)行遠(yuǎn)程管理與控制。如果管理員疏于防范，沒(méi)有修改網(wǎng)絡(luò)產(chǎn)品默認(rèn)的管理員名及密碼，一旦其管理員登錄頁(yè)面被惡意用戶搜索到，網(wǎng)絡(luò)安全將面臨極大威脅。

4)搜索互聯(lián)網(wǎng)用戶的姓名、電話、通信地址等個(gè)人信息，以便于實(shí)施社交攻擊。

5)搜集群發(fā)垃圾郵件所需的郵件地址。

6)查找一個(gè)站點(diǎn)中的各種敏感文件，包括各種程序使用的配置文件、日志文件、密碼文件、數(shù)據(jù)庫(kù)文件等等。

7)搜索Web站點(diǎn)中存在缺陷的程序。

8)獲取互聯(lián)網(wǎng)用戶的信用卡密碼,銀行帳號(hào)等機(jī)密信息等等。

因此，采取適當(dāng)?shù)拇胧┫拗凭W(wǎng)絡(luò)爬蟲(chóng)的訪問(wèn)權(quán)限，對(duì)于保持網(wǎng)站的正常運(yùn)行、保護(hù)用戶的隱私是極其重要的。2、網(wǎng)絡(luò)爬蟲(chóng)的最新發(fā)展

傳統(tǒng)的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)主要應(yīng)用于抓取靜態(tài)Web網(wǎng)頁(yè)，隨著AJAX/Web2.0的流行，如何抓取AJAX等動(dòng)態(tài)頁(yè)面成了搜索引擎急需解決的問(wèn)題，因?yàn)锳JAX顛覆了傳統(tǒng)的純HTTP請(qǐng)求/響應(yīng)協(xié)議機(jī)制，如果搜索引擎依舊采用“爬”的機(jī)制，是無(wú)法抓取到AJAX頁(yè)面的有效數(shù)據(jù)的。

AJAX采用了JavaScript驅(qū)動(dòng)的異步請(qǐng)求/響應(yīng)機(jī)制，以往的爬蟲(chóng)們?nèi)狈avaScript語(yǔ)義上的理解，基本上無(wú)法模擬觸發(fā)JavaScript的異步調(diào)用并解析返回的異步回調(diào)邏輯和內(nèi)容。

另外，在AJAX的應(yīng)用中，JavaScript會(huì)對(duì)DOM結(jié)構(gòu)進(jìn)行大量變動(dòng)，甚至頁(yè)面所有內(nèi)容都通過(guò)JavaScript直接從服務(wù)器端讀取并動(dòng)態(tài)繪制出來(lái)。這對(duì)習(xí)慣了DOM結(jié)構(gòu)相對(duì)不變的靜態(tài)頁(yè)面簡(jiǎn)直是無(wú)法理解的。由此可以看出，以往的爬蟲(chóng)是基于協(xié)議驅(qū)動(dòng)的，而對(duì)于AJAX這樣的技術(shù)，所需要的爬蟲(chóng)引擎必須是基于事件驅(qū)動(dòng)的。3、一些開(kāi)源爬蟲(chóng)DataparkSearch是一個(gè)在GNUGPL許可下發(fā)布的爬蟲(chóng)搜索引擎。GNUWget是一個(gè)在GPL許可下，使用C語(yǔ)言編寫(xiě)的命令行式的爬蟲(chóng)。它主要用于網(wǎng)絡(luò)服務(wù)器和FTP服務(wù)器的鏡像。Heritrix是一個(gè)互聯(lián)網(wǎng)檔案館級(jí)的爬蟲(chóng)，設(shè)計(jì)的目標(biāo)為對(duì)大型網(wǎng)絡(luò)的大部分內(nèi)容的定期存檔快照，是使用java編寫(xiě)的。HTTrack