編寫簡單爬蟲程序XPath和LxmlLxml是使用XPath語法幫助我們解析HTML、XML文件，快速定位，搜索、獲取特定內(nèi)容的Python庫。XPath是一門在XML文檔中查找信息的語言。XPath使用路徑表達式在XML文檔中進行導(dǎo)航。XPath包含一個標準函數(shù)庫。XPath是XSLT中的主要元素。XPath是一個W3C標準。用Lxml解析數(shù)據(jù)

用新浪股票為例：/sh601989.html，這個是打開中國重工的股票頁面，針對頁面的數(shù)據(jù)例如想抓取股票名稱、代碼、股票價格。待抓取股票信息

<divclass="qphoxheader_titlemb7"style="z-index:11;">

<h2class="header-title-h2fl"id="name">中國重工</h2><bclass="header-title-cfl"id="code">601989</b><divstyle="float:left;height:39px;"class="stock-msg"><spanid="rongi"class="rongiflml5"title="該股票為融資融券標的"><ahref="/rzrq/detail/601989.html"target="_blank"><b>兩融</b></a></span><divid="stock_change_name"class="exName"><spanclass="rongi"style="position:relative"><b>更名</b></span><divclass="comNameExInfo"style="display:none;"><iclass="arrowUp"></i><iclass="closeBtn"></i><h3class="exNameTitile">公司名稱變更信息</h3><divclass="exNameMsg"><divclass="shorthand"><spanclass="shorthandEx">簡稱變更:</span><pclass="shorthandInfo"></p></div></div></div></div>用Lxml解析數(shù)據(jù)用Lxml解析數(shù)據(jù)抓取股票名稱和股票代碼運行效果網(wǎng)絡(luò)爬蟲外部數(shù)據(jù)的獲取可以采用網(wǎng)絡(luò)爬取和數(shù)據(jù)平臺直接獲取等方式。例如，我們可以從上交所網(wǎng)站、深交所網(wǎng)站、東方財富網(wǎng)Choice數(shù)據(jù)平臺爬取不同行業(yè)和企業(yè)、不同年度的資產(chǎn)負債表、利潤表、現(xiàn)金流量表等年報和季報數(shù)據(jù)，也可使用網(wǎng)站自帶EXCEL插件功能將財務(wù)數(shù)據(jù)導(dǎo)出到Excel。另外還可使用萬得Wind數(shù)據(jù)庫、國泰安CSMAR數(shù)據(jù)庫下載相關(guān)財務(wù)數(shù)據(jù)。網(wǎng)絡(luò)爬蟲（又稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機器人），是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。使用某種技術(shù)（如正則表達式、XPath等）提取頁面中我們感興趣的信息；高效地識別響應(yīng)頁面中的鏈接信息，順著這些鏈接遞歸執(zhí)行此處介紹的前面步驟；使用多線程有效地管理網(wǎng)絡(luò)通信交互。外部數(shù)據(jù)網(wǎng)絡(luò)爬取流程網(wǎng)絡(luò)爬蟲網(wǎng)絡(luò)爬蟲的核心工作：網(wǎng)絡(luò)爬蟲

向URL發(fā)送請求，獲取服務(wù)器響應(yīng)內(nèi)容。這個核心工作其實是所有網(wǎng)絡(luò)爬蟲都需要做的通用工作。一般來說，通用工作應(yīng)該由爬蟲框架來實現(xiàn)，這樣可以提供更穩(wěn)定的性能，開發(fā)效率更高。取頁面中我們感興趣的信息。這個核心工作不是通用的！每個項目感興趣的信息都可能有所不同，但使用正則表達式提取信息是非常低效的，原因是正則表達式的設(shè)計初衷主要是處理文本信息，而HTML文檔不僅是文本文檔，而且是結(jié)構(gòu)化文檔，因此使用正則表達式來處理HTML文檔并不合適。使用XPath提取信息的效率要高得多。

多線程管理：這個核心工作是通用的，應(yīng)該由框架來完成。

識別響應(yīng)頁面中的鏈接信息。使用正則表達式可以實現(xiàn)這個核心工作，但是效率太低，使用XPath會更高效。xxx是我們需要安裝庫的名稱。比如安裝requests庫

使用pip安裝第三方庫，命令行中執(zhí)行:pipinstallxxx。Pip是Python官方推薦的包管理工具，提供了對Python包的查找、下載、安裝、卸載的功能，屬于python的一部分。Python3.0以上的版本都是自帶pip的，無需再次下載安裝。XPath與Request工具包安裝XPath與Request工具包安裝用文本編輯工具或者Pycharm工具新建一個P