普通反爬蟲機制的應對策略


轉載自: 普通反爬虫机制的应对策略 - Melwood

爬蟲與反爬蟲,這相愛相殺的一對,簡直可以寫出一部壯觀的鬥爭史。而在大數據時代,數據就是金錢,很多企業都為自己的網站運用了反爬蟲機制,防止網頁上的數據被爬蟲爬走。然而,如果反爬機制過於嚴格,可能會誤傷到真正的用戶請求;如果既要和爬蟲死磕,又要保證很低的誤傷率,那麼又會加大研發的成本。

簡單低級的爬蟲速度快,偽裝度低,如果沒有反爬機制,它們可以很快的抓取大量數據,甚至因為請求過多,造成服務器不能正常工作。而偽裝度高的爬蟲爬取速度慢,對服務器造成的負擔也相對較小。所以,網站反爬的重點也是那種簡單粗暴的爬蟲,反爬機制也會允許偽裝度高的爬蟲,獲得數據。畢竟偽裝度很高的爬蟲與真實用戶也就沒有太大差別了。

這篇文章主要討論使用Scrapy框架時,如何應對普通的反爬機制。

限制IP的請求數量

如果某一IP的請求速度過快,就觸發反爬機制。當然可以通過放慢爬取速度繞過,這要以爬取時間大大增長為代價。另一種方法就是添加代理。

很簡單,在下載器中間件中添加:

request.meta['proxy'] = 'http://' + 'proxy_host' +  ':' + proxy_port

然後再每次請求時使用不同的代理IP。然而問題是如何獲取大量的代理IP?

可以自己寫一個IP代理獲取和維護系統,定時從各種披露免費代理IP的網站爬取免費IP代理,然後定時掃瞄這些IP和端口是否可用,將不可用的代理IP及時清理。這樣就有一個動態的代理庫,每次請求再從庫中隨機選擇一個代理。然而這個方案的缺點也很明顯,開發代理獲取和維護系統本身就很費時費力,並且這種免費代理的數量並不多,而且穩定性都比較差。如果必須要用到代理,也可以去買一些穩定的代理服務。這些服務大多會用到帶認證的代理。

在requests庫中添加帶認證的代理很簡單,

proxies = {
    "http": "http://user:pass@10.10.1.10:3128/",
}

然而Scrapy不支持這種認證方式,需要將認證信息base64編碼後,加入Headers的Proxy-Authorization字段:

import base64

# Set the location of the proxy
proxy_string = choice(self._get_proxies_from_file('proxies.txt')) # user:pass@ip:port
proxy_items = proxy_string.split('@')
request.meta['proxy'] = "http://%s" % proxy_items[1]

# setup basic authentication for the proxy
user_pass=base64.encodestring(proxy_items[0])
request.headers['Proxy-Authorization'] = 'Basic ' + user_pass

動態加載

現在越來越多的網站使用ajax動態加載內容,這時候可以先截取ajax請求分析一下,有可能根據ajax請求構造出相應的API請求的URL就可以直接獲取想要的內容,通常是json格式,反而還不用去解析HTML。

然而,很多時候ajax請求都會經過後端鑑權,不能直接構造URL獲取。這時就可以通過PhantomJS+Selenium模擬瀏覽器行為,抓取經過js渲染後的頁面。具體可以參考: Scrapy+PhantomJS+Selenium動態爬蟲

需要注意的是,使用Selenium後,請求不再由Scrapy的Downloader執行,所以之前添加的請求頭等信息都會失效,需要在Selenium中重新添加

headers = {...}
for key, value in headers.iteritems():
    webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.{}'.format(key)] = value

另外,調用PhantomJs需要指定PhantomJs的可執行文件路徑,通常是將該路徑添加到系統的path路徑,讓程序執行時自動去path中尋找。我們的爬蟲經常會放到crontab中定時執行,而crontab中的環境變量和系統的環境變量不同,所以就加載不到PhamtonJs需要的路徑,所以最好是在申明時指定路徑:

driver = webdriver.PhantomJS(executable_path='/usr/local/bin/phantomjs')