總鏈接庫和抓取策略說完了后，我們就要對(duì)搜索引擎最重要的一部分來進(jìn)行一個(gè)仔細(xì)的講解了，換個(gè)說法，互聯(lián)網(wǎng)上的信息都是魚，抓魚需要有漁網(wǎng)和魚簍，而接下來要講的爬蟲和下載系統(tǒng)就對(duì)應(yīng)著漁網(wǎng)和魚簍了，明白了SE的爬蟲和存儲(chǔ)機(jī)制，在我們來說，開展SEO工作就會(huì)少走很多的彎路。

爬蟲

爬蟲是根據(jù)指定URL下載網(wǎng)頁內(nèi)容的程序或腳本，一般搜索引擎均采用分布式爬蟲架構(gòu)。分布式爬蟲由數(shù)據(jù)中心、分布式抓取服務(wù)器、分布式爬蟲程序組成，數(shù)據(jù)中心由多臺(tái)抓取服務(wù)器組成，每臺(tái)抓取服務(wù)器可承載多個(gè)爬蟲程序。

常見分布式架構(gòu)有主從式分布爬蟲和對(duì)等式分布爬蟲。

主從式分布爬蟲相當(dāng)于只有一個(gè)URL分配服務(wù)器，將全互聯(lián)網(wǎng)的URL分配給若干個(gè)抓取服務(wù)器進(jìn)行下載。這種架構(gòu)明顯對(duì)URL分配服務(wù)器性能要求很高，面對(duì)互聯(lián)網(wǎng)大數(shù)據(jù)，很容易出現(xiàn)系統(tǒng)瓶頸。

對(duì)等式分布爬蟲沒有URL分配服務(wù)器，每臺(tái)抓取服務(wù)器負(fù)責(zé)特定域名集合下URL的抓取。對(duì)互聯(lián)網(wǎng)域名分集可通過哈希取?；蛞恢滦怨＃?/span>

哈希取模指對(duì)于n臺(tái)抓取服務(wù)器，首先對(duì)域名進(jìn)行哈希計(jì)算，得到的值對(duì)n取模，得到余數(shù)即為該域名應(yīng)分配的服務(wù)器編號(hào)。

例如，假設(shè)有5臺(tái)抓取服務(wù)器，對(duì)應(yīng)編號(hào)為0、1、2、3、4，對(duì)域名進(jìn)行哈希計(jì)算后得到的值為16，16對(duì)5取模得到余數(shù)1，即該域名下URL應(yīng)交由1號(hào)服務(wù)器抓取。

然而，這種模式存在缺陷，在某臺(tái)抓取服務(wù)器宕機(jī)或由于URL增加導(dǎo)致服務(wù)器平均負(fù)載增加而需要增加抓取服務(wù)器時(shí)，取模的n就需要改變。這就意味著整個(gè)系統(tǒng)要進(jìn)行重新分配，將導(dǎo)致資源的浪費(fèi)。

一致性哈希指對(duì)域名進(jìn)行哈希計(jì)算，映射為一個(gè)在0~232之間的某個(gè)數(shù)，將哈希范圍首尾相接，即認(rèn)為數(shù)值0和232重合，可以將其假想成一個(gè)有序的環(huán)狀序列，每臺(tái)服務(wù)器負(fù)責(zé)某個(gè)數(shù)值段。

假設(shè)本站域名經(jīng)哈希后落入2號(hào)服務(wù)器執(zhí)行抓取，而2號(hào)服務(wù)器出現(xiàn)宕機(jī)，則繼續(xù)按順時(shí)針查找，將URL交由第一個(gè)碰到的服務(wù)器，即3號(hào)服務(wù)器，直至2號(hào)服務(wù)器恢復(fù)正常。

由于分布式爬蟲結(jié)構(gòu)，故同一網(wǎng)站會(huì)出現(xiàn)很多不同IP的蜘蛛爬取記錄，這是協(xié)同抓取系統(tǒng)中很正常的事。部分SEOer認(rèn)為不同IP段意味著不同權(quán)重的蜘蛛，其中某字段IP蜘蛛為降權(quán)蜘蛛。

抓取系統(tǒng)可能會(huì)對(duì)URL進(jìn)行權(quán)重賦值，以便于確定抓取順序。然而，這個(gè)權(quán)重值也僅僅用于抓取系統(tǒng)，網(wǎng)頁檢索排序有更復(fù)雜的權(quán)重規(guī)則。故，降權(quán)蜘蛛一說不成立。