亚洲精品乱码久久久久蜜桃-97国产精品人妻无码久久久-加勒比中文字幕无码一区-中文字幕乱人伦高清视频-无码va在线观看

今天杭州網(wǎng)站設(shè)計--帷拓小編說說跟蹤鏈接

我了抓取網(wǎng)上盡量多的頁面，搜索引擎蜘蛛會跟蹤頁面上的鏈接，從一個頁面爬行到下一個頁面，就好像蜘蛛在蜘蛛網(wǎng)上爬行那樣，這也就是搜索引擎蜘蛛這個名稱的由來。整個互聯(lián)網(wǎng)是由相互連接的網(wǎng)站及頁面組成。從理論上說，蜘蛛從任何一個頁面出發(fā)，順著鏈接都可以爬行到網(wǎng)上的所有頁面。當(dāng)然，由于網(wǎng)站及頁面鏈接結(jié)構(gòu)異常復(fù)雜，蜘蛛需要采取一定的爬行策略才能遍歷網(wǎng)上的所有頁面。

最簡單的爬行便利策略分為兩種，一種是深度優(yōu)先，另一種是廣度優(yōu)先。所謂的深度優(yōu)先，指的蜘蛛沿著發(fā)現(xiàn)的鏈接一直往向前爬行，直到前面在也沒有其他鏈接，然后返回到第一個頁面，沿著另一個鏈接再一直往前爬行。

如圖一所示，蜘蛛跟蹤鏈接，從A頁面爬行到A1,A2,A3,A4,到A4頁面后。已經(jīng)冒雨其它頁面可以跟蹤就返回A頁面，順著頁面上的另一個鏈接，爬行到B1,B2,B3.B4.在深度優(yōu)先策略中，蜘蛛一直爬到無法再向前，才返回爬另一條線。

廣度優(yōu)先是指蜘蛛在一個頁面上發(fā)現(xiàn)多個鏈接時，不是順著一個鏈接一直向前，而是把頁面上所有第一層的鏈接都爬個遍，然后在沿著第二層頁面上發(fā)現(xiàn)的鏈接爬向第三層頁面。

杭州網(wǎng)站設(shè)計--帷拓小編發(fā)張圖給大家看看，如下圖所示，蜘蛛從A頁面順著鏈接爬行到A1,B1,C1頁面，直到A頁面上的所有鏈接都爬行完，然后再從A1 頁面發(fā)現(xiàn)的下一層鏈接，爬行A2 A3..........

從理論上說，無論是深度優(yōu)先還是廣度優(yōu)先，只要給蜘蛛足夠的世界，都能爬完整個互聯(lián)網(wǎng)。在實際的工作中，蜘蛛的帶寬資源，時間都不是無限的，也不可能爬完所有的頁面。實際上最大的搜索引擎也只爬行和收錄了互聯(lián)網(wǎng)的一小部分。深度優(yōu)先和廣度優(yōu)先通常是混合使用的，這樣即可以照顧到盡量多的網(wǎng)站（廣度優(yōu)先）也能照顧到一部分網(wǎng)站的內(nèi)頁（深度優(yōu)先），同時也會考慮頁面權(quán)重，網(wǎng)站規(guī)模。外鏈，更新等因素。網(wǎng)站建設(shè)好后要做的事情很多，要學(xué)的東西也很多，大家好好的看看我寫的文章。