蜘蛛在抓取網(wǎng)站時，會遇到各情況，并不是每種情況都會順利完全抓取的，我總結(jié)了15網(wǎng)站抓取異常的原因，希望有所幫助。

a.站點(diǎn)不穩(wěn)定；b.搜索引擎搜索引擎一直無法連接上您網(wǎng)站的服務(wù)器。造成服務(wù)器連接異常的原因通常是您的網(wǎng)站服務(wù)器過大，超負(fù)荷運(yùn)轉(zhuǎn)。

2.DNS問題

搜索引擎無法解析您網(wǎng)站的IP時，會出現(xiàn)DNS異常。如有此問題請聯(lián)系你的服務(wù)商進(jìn)行解決。

3.網(wǎng)絡(luò)運(yùn)營商問題

網(wǎng)絡(luò)運(yùn)營商的出現(xiàn)異常，被攻擊等現(xiàn)象，造成運(yùn)營商站點(diǎn)及服務(wù)無法啟動。

4.IP封禁

請檢查相關(guān)設(shè)置中是否誤添加了搜索引擎蜘蛛ip。也有可能是您網(wǎng)站所在的空間服務(wù)商把IP進(jìn)行了封禁，這是您需要聯(lián)系服務(wù)商更改設(shè)置。

5.UA封禁

UA即為用戶代理（User-Agent），服務(wù)器通過UA識別訪問者的身份。查看useragent的相關(guān)設(shè)置中是否有搜索引擎蜘蛛UA，予以修改。

6.死鏈

7.鏈接過深

8.導(dǎo)出鏈接過多

將蜘蛛帶出你的網(wǎng)站，影響頗大。

9.網(wǎng)站結(jié)構(gòu)混亂

10.異常跳轉(zhuǎn)

打開某頁面后指向另一頁面，兩種情況。

a.無效頁面跳轉(zhuǎn)至前一目錄或首頁。
b.正常頁面跳轉(zhuǎn)至無效或錯誤頁面。

11.訪問量突量，壓力過大

12.JS跳轉(zhuǎn)異常

網(wǎng)頁加載了搜索引擎無法識別的JS跳轉(zhuǎn)代碼，使得用戶通過搜索結(jié)果進(jìn)入頁面后發(fā)生了跳轉(zhuǎn)的情況。

13.404頁面過多

14.網(wǎng)站速度過慢

15.外鏈猛增，數(shù)據(jù)異常