404頁面出現在用戶或蜘蛛訪問網站不存在url時，一般內容轉移或url結構改變時會造成404狀態頁面。尤其在網站改版時，內容及網站結構的調整很可能造成大量舊的url無法訪問，這些無法訪問的頁面對用戶及搜索引擎都是有負面影響的。

　　百度官方在公告中明確指出：

　　404頁面是網絡服務器返回的http狀態碼表示網頁未找到，用戶及蜘蛛無法訪問，是一種協議死鏈。這種死鏈頁面需主動推送，使搜索引擎能夠更快地發現并做相應處理，減少404死鏈內容對用戶及搜索引擎造成的負面影響。

　　另外，在百度官方抓取異常說明中也談到這個問題：

　　一、什么是死鏈?

　　頁面已經無效，無法對用戶提供任何有價值信息的頁面就是死鏈接，包括協議死鏈和內容死鏈兩種形式。

　　協議死鏈：頁面的TCP協議狀態/HTTP協議狀態明確表示的死鏈，常見的如404、403、503狀態等。

　　內容死鏈：服務器返回狀態是正常的，但內容已經變更為不存在、已刪除或需要權限等與原內容無關的信息頁面。

　　對于死鏈，建議通過百度站長平臺--死鏈工具提交死鏈的方式進行處理，以便搜索引擎更快地發現死鏈，減少死鏈對用戶以及搜索引擎造成的負面影響。

　　二、抓取異常對網站的影響有哪些?

　　對于大量內容無法正常抓取的網站，搜索引擎會認為網站存在用戶體驗上的缺陷，并降低對網站的評價，在抓取、索引、權重上都會受到一定程度的負面影響，*終影響到網站從百度獲取的流量。

　　三、及時處理死鏈可以給站長帶來什么?

　　當網站死鏈數據累積過多時，并且被展示到搜索結果頁中，對網站本身的訪問體驗和用戶轉化都起到了負面影響。另一方面，百度檢查死鏈的流程也會為網站帶來額外負擔，影響網站其他正常頁面的抓取和索引。

　　優化用戶體驗：減少死鏈對網站品牌的損傷和用戶的差評度

　　改善網站排名：減少死鏈對線上搜索排名的負面影響

　　增加網站收錄：提交死鏈列表后，增加網站內容的收錄幾率

　　提升網站流量：排名和收錄改善后，間接提升網站流量

　　由上述內容可明確看出，404頁面確定會對搜索引擎造成負面影響，甚至可能會造成網站的降權!

　　因而，若網站改版后造成舊url無法訪問出現大量404頁面時，需要將這些鏈接通過百度站長工具提交，若量過大無法提交，則需在robots.txt中禁止搜索引擎爬取，這樣就可以有效的避免蜘蛛在爬取網站時出現大量404狀態碼而造成蜘蛛資源的浪費及權重的流失、差的蜘蛛“印象”等一系列降權可能。

　　根據404頁面url結構在robots.txt中進行disallow。如笨鳥博客*近的一次改版將tag頁面原有的/post/tag/結構改為/tag/更改了tag頁的目錄層級及所屬以利于網站整體目錄清晰便于統計等，由此產生的大量404頁面笨鳥在robots.txt中以Disallow:/post/tag/形式禁止抓取。

　　。