網(wǎng)站在沒有做靜態(tài)化的時候直接上線，之后又重新做靜態(tài)化處理,在搜索引擎收錄中時常有一個現(xiàn)象，一個頁面有兩個收錄地址,一個是動態(tài)鏈接,一個是靜態(tài)鏈接,顯然這樣的搜索引擎收錄對網(wǎng)站權(quán)重影響很大,所以我們在網(wǎng)站優(yōu)化的時候要使用robots來屏蔽掉動態(tài)鏈接。

    首先,我們來看看為什么會出現(xiàn)重復(fù)收錄的情況,可能的原因有以下幾點

    1.搜索引擎是程序語言來識別判斷，做不到像人一樣的充分的識別，只是鏈接地址不一樣就收錄了，動態(tài)地址和靜態(tài)地址自然就分不清楚了。

    2.建站過程中因為時間原因或是測試需要在還沒有做靜態(tài)化的情況下就上線了網(wǎng)站,搜索引擎直接收錄所致

    3.模板問題,例如wordpress程序雖然看上去網(wǎng)站整站已經(jīng)做了靜態(tài)化,但是在網(wǎng)站地圖中都是動態(tài)鏈接

    其次,我們說說重復(fù)收錄的后果有哪些

    搜索引擎更喜歡靜態(tài)頁面,所以有時會自動剔除動態(tài)鏈接,這樣收錄之后再刪除的工作重復(fù)，會使蜘蛛工作量加大，反感你的網(wǎng)站，降低收錄

    最后，如何避免內(nèi)容被重復(fù)收錄

    1.網(wǎng)站中盡量用統(tǒng)一的靜態(tài)地址，檢查網(wǎng)站中手動增加或是導(dǎo)航鏈接等地方是否還有動態(tài)鏈接，有的話一律改為動態(tài)的。

    2.robots.txt進(jìn)行動態(tài)文件的屏蔽，如：“Disallow: /*?*”提示：如此屏蔽法適合在不存在“TAG標(biāo)簽”下利用，否則標(biāo)簽也將被屏蔽。不同程序進(jìn)行不同屏蔽。

    robots.txt文件的規(guī)范性。在文件開頭進(jìn)行空格。例如，robots.txt文件的開頭：

    “User-agent: *

    Disallow: /plus/ad_js.php”

    很多的時候，user-agent分號后面沒有空格，而是直接“*”號了。這就是一個很微小的錯誤，但是也是致命的錯誤。

    要注意的是，我們知道php動態(tài)頁面都是從數(shù)據(jù)調(diào)用的數(shù)據(jù)，而這個網(wǎng)頁不是真實存在的，所以搜索引擎久而久之就會丟棄這樣的頁面，它會認(rèn)為這是不可靠的頁面。所以我們要屏蔽這樣的動態(tài)頁面，從而降低我們網(wǎng)頁的重復(fù)頁面。那么我們只要在robots.txt文件里面，加上這樣的代碼就行了："Disallow:/*?*”。這個代碼的意思是根目錄下個所有動態(tài)禁止搜索引擎訪問。

    網(wǎng)站建設(shè)與優(yōu)化嚴(yán)把細(xì)節(jié)優(yōu)化，內(nèi)容重復(fù)收錄是大患，應(yīng)認(rèn)真對待，否最終難以逾越排名障礙。