這個(gè)肯定是首要的了,權重高(gāo)、資格老、有(yǒu)權威的網站(zhàn)蜘蛛是肯定特殊對待的,這樣的網站(zhàn)抓取的頻率非常高(gāo),而且大(dà)家(jiā)知道(dào)搜索引擎蜘蛛為(wèi)了保證高(gāo)效,對于網站(zhàn)不是所有(yǒu)頁面都會(huì)抓取的,而網站(zhàn)權重越高(gāo)被爬行(xíng)的深度也會(huì)比較高(gāo),相應能被抓取的頁面也會(huì)變多(duō),這樣能被收錄的頁面也會(huì)變多(duō)。
2.網站(zhàn)服務器(qì)。
網站(zhàn)服務器(qì)是網站(zhàn)的基石,網站(zhàn)服務器(qì)如果長時(shí)間(jiān)打不開(kāi),那(nà)麽這相當與你(nǐ)閉門(mén)謝客,蜘蛛想來(lái)也來(lái)不了。百度蜘蛛也是網站(zhàn)的一個(gè)訪客,如果你(nǐ)服務器(qì)不穩定或是比較卡,蜘蛛每次來(lái)抓取都比較艱難,并且有(yǒu)的時(shí)候一個(gè)頁面隻能抓取到一部分,這樣久而久之,百度蜘蛛的體(tǐ)驗越來(lái)越差,對你(nǐ)網站(zhàn)的評分也會(huì)越來(lái)越低(dī),自然會(huì)影(yǐng)響對你(nǐ)網站(zhàn)的抓取,所以選擇空(kōng)間(jiān)服務器(qì)一定要舍得(de),沒有(yǒu)一個(gè)好的地基,再好的房(fáng)子也會(huì)跨。
蜘蛛每次爬行(xíng)都會(huì)把頁面數(shù)據存儲起來(lái)。如果第二次爬行(xíng)發現頁面與第一次收錄的完全一樣,說明(míng)頁面沒有(yǒu)更新,蜘蛛也就沒有(yǒu)必要經常抓取了。頁面內(nèi)容經常更新,蜘蛛就會(huì)更加頻繁的訪問頁面,但(dàn)是蜘蛛不是你(nǐ)一個(gè)人(rén)的,不可(kě)能就在這蹲着等你(nǐ)更新,所以我們要主動向蜘蛛示好,有(yǒu)規律的進行(xíng)文章更新,這樣蜘蛛就會(huì)根據你(nǐ)的規律有(yǒu)效的過來(lái)抓取,不僅讓你(nǐ)的更新文章能更快的抓取到,而且也不會(huì)造成蜘蛛經常性的白跑一趟。
4.文章的原創性。
優質的原創內(nèi)容對于百度蜘蛛的誘惑力是非常巨大(dà)的,蜘蛛存在的目的就是尋找新東西,所以網站(zhàn)更新的文章不要采集、也不要每天都是轉載,我們需要給蜘蛛真正有(yǒu)價值的原創內(nèi)容,蜘蛛能得(de)到喜歡的,自然會(huì)對你(nǐ)的網站(zhàn)産生(shēng)好感,經常性的過來(lái)覓食。
5.扁平化網站(zhàn)結構。
蜘蛛抓取也是有(yǒu)自己的線路的,在之前你(nǐ)就給他鋪好路,網站(zhàn)結構不要過于複雜,鏈接層次不要太深,如果鏈接層次太深,後面的頁面很(hěn)難被蜘蛛抓取到。
6.網站(zhàn)程序。
在網站(zhàn)程序之中,有(yǒu)很(hěn)多(duō)程序可(kě)以制(zhì)造出大(dà)量的重複頁面,這個(gè)頁面一般都是通(tōng)過參數(shù)來(lái)實現的,當一個(gè)頁面對應了很(hěn)多(duō)URL的時(shí)候,就會(huì)造成網站(zhàn)內(nèi)容重複,可(kě)能造成網站(zhàn)被降權,這樣就會(huì)嚴重影(yǐng)響到蜘蛛的抓取,所以程序上(shàng)一定要保證一個(gè)頁面隻有(yǒu)一個(gè)URL,如果已經産生(shēng),盡量通(tōng)過301重定向、Canonical标簽或者robots進行(xíng)處理(lǐ),保證隻有(yǒu)一個(gè)标準URL被蜘蛛抓取。
7.外鏈建設。
大(dà)家(jiā)都知道(dào),外鏈可(kě)以為(wèi)網站(zhàn)引來(lái)蜘蛛,特别是在新站(zhàn)的時(shí)候,網站(zhàn)不是很(hěn)成熟,蜘蛛來(lái)訪較少(shǎo),外鏈可(kě)以增加網站(zhàn)頁面在蜘蛛面前的曝光度,防止蜘蛛找不到頁面。在外鏈建設過程中需要注意外鏈的質量,别為(wèi)了省事做(zuò)一些(xiē)沒用的東西,百度現在對于外鏈的管理(lǐ)相信大(dà)家(jiā)都知道(dào),我就不多(duō)說了,不要好心辦壞事了。
8.內(nèi)鏈建設。
蜘蛛的爬行(xíng)是跟着鏈接走的,所以內(nèi)鏈的合理(lǐ)優化可(kě)以要蜘蛛抓取到更多(duō)的頁面,促進網站(zhàn)的收錄。內(nèi)鏈建設過程中要給用戶合理(lǐ)推薦,除了在文章中增加錨文本之外,可(kě)以設置相關推薦,熱門(mén)文章,更多(duō)喜歡之類的欄目,這是很(hěn)多(duō)網站(zhàn)都在利用的,可(kě)以讓蜘蛛抓取更大(dà)範圍的頁面。
9.首頁推薦。
首頁是蜘蛛來(lái)訪次數(shù)最多(duō)的頁面,也是網站(zhàn)權重最高(gāo)的頁面,可(kě)以在首頁設置更新版塊,這樣不僅能讓首頁更新起來(lái),促進蜘蛛的來(lái)訪頻率,而且可(kě)以促進更新頁的抓取收錄。同理(lǐ)在欄目頁也可(kě)以進行(xíng)此操作(zuò)。
10.檢查死鏈,設置404頁面
搜索引擎蜘蛛是通(tōng)過鏈接來(lái)爬行(xíng)搜索,如果太多(duō)鏈接無法到達,不但(dàn)收錄頁面數(shù)量會(huì)減少(shǎo),而且你(nǐ)的網站(zhàn)在搜索引擎中的權重會(huì)大(dà)大(dà)降低(dī)。蜘蛛在遇見死鏈就像進了死胡同,又得(de)折返重新來(lái)過,大(dà)大(dà)降低(dī)蜘蛛在網站(zhàn)的抓取效率,所以一定要定期排查網站(zhàn)的死鏈,向搜索引擎提交,同時(shí)要做(zuò)好網站(zhàn)的404頁面,告訴搜索引擎錯誤頁面。
11.檢查robots文件
很(hěn)多(duō)網站(zhàn)有(yǒu)意無意的直接在robots文件屏蔽了百度或網站(zhàn)部分頁面,卻整天在找原因為(wèi)什麽蜘蛛不來(lái)抓取我的頁面,這能怪百度嗎?你(nǐ)都不讓别人(rén)進門(mén)了,百度是怎麽收錄你(nǐ)的網頁?所以有(yǒu)必要時(shí)常去檢查一下網站(zhàn)robots文件是否正常。
12.建設網站(zhàn)地圖。
搜索引擎蜘蛛非常喜歡網站(zhàn)地圖,網站(zhàn)地圖是一個(gè)網站(zhàn)所有(yǒu)鏈接的容器(qì)。很(hěn)多(duō)網站(zhàn)的鏈接層次比較深,蜘蛛很(hěn)難抓取到,網站(zhàn)地圖可(kě)以方便搜索引擎蜘蛛抓取網站(zhàn)頁面,通(tōng)過抓取網站(zhàn)頁面,清晰了解網站(zhàn)的架構,所以建設一個(gè)網站(zhàn)地圖不僅提高(gāo)抓取率還(hái)能獲得(de)蜘蛛好感。
13.主動提交
每次更新完頁面,主動把內(nèi)容向搜索引擎提交一下也是一個(gè)不錯的辦法,隻不過不要沒收錄就一直去提交,提交一次就夠了,收不收錄是搜索引擎的事,提交不代表就要收錄。
14.監測蜘蛛的爬行(xíng)。
利用網站(zhàn)日志(zhì)監測蜘蛛正在抓取哪些(xiē)頁面、抓取過哪些(xiē)頁面,還(hái)可(kě)以利用站(zhàn)長工具對蜘蛛的爬行(xíng)速度進行(xíng)查看,合理(lǐ)分配資源,以達到更高(gāo)的抓取速度和(hé)勾引更多(duō)的蜘蛛。
猜你(nǐ)喜歡
聯絡方式:
電(diàn)話(huà):150 3833 0582
郵箱:278477169@qq.com
-
網站(zhàn)診斷沒問題-客服提示說網站(zhàn)抓取異常的原因
一:出現50X類型錯誤這樣的鏈接其中一個(gè)共同的特點是?并非向搜索引擎展示的存在了504、500、502的問題,當打開(kāi)後,全部都是正常的。那(nà)麽蜘蛛為(wèi)什麽會(huì)報錯提醒呢?出現此類型的問題...
-
DedeCMS用channelartlist調用頂級欄目及列表
這個(gè)标簽全局都可(kě)使用,可(kě)以減少(shǎo)多(duō)次使用 {dede:arclist typeid=‘欄目ID’titlelen='60' row='10'}。除了宏标記外,{dede:channelartlist}是唯一一個(gè)可(kě)以直接嵌套其它...
-
按摩椅app功能開(kāi)發解決方案
共享按摩椅App的出現也是社會(huì)的發展的産物,在共享的理(lǐ)念促使下,共享按摩椅也是生(shēng)活場(chǎng)景為(wèi)用戶提供共享按摩服務。共享按摩椅和(hé)共享單車(chē),共享充電(diàn)寶,共享陪護床一樣,用戶的需...
-
小(xiǎo)龍蝦大(dà)閘蟹售賣微信小(xiǎo)程序開(kāi)發
海鮮已經被國人(rén)徹底的深深地青睐,各種的海鮮在國人(rén)手裏就成為(wèi)了一道(dào)道(dào)的美食,國人(rén)對海鮮的需求量還(hái)是非常大(dà)的,但(dàn)是一定要新鮮。 那(nà)麽這麽讓自家(jiā)的海鮮在網上(shàng)銷售呢,讓...
-
鄭州比較大(dà)的軟件公司哪一家(jiā)比較好?
選擇軟件公司其實會(huì)比較推薦,大(dà)家(jiā)盡量去選擇那(nà)些(xiē)規模大(dà)的會(huì)比較好一點,大(dà)家(jiā)應該都知道(dào),如果能夠讓自己直接去選擇這些(xiē)規模大(dà)的公司,一般也就不需要擔心有(yǒu)可(kě)能會(huì)有(yǒu)什麽樣的問...