如何制(zhì)作(zuò)網站(zhàn)地圖并規範robots協議內(nèi)容

2020-04-05 11:34:07 編輯:永諾網絡 來(lái)源:本站(zhàn)原創
   網站(zhàn)地圖的制(zhì)作(zuò)在seo優化中也是占據很(hěn)重要一部分的,網站(zhàn)地圖制(zhì)作(zuò)好了可(kě)以更加有(yǒu)利于蜘蛛對我們網站(zhàn)信息的檢索與抓取,他會(huì)對網頁信息進行(xíng)方向引導,給搜索引擎蜘蛛的爬行(xíng)提供一個(gè)路徑,快速準确的抓取網站(zhàn)內(nèi)容。
如何制(zhì)作(zuò)網站(zhàn)地圖并規範robots協議內(nèi)容
   我們可(kě)以利用小(xiǎo)爬蟲工具、愛(ài)站(zhàn)工具等來(lái)生(shēng)成網站(zhàn)地圖。我們首先打開(kāi)愛(ài)站(zhàn)工具包,選擇網站(zhàn)地圖,然後左側選擇添加網站(zhàn),将網址輸入後選擇xml選項,将裏面的頂部的所有(yǒu)文件選項勾選之後點擊抓爬,完成後生(shēng)成xml文件,最後将生(shēng)成之後的sitemap後綴為(wèi)html、xml、txt的文件上(shàng)傳到網站(zhàn)後台的根目錄中即可(kě)。這樣,隻要有(yǒu)用戶進入就會(huì)抓取了。
   robots協議又是什麽?該如何書(shū)寫它呢?robot協議就是給搜索引擎蜘蛛的一個(gè)規定,我們利用這個(gè)文件來(lái)限制(zhì)搜索引擎的抓取範圍,尊重信息提供者意願并維護其隐私權,保護我們的隐私不被搜索引擎抓取的一份內(nèi)容。這個(gè)有(yǒu)我們自己進行(xíng)編輯規定。
   robots協議的編輯會(huì)用到三個(gè)标簽:1、User-agent: 蜘蛛名稱(這裏個(gè)User-agent 指定搜索引擎蜘蛛名稱)2、Disallow: 內(nèi)容名稱(代表要禁止抓取的內(nèi)容)3、Allow:內(nèi)容名稱(代表允許抓取的內(nèi)容)。這些(xiē)标簽後書(shū)寫的就是協議的內(nèi)容,還(hái)會(huì)用到3個(gè)通(tōng)配符來(lái)編輯:"*"表示涵蓋所有(yǒu)搜索引擎;"$"表示以某字符串結尾;"/"表示當前目錄下的所有(yǒu)內(nèi)容。當編輯完協議內(nèi)容後可(kě)在最後添加“Sitemap:網站(zhàn)域名/sitemap.xml”,用地圖讓蜘蛛更快速的抵達我們的網站(zhàn)。
   SEO的日常工作(zuò)比較細緻,查看我們網站(zhàn)的日志(zhì)也是需要關注的。從網站(zhàn)後台空(kōng)間(jiān)找到文件管理(lǐ),然後打開(kāi)logs文件,将最新的日志(zhì)文件載到桌面,然後使用光年日志(zhì)分析系統等工具對其進行(xíng)分析,可(kě)以看到蜘蛛爬行(xíng)過的記錄以及一些(xiē)問題,需要及時(shí)查看并解決掉。
本站(zhàn)文章均為(wèi)永諾網站(zhàn)建設摘自權威資料,書(shū)籍,或網絡原創文章,如有(yǒu)版權糾紛或者違規問題,請(qǐng)即刻聯系我們删除,我們歡迎您分享,引用和(hé)轉載,我們謝絕直接複制(zhì)和(hé)抄襲!感謝...
我們猜你(nǐ)喜歡