Disallow: /admin/ 這裏定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這裏定義是禁止爬尋require目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有(yǒu)以".htm"為(wèi)後綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網站(zhàn)中所有(yǒu)的動态頁面
Disallow: .jpg$ 禁止抓取網頁所有(yǒu)的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有(yǒu)文件
User-agent: * 這裏的*代表的所有(yǒu)的搜索引擎種類，*是一個(gè)通(tōng)配符
Allow: /cgi-bin/ 這裏定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這裏定義是允許爬尋tmp的整個(gè)目錄
Allow: .htm$ 僅允許訪問以".htm"為(wèi)後綴的URL。
Allow: .gif$ 允許抓取網頁和(hé)gif格式圖片robots.txt文件用法舉例
猜你(nǐ)喜歡
聯絡方式：
電(diàn)話(huà)：150 3833 0582
郵箱：278477169@qq.com
-
志(zhì)願者系統定制(zhì)APP軟件開(kāi)發
志(zhì)願者是一些(xiē)經常幫别人(rén)的不求回報的人(rén)群，志(zhì)願者的初衷是幫助更多(duō)的社會(huì)人(rén)士，包括養老院的老人(rén)或者是留守兒童等。這樣的社區(qū)服務能夠充分的展示出人(rén)們的愛(ài)心，互幫互助的精...
-
教育app軟件開(kāi)發類型
移動互聯網的發展推進，讓教育行(xíng)業也跟上(shàng)了時(shí)代的發展，教育機構利用互聯網的優勢進行(xíng)擴大(dà)規模，宣傳品牌，實現相互提攜的作(zuò)用。教育平台app軟件為(wèi)用戶提供在線教育方式，教育本...
-
各類短(duǎn)視(shì)頻app軟件功能開(kāi)發
很(hěn)多(duō)資訊都是通(tōng)過文字形式傳播的，現在受歡迎還(hái)是通(tōng)過短(duǎn)視(shì)頻，因為(wèi)短(duǎn)視(shì)頻不需要太多(duō)時(shí)間(jiān)就能得(de)到展現。目前比較火(huǒ)的就是抖音(yīn)和(hé)快手，即使有(yǒu)兩大(dà)巨頭市場(chǎng)，隻要短(duǎn)視(shì)頻有(yǒu)自己的特...
-
即時(shí)通(tōng)訊app語音(yīn)聊天軟件開(kāi)發
數(shù)字經濟時(shí)代的今天，所有(yǒu)的企業都想擁有(yǒu)自己的社交通(tōng)訊聊天軟件，因為(wèi)社交平台是互聯網的必須品。誰有(yǒu)了客戶量誰就能掌握先機，為(wèi)什麽現在很(hěn)多(duō)公司都在開(kāi)發即時(shí)通(tōng)訊的聊天工...
-
監控物聯網軟件開(kāi)發
物聯網關鍵技(jì)術(shù) 物聯網的産業鏈：有(yǒu)标識，感知系統，信息傳遞和(hé)數(shù)據處理(lǐ)的模式方式。 關鍵技(jì)術(shù)：核心的技(jì)術(shù)是使用RFID射頻識别技(jì)術(shù)、二維碼識别掃碼，傳感器(qì)技(jì)術(shù)，短(duǎn)信通(tōng)信...
