国产精品久久久久婷婷五月色婷婷,国产精品无码成人久久久,9 9久热RE在线精品视频,国产日韩欧美在线精品二区

400-6787-797

當前位置: 首頁(yè) > 資訊 > 網(wǎng)站制作

北京網(wǎng)站建設3分鐘帶你快速了解robot文件

責任編輯:神州華宇 來(lái)源:北京網(wǎng)站建設 點(diǎn)擊:256 發(fā)表時(shí)間:2019-03-08

假設您以了解一下名詞含義:搜索引擎,spider(搜索引擎蜘蛛),死鏈接,權重,網(wǎng)站排名

何為Robots協(xié)議?

Robots協(xié)議是國際互聯(lián)網(wǎng)界通行的道德規范,基于以下原則建立:

1、搜索技術(shù)應服務(wù)于人類(lèi),同時(shí)尊重信息提供者的意愿,并維護其隱私權;

2、網(wǎng)站有義務(wù)保護其使用者的個(gè)人信息和隱私不被侵犯。

何為robot文件?

robots.txt是限制搜索引擎spider(或稱(chēng)為蜘蛛)收錄或爬取您網(wǎng)站內容的一種文件。搜索引擎蜘蛛在網(wǎng)站中第一個(gè)訪(fǎng)問(wèn)的文件就是robot文件,當然,也可以沒(méi)有robot文件,不過(guò)spider會(huì )訪(fǎng)問(wèn)您的網(wǎng)站的所有頁(yè)面。

robot文件有何作用?

屏蔽您網(wǎng)站的死鏈接,限制spider爬取您的網(wǎng)站內容,保護您網(wǎng)站的隱私內容。例如您的后臺目錄,或者存有您個(gè)人信息的頁(yè)面或目錄。

如果您網(wǎng)站的重復頁(yè)面或死鏈接過(guò)多,搜索引擎蜘蛛會(huì )認為您的網(wǎng)站不行,價(jià)值較低,就會(huì )降低您網(wǎng)站的權重,網(wǎng)站排名就會(huì )下降,如果創(chuàng )建了robot文件并寫(xiě)入了相應的規則,那么搜索引擎蜘蛛就不會(huì )爬取您限制的頁(yè)面,您網(wǎng)站的權重與排名也就不會(huì )降低了。

如何構建robot文件

robot文件也沒(méi)什么特殊的地方,就是一文本文件(txt)。新建一個(gè)文本文件,然后重命名為robots并在此文件中編寫(xiě)相應的規則,最后上傳到網(wǎng)站跟目錄就行了,注意一定要放置到跟目錄且文件名一定要小寫(xiě),不然就失效了。

如何編寫(xiě)robot文件規則?

或許您沒(méi)有太多的時(shí)間來(lái)了解并學(xué)會(huì )robot文件規則,那么您可以生成robot文件規則,當然,您需要一定的英語(yǔ)基礎,并了解特定的名詞。假設您有時(shí)間來(lái)學(xué)習的話(huà),就往下看下面的規則。

現假設一個(gè)robot文件里面規則有:

User-agent: *

Disallow: /admin/

Disallow: /user/

規則解讀為:所有的搜索引擎蜘蛛都不允許訪(fǎng)問(wèn)根目錄的admin目錄與user目錄。

現在你可能就明白了,user-agent:后面輸入的是欲限制搜索引擎蜘蛛的名稱(chēng),*為全部限制,baiduspider為限制百度搜索引擎蜘蛛不可以訪(fǎng)問(wèn)。

disallow:后面追加的是欲限制蜘蛛訪(fǎng)問(wèn)的目錄名稱(chēng)。

注意,不管你有多少個(gè)disallow,只要有一個(gè)后面為空或者只有一個(gè)/符號的,就是所以目錄都可以訪(fǎng)問(wèn)。符號一定是英文符號。

robot文件只是一種規則,并不是強制約束搜索引擎蜘蛛,需要搜索引擎蜘蛛配合才有用,有些spider會(huì )不顧您的robot文件,擅自訪(fǎng)問(wèn)您的限制頁(yè)面。不過(guò),就目前而且,大部分spider是遵守的robots.txt規則的。





最新文章

人氣排行

在線(xiàn)咨詢(xún) 點(diǎn)擊在線(xiàn)咨詢(xún) 在線(xiàn)咨詢(xún) QQ : 253145422 電話(huà)溝通 熱線(xiàn) : 400-6787-797 電話(huà)微信 電話(huà)同微信:132-6931-9513

客戶(hù)與案例

客戶(hù)案例

?2004-2019 北京神州華宇科技有限公司 版權所有
北京網(wǎng)站建設地址:北京市北清路1號院珠江摩爾國際大廈8號樓2單元1412室
京ICP備12020161號-1
神州華宇:北京網(wǎng)站建設/北京網(wǎng)站制作/北京網(wǎng)站設計等服務(wù)

400-6787-797 132-6931-9513