北京網(wǎng)站建設3分鐘帶你快速了解robot文件
責任編輯:神州華宇 來(lái)源:北京網(wǎng)站建設 點(diǎn)擊:256 發(fā)表時(shí)間:2019-03-08
假設您以了解一下名詞含義:搜索引擎,spider(搜索引擎蜘蛛),死鏈接,權重,網(wǎng)站排名
何為Robots協(xié)議?
Robots協(xié)議是國際互聯(lián)網(wǎng)界通行的道德規范,基于以下原則建立:
1、搜索技術(shù)應服務(wù)于人類(lèi),同時(shí)尊重信息提供者的意愿,并維護其隱私權;
2、網(wǎng)站有義務(wù)保護其使用者的個(gè)人信息和隱私不被侵犯。
何為robot文件?
robots.txt是限制搜索引擎spider(或稱(chēng)為蜘蛛)收錄或爬取您網(wǎng)站內容的一種文件。搜索引擎蜘蛛在網(wǎng)站中第一個(gè)訪(fǎng)問(wèn)的文件就是robot文件,當然,也可以沒(méi)有robot文件,不過(guò)spider會(huì )訪(fǎng)問(wèn)您的網(wǎng)站的所有頁(yè)面。
robot文件有何作用?
屏蔽您網(wǎng)站的死鏈接,限制spider爬取您的網(wǎng)站內容,保護您網(wǎng)站的隱私內容。例如您的后臺目錄,或者存有您個(gè)人信息的頁(yè)面或目錄。
如果您網(wǎng)站的重復頁(yè)面或死鏈接過(guò)多,搜索引擎蜘蛛會(huì )認為您的網(wǎng)站不行,價(jià)值較低,就會(huì )降低您網(wǎng)站的權重,網(wǎng)站排名就會(huì )下降,如果創(chuàng )建了robot文件并寫(xiě)入了相應的規則,那么搜索引擎蜘蛛就不會(huì )爬取您限制的頁(yè)面,您網(wǎng)站的權重與排名也就不會(huì )降低了。
如何構建robot文件
robot文件也沒(méi)什么特殊的地方,就是一文本文件(txt)。新建一個(gè)文本文件,然后重命名為robots并在此文件中編寫(xiě)相應的規則,最后上傳到網(wǎng)站跟目錄就行了,注意一定要放置到跟目錄且文件名一定要小寫(xiě),不然就失效了。
如何編寫(xiě)robot文件規則?
或許您沒(méi)有太多的時(shí)間來(lái)了解并學(xué)會(huì )robot文件規則,那么您可以生成robot文件規則,當然,您需要一定的英語(yǔ)基礎,并了解特定的名詞。假設您有時(shí)間來(lái)學(xué)習的話(huà),就往下看下面的規則。
現假設一個(gè)robot文件里面規則有:
User-agent: *
Disallow: /admin/
Disallow: /user/
規則解讀為:所有的搜索引擎蜘蛛都不允許訪(fǎng)問(wèn)根目錄的admin目錄與user目錄。
現在你可能就明白了,user-agent:后面輸入的是欲限制搜索引擎蜘蛛的名稱(chēng),*為全部限制,baiduspider為限制百度搜索引擎蜘蛛不可以訪(fǎng)問(wèn)。
disallow:后面追加的是欲限制蜘蛛訪(fǎng)問(wèn)的目錄名稱(chēng)。
注意,不管你有多少個(gè)disallow,只要有一個(gè)后面為空或者只有一個(gè)/符號的,就是所以目錄都可以訪(fǎng)問(wèn)。符號一定是英文符號。
何為Robots協(xié)議?
Robots協(xié)議是國際互聯(lián)網(wǎng)界通行的道德規范,基于以下原則建立:
1、搜索技術(shù)應服務(wù)于人類(lèi),同時(shí)尊重信息提供者的意愿,并維護其隱私權;
2、網(wǎng)站有義務(wù)保護其使用者的個(gè)人信息和隱私不被侵犯。
何為robot文件?
robots.txt是限制搜索引擎spider(或稱(chēng)為蜘蛛)收錄或爬取您網(wǎng)站內容的一種文件。搜索引擎蜘蛛在網(wǎng)站中第一個(gè)訪(fǎng)問(wèn)的文件就是robot文件,當然,也可以沒(méi)有robot文件,不過(guò)spider會(huì )訪(fǎng)問(wèn)您的網(wǎng)站的所有頁(yè)面。
robot文件有何作用?
屏蔽您網(wǎng)站的死鏈接,限制spider爬取您的網(wǎng)站內容,保護您網(wǎng)站的隱私內容。例如您的后臺目錄,或者存有您個(gè)人信息的頁(yè)面或目錄。
如果您網(wǎng)站的重復頁(yè)面或死鏈接過(guò)多,搜索引擎蜘蛛會(huì )認為您的網(wǎng)站不行,價(jià)值較低,就會(huì )降低您網(wǎng)站的權重,網(wǎng)站排名就會(huì )下降,如果創(chuàng )建了robot文件并寫(xiě)入了相應的規則,那么搜索引擎蜘蛛就不會(huì )爬取您限制的頁(yè)面,您網(wǎng)站的權重與排名也就不會(huì )降低了。
如何構建robot文件
robot文件也沒(méi)什么特殊的地方,就是一文本文件(txt)。新建一個(gè)文本文件,然后重命名為robots并在此文件中編寫(xiě)相應的規則,最后上傳到網(wǎng)站跟目錄就行了,注意一定要放置到跟目錄且文件名一定要小寫(xiě),不然就失效了。
如何編寫(xiě)robot文件規則?
或許您沒(méi)有太多的時(shí)間來(lái)了解并學(xué)會(huì )robot文件規則,那么您可以生成robot文件規則,當然,您需要一定的英語(yǔ)基礎,并了解特定的名詞。假設您有時(shí)間來(lái)學(xué)習的話(huà),就往下看下面的規則。
現假設一個(gè)robot文件里面規則有:
User-agent: *
Disallow: /admin/
Disallow: /user/
規則解讀為:所有的搜索引擎蜘蛛都不允許訪(fǎng)問(wèn)根目錄的admin目錄與user目錄。
現在你可能就明白了,user-agent:后面輸入的是欲限制搜索引擎蜘蛛的名稱(chēng),*為全部限制,baiduspider為限制百度搜索引擎蜘蛛不可以訪(fǎng)問(wèn)。
disallow:后面追加的是欲限制蜘蛛訪(fǎng)問(wèn)的目錄名稱(chēng)。
注意,不管你有多少個(gè)disallow,只要有一個(gè)后面為空或者只有一個(gè)/符號的,就是所以目錄都可以訪(fǎng)問(wèn)。符號一定是英文符號。
robot文件只是一種規則,并不是強制約束搜索引擎蜘蛛,需要搜索引擎蜘蛛配合才有用,有些spider會(huì )不顧您的robot文件,擅自訪(fǎng)問(wèn)您的限制頁(yè)面。不過(guò),就目前而且,大部分spider是遵守的robots.txt規則的。
上一篇:網(wǎng)站制作與網(wǎng)頁(yè)設計中促進(jìn)用戶(hù)參與網(wǎng)站的重要提示下一篇:網(wǎng)站開(kāi)發(fā)建設應當了解的10個(gè)SEO基礎知識
最新文章
- 1高效網(wǎng)站建設服務(wù)團隊塑造數字時(shí)代的卓越在線(xiàn)體驗
- 2網(wǎng)站建設優(yōu)質(zhì)服務(wù)構建數字時(shí)代的企業(yè)基石
- 3一站式網(wǎng)站建設解決方案重塑數字時(shí)代的企業(yè)在線(xiàn)形象
- 4高端網(wǎng)站建設服務(wù)專(zhuān)家塑造品牌引領(lǐng)數字時(shí)代新風(fēng)尚
- 5網(wǎng)站制作與在線(xiàn)支付攜手共創(chuàng )便捷交易的數字新時(shí)代
- 6網(wǎng)站制作與云服務(wù)打造更穩定可靠的在線(xiàn)平臺
- 7網(wǎng)站制作與用戶(hù)反饋攜手共創(chuàng )卓越用戶(hù)體驗的良性循環(huán)
- 8網(wǎng)站制作的在線(xiàn)旅行指南打造一站式旅游信息服務(wù)平臺
- 9網(wǎng)站制作的在線(xiàn)音樂(lè )探索數字音樂(lè )時(shí)代的新篇章
人氣排行
- 1北京網(wǎng)站設計中的收費資費標準和大家分享
- 2制作移動(dòng)端網(wǎng)站步驟國內外網(wǎng)站設計風(fēng)格
- 3北京網(wǎng)站建設的特點(diǎn)和優(yōu)勢具體表現你知道哪些呢
- 4企業(yè)開(kāi)發(fā)建設網(wǎng)站作用空間怎么選擇
- 5建設網(wǎng)站做SEO優(yōu)化多久可以見(jiàn)效
- 6同同(北京)科技有限公司與神州華宇聯(lián)手打造WAP品牌官網(wǎng)
- 7網(wǎng)站建設重視哪些問(wèn)題建設營(yíng)銷(xiāo)型網(wǎng)站
- 8神州華宇助力湯姆之家,攜手北京“湯迷”全線(xiàn)開(kāi)進(jìn)!
- 9成功助力北京泛亞迅科技發(fā)展有限責任公司W(wǎng)AP端開(kāi)發(fā)!