?快速了解robot文件
2019-12-23 20:54:13
來源:
揚州新竹網絡科技有限公司
何為Robots協議?Robots協議是國際互聯網界通行的道德規范,基于以下原則建立:
1、搜索技術應服務于人類,同時尊重信息提供者的意愿,并維護其隱私權;
2、網站有義務保護其使用者的個人信息和隱私不被侵犯。
何為robot文件?robots.txt是限制搜索引擎spider(或稱為蜘蛛)收錄或爬取您網站內容的一種文件。搜索引擎蜘蛛在網站中首先訪問的文件就是robot文件,當然,也可以沒有robot文件,不過spider會訪問您的網站的所有頁面。
robot文件有何作用?屏蔽您網站的死鏈接,限制spider爬取您的網站內容,保護您網站的隱私內容。例如您的后臺目錄,或者存有您個人信息的頁面或目錄。
如果您網站的重復頁面或死鏈接過多,搜索引擎蜘蛛會認為您的網站不行,價值較低,就會降低您網站的權重,網站排名就會下降,如果創建了robot文件并寫入了相應的規則,那么搜索引擎蜘蛛就不會爬取您限制的頁面,您網站的權重與排名也就不會降低了。
如何構建robot文件?robot文件也沒什么特殊的地方,就是一文本文件(txt)。新建一個文本文件,然后重命名為robots并在此文件中編寫相應的規則,醉后上傳到網站跟目錄就行了,注意一定要放置到跟目錄且文件名一定要小寫,不然就失效了。
如何編寫robot文件規則?
或許您沒有太多的時間來了解并學會robot文件規則,那么您可以生成robot文件規則,當然,您需要一定的英語基礎,并了解特定的名詞。假設您有時間來學習的話,就往下看下面的規則。
現假設一個robot文件里面規則有:
User-agent: *
Disallow: /admin/
Disallow: /user/
規則解讀為:所有的搜索引擎蜘蛛都不允許訪問根目錄的admin目錄與user目錄。
現在你可能就明白了,user-agent:后面輸入的是欲限制搜索引擎蜘蛛的名稱,*為全部限制,baiduspider為限制百度搜索引擎蜘蛛不可以訪問。
disallow:后面追加的是欲限制蜘蛛訪問的目錄名稱。
注意,不管你有多少個disallow,只要有一個后面為空或者只有一個/符號的,就是所以目錄都可以訪問。符號一定是英文符號。
robot文件只是一種規則,并不是強制約束搜索引擎蜘蛛,需要搜索引擎蜘蛛配合才有用,有些spider會不顧您的robot文件,擅自訪問您的限制頁面。不過,就目前而且,大部分spider是遵守的robots.txt規則的。
1、搜索技術應服務于人類,同時尊重信息提供者的意愿,并維護其隱私權;
2、網站有義務保護其使用者的個人信息和隱私不被侵犯。
何為robot文件?robots.txt是限制搜索引擎spider(或稱為蜘蛛)收錄或爬取您網站內容的一種文件。搜索引擎蜘蛛在網站中首先訪問的文件就是robot文件,當然,也可以沒有robot文件,不過spider會訪問您的網站的所有頁面。
robot文件有何作用?屏蔽您網站的死鏈接,限制spider爬取您的網站內容,保護您網站的隱私內容。例如您的后臺目錄,或者存有您個人信息的頁面或目錄。
如果您網站的重復頁面或死鏈接過多,搜索引擎蜘蛛會認為您的網站不行,價值較低,就會降低您網站的權重,網站排名就會下降,如果創建了robot文件并寫入了相應的規則,那么搜索引擎蜘蛛就不會爬取您限制的頁面,您網站的權重與排名也就不會降低了。
如何構建robot文件?robot文件也沒什么特殊的地方,就是一文本文件(txt)。新建一個文本文件,然后重命名為robots并在此文件中編寫相應的規則,醉后上傳到網站跟目錄就行了,注意一定要放置到跟目錄且文件名一定要小寫,不然就失效了。
如何編寫robot文件規則?
或許您沒有太多的時間來了解并學會robot文件規則,那么您可以生成robot文件規則,當然,您需要一定的英語基礎,并了解特定的名詞。假設您有時間來學習的話,就往下看下面的規則。
現假設一個robot文件里面規則有:
User-agent: *
Disallow: /admin/
Disallow: /user/
規則解讀為:所有的搜索引擎蜘蛛都不允許訪問根目錄的admin目錄與user目錄。
現在你可能就明白了,user-agent:后面輸入的是欲限制搜索引擎蜘蛛的名稱,*為全部限制,baiduspider為限制百度搜索引擎蜘蛛不可以訪問。
disallow:后面追加的是欲限制蜘蛛訪問的目錄名稱。
注意,不管你有多少個disallow,只要有一個后面為空或者只有一個/符號的,就是所以目錄都可以訪問。符號一定是英文符號。
robot文件只是一種規則,并不是強制約束搜索引擎蜘蛛,需要搜索引擎蜘蛛配合才有用,有些spider會不顧您的robot文件,擅自訪問您的限制頁面。不過,就目前而且,大部分spider是遵守的robots.txt規則的。
本站文章均為新竹網站建設摘自權威資料,書籍,或網絡原創文章,如有版權糾紛或者違規問題,請即刻聯系我們刪除,我們歡迎您分享,引用和轉載,我們謝絕直接復制和抄襲!感謝...
猜你喜歡
聯絡方式:
電話:
郵箱:1700970777@qq.com
微信公眾號

手機網站

小程序

我們猜你喜歡
-
如何提高優惠券使用率,優惠券營銷方法
優惠券的使用非常廣泛,從線下門店到線上電商,尤其是電商、o2o、金融理財等行業經常使用到優惠券的。但并不是每一個商家的優惠券都能激發用戶的興趣,有的優惠券使用率很高,有的則是極低;那么如何借助運營手段來提高優惠券的使用率呢? 優惠券有什么類型 ...
-
OA的簡單介紹
揚州軟件開發為發展企業信息化建設,越來越多的公司開始注意OA了,也有越來越多的公司開始在對OA進行選型。有些公司是意識到了上OA的意義,但同時也有很多公司,可能是看著別人都在上OA,我們也上一個試試,但具體想達到一個什么樣的效果,很...
-
如何制作多語言可切換的網站
多語言網站主要是指一個網站具有多個語言版本。例如,一個網站不僅具有中文頁面,更能提供英語、日語、韓語、德語等多個語言的網站,人們會把擁有此類功能的網站簡稱為“多語言網站”。 能夠準確的翻譯網站的內容。翻譯是多語言網站的核心...
-
教育機構小程序的發展
中國目前仍舊處于應試教育的階段,因此教育行業的市場還是非常有發展前景的。但是,如果教育行業仍舊處于傳統的教育模式下,可能要跟上時代的發展就比較吃力了。在微信小程序上線之后,有一些教育機構就看到它能給這個行業帶來的優勢,所以可以開發教...
-
什么是微營銷?
在如今以市場需求為主導的經濟時代,消費者的需求呈現出精細化和多樣化的特點,細分市場日漸成熟,同時在互聯網技術快速進步和應用的刺激下,整體市場的發展節奏也在不斷加快。因此,企業需要建立一套靈活的管理思維,不斷優化企業結構和相關服務,輕...