很多時候，您會發現網站會引用了一個名為robots.txt的文件，您可以使用該文件來實現搜索引擎索引和爬行方面的不同目標，告知搜索引擎是否應抓取您的網頁。
robots.txt是什么？
我們都知道txt后綴的文件是純文本文檔，robots是機器人的意思，所以顧名思義，robots.txt文件也就是給搜索引擎蜘蛛這個機器人看 的純文本文件。robots.txt是搜索引擎公認遵循的一個規范文 檔，它告訴Google、百度等搜索引擎哪些網頁允許抓取、索引并在搜索結果中顯示，哪些網頁是被禁止收錄的。 搜索引擎蜘蛛 spider（Googlebot/Baiduspider）來訪問你的網站頁面的時候，首先會查看你的網站根目錄下是否有robots.txt文件，如果有則按照里面設置的規則權限對你網站頁面進行抓取和索引。
robots.txt的作用：
我們了解了什么是robots.txt，那它有什么作用，總體來說，robots.txt文件至少有下面兩方面的作用：
1、通過設置屏蔽搜索引擎訪問不必要被收錄的網站頁面，可以大大減少因spider抓取頁面所占用的網站帶寬，小網站不明顯，大型網站就很明顯了。
2、設置robots.txt可以指定google或百度不去索引哪些網址，比如我們通過url重寫將動態網址靜態化為永久固定鏈接之后，就可以通過robots.txt設置權限，阻止Google或百度等搜索引擎索引那些動態網址，從而大大減少了網站重復頁面，對SEO優化起到了很明顯的作用。
robots.txt文件寫法舉例說明：
禁止Google/百度等所有搜索引擎訪問整個網站 | User-agent: *
Disallow: / |
允許所有的搜索引擎spider訪問整個網站(Disallow:可以用Allow: /替代) | User-agent: *
Disallow: |
禁止Baiduspider訪問您的網站，Google等其他搜索引擎不阻止 | User-agent: Baiduspider
Disallow: / |
只允許Google spider： Googlebot訪問您的網站，禁止百度等其他搜索引擎 | User-agent: Googlebot
Disallow:
User-agent: *
Disallow: / |
禁止搜索引擎蜘蛛spider訪問指定目錄
(spider不訪問這幾個目錄。每個目錄要分開聲明，不能合在一起) | User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /~jjjj/ |
禁止搜索引擎spider訪問指定目錄，但允許訪問該指定目錄的某個子目錄 | User-agent: *
Allow: /admin/far
Disallow: /admin/ |
使用通配符星號"*"設置禁止訪問的url
(禁止所有搜索引擎抓取/cgi-bin/目錄下的所有以".html"格式的網頁(包含子目錄)) | User-agent: *
Disallow: /cgi-bin/*.html |
使用美元符號"$"設置禁止訪問某一后綴的文件
(只允許訪問以".html"格式的網頁文件。) | User-agent: *
Allow: .html$
Disallow: / |
阻止google、百度等所有搜索引擎訪問網站中所有帶有?的動態網址頁面 | User-agent: *
Disallow: /*?* |
阻止Google spider：Googlebot訪問網站上某種格式的圖片
(禁止訪問.jpg 格式的圖片) | User-agent: Googlebot
Disallow: .jpg$ |
只允許Google spider：Googlebot抓取網頁和.gif格式圖片
(Googlebot只能抓取gif格式的圖片和網頁，其他格式的圖片被禁止；
其他搜索引擎未設置) | User-agent: Googlebot
Allow: .gif$
Disallow: .jpg$
....... |
只禁止Google spider：Googlebot抓取.jpg格式圖片
(其他搜索引擎和其他格式圖片沒有禁止) | User-agent: Googlebot
Disallow: .jpg$ |
重復強調一下并請注意，您的網站上沒有robots.txt文件不會以任何方式損害您的網站。但是作為網站管理者必須知道網站使用robots.txt文件對搜索引擎來說是友好的，因為它允許網站與搜索引擎蜘蛛通信并給他們一些指示。進而有利于蜘蛛爬蟲抓取和收錄，希望河南網站建設公司小編分享對大家有幫助，感謝瀏覽！
