拓界行銷-騰訊雲台灣唯一合作廠商、跨境電商、微信微博行銷、大陸網路行銷廣告投放

# robots.txt for http://www.xxxxxxx.com
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/
User-agent: Googlebot
Disallow: /*/*/feed/
Disallow: /*/*/*/feed/
User-agent: Baiduspider
Disallow: /*/*/feed/
Disallow: /*/*/*/feed/
Sitemap: http://www.xxxxxxx.com/sitemap.xml
Sitemap: http://www.xxxxxxx.com/sitemap_baidu.xml

=======================分隔線====================================
robots.txt的注意事項
1、如果你的站點對所有搜索引擎公開，則不用做這個文件或者robots.txt為空就行。
2、robots.txt必須放置在一個網站的根目錄下，在子目錄下無效。如：通過http://www.xxxx.com/robots.txt 
3、robots.txt，User-agent，Disallow等必須注意大小寫，不能變化。
4、User-agent，Disallow等後面的冒號必須是英文狀態下的，冒號後面可以空一格，也可以不空格。 
5、User-agent表示搜尋引擎spider：星號“*”代表所有spider，Google的spider是“Googlebot”，百度是“Baiduspider”。 
6、Disallow:表示不允許搜索引擎訪問和索引的目錄。至少要有一個Disallow函數，如果都允許收錄，則寫: Disallow: ，如果都不允許收錄，則寫:Disallow: / （注：只是差一個斜桿）。