新浪博客的Robots.txt

#限制的搜索引擎的User-Agent代码,*表示所有##############
User-agent: *

#限制不能搜索的目录,Disallow: 为空时开放所有目录######
Allow: /admin/blogmove/

Disallow: /admin/
Disallow: /include/
Disallow: /html/
Disallow: /queue/
Disallow: /config/

#开放搜索的目录有####################################
#  /
#  /advice/
#  /help/
#  /lm/
#  /main/
#  /myblog/

#搜索引擎User-Agent代码对照表########################
#  搜索引擎        User-Agent代码
#  AltaVista        Scooter
#  Infoseek        Infoseek
#  Hotbot         Slurp
#  AOL Search        Slurp
#  Excite         ArchitextSpider
#  Google         Googlebot
#  Goto         Slurp
#  Lycos         Lycos
#  MSN          MSNBOT
#  Netscape        Googlebot
#  NorthernLight      Gulliver
#  WebCrawler        ArchitextSpider
#  Iwon         Slurp
#  Fast         Fast
#  DirectHit        Grabber
#  Yahoo Web Pages      Googlebot
#  Looksmart Web Pages    Slurp
#  Baiduspider        Baidu 

●本文来源互联网及网友投稿,如有侵权请及时联系本站进行删除。
●转载原创文章请保留地址及版权信息,否则侵权必究。
●分享目的仅供大家学习和交流,请不要用于商业用途。
●该资源版权归原著作者所有,请于下载后24小时内删除。
●如有链接无法下载、失效或广告,请联系右侧点击QQ咨询处理。
●本站资源售价只是赞助,收取费用仅维持本站的日常运营所需。
●如遇到加密压缩包,默认解压密码为"fdeer.com",如遇到无法解压的请联系管理员。

飞鹿日志 » 新浪博客的Robots.txt

发表回复