##################################################### # PP.CN BLOG 禁止搜索引擎收录配置文件 # 文件: ~/robots.txt # 编写: newspace # 日期: 2007-07-26 ##################################################### #限制的搜索引擎的User-Agent代码,*表示所有########### User-agent: * #限制不能搜索的目录,Disallow: 为空时开放所有目录#### Disallow: /userconfig/ Disallow: /images/ Disallow: /regist/ Disallow: /templates/ Disallow: /include/ Disallow: /archives/ Disallow: /newspace/ #搜索引擎User-Agent代码对照表######################## # 搜索引擎 User-Agent代码 # AltaVista Scooter # Infoseek Infoseek # Hotbot Slurp # AOL Search Slurp # Excite ArchitextSpider # Google Googlebot # Goto Slurp # Lycos Lycos # MSN MSNBOT # Netscape Googlebot # NorthernLight Gulliver # WebCrawler ArchitextSpider # Iwon Slurp # Fast Fast # DirectHit Grabber # Yahoo Web Pages Googlebot # Looksmart Web Pages Slurp # Baiduspider Baidu