# 小型 robots.txt # 以井号(“#”)标记开始的行表示注释并可以被删除。 # 如果你的drupal站点在文档根目录下的某个子目录(如 /drupal) # 请在下面的路径前面添加子目录路径 # 要阻止某个特定机器人索引目录exampledir # 只要加入下面两行(删除#号) # user-agent: 特定机器人 # Disallow: /exampledir/ # 已知机器人列表可以在 http://www.robotstxt.org/wc/active/html/index.html 找到 # 可以访问 http://www.sxw.org.uk/computing/robots/check.html 进行语法检查 User-agent: * disallow: sitemap:http://www.51logon.com/Sitemap.xml