进一步进行勘察工作，如果我们想知道靶机网站上有没有不给普通用户开放的文件或页面，比如后台管理页面。Robots.txt 文件会给我们提供帮助，更好的了解网站结构。

这边文章讨论 Robots.txt 文件的获取和使用方法。

实施步骤

首先，打开我们的漏洞靶机：Vulnerable_VM 【配置参见：测试环境搭建】

然后打开火狐浏览器，访问靶机的 Web 服务：
http://192.168.150.143/vicnum/

现在，我们在上述URL的后面添加“robots.txt”，并访问该资源：
http://192.168.150.143/vicnum/robots.txt

robots.txt

从上图中，我们发现，robots.txt 文件中的后面两行，告诉搜索引擎，目录 /jotto 和目录 /cgi-bin 不允许任何浏览器（User-agent）访问。但是，这并不以为这我们不能访问这两个目录。

下面让我们分别访问这两个目录：

cgi-bin

我们可以查看该目录下的任意一个Perl脚本。

jotto
点击 jotto 你会看到下图所示内容： Jotto

Jotto 跟一个猜5个字符的单词游戏相关。这个些单词跟答案相关吗？我们可以试一试，如果对的话，那么我们已经黑掉了这个游戏！

总结

Robots.txt 文件是 Web 服务器用来告诉搜索引擎哪些目录可以被索引，哪些不应该被访问。站在攻击者的角度来看问题，这个文件告诉我们Server中有一些可以被访问的目录但是对公众（普通用户来说应该是不可见的），这种措施叫做“Security Through Obscurity”。