利用 robots.txt
要想进一步侦查，我们需要弄清楚是否站点有任何页面或目录没有链接给普通用户看。例如，内容管理系统或者内部网络的登录页面。寻找类似于它的站点会极大扩大我们的测试面，并给我们一些关于应用及其结构的重要线索。
这个秘籍中，我们会使用robots.txt文件来发现一些文件和目录，它们可能不会链接到主应用的任何地方。
操作步骤
浏览http://192.168.56.102/vicnum/。
现在我们向 URL 添加robots.txt，之后我们会看到如下截图：
这个文件告诉搜索引擎，jotto和cgi-bin的首页不允许被任何搜索引擎（User Agent）收录。
让我们浏览http://192.168.56.102/vicnum/cgi-bin/。
我们可以直接点击和访问目录中的任何 Perl 脚本。
让我们浏览http://192.168.56.102/vicnum/jotto/。
点击名称为jotto的文件，你会看到一些类似于下面的截图的东西：
Jooto 是个猜测五个字符的单词的游戏，这会不会是可能答案的列表呢？通过玩这个游戏来检验它，如果是的话，我们就已经黑掉了这个游戏。
工作原理
robots.txt是 Web 服务器所使用的文件，用于告诉搜索引擎有关应该被索引，或者不允许查看的文件或目录的信息。在攻击者的视角上，这告诉了我们服务器上是否有目录能够访问但对公众隐藏。这叫做“以隐蔽求安全”（也就是说假设用户不会发现一些东西的存在，如果它们不被告知的话）。
