一款自动检测网站是否存在robots.txt的浏览器扩展

在学习PWK课程时有次遇到一个Web服务,访问根路径返回404,于是就用dirb扫描。由于网速不太好,扫描了很久才发现存在robots.txt,以此为突破口成功地拿到了Webshell。当时就尝试找一款能自动检测网站是否存在robots.txt的浏览器扩展,但并没有找到,于是萌生了自己写一个的念头。现在我学完了PWK,顺利拿到了OSCP认证,便花了些时间实现了自己当时的想法。

安装

这款浏览器扩展兼容Firefox和Google Chrome,但我只将它上传到了Firefox的Add-ons,没有将它上传到Chrome Web Store。原因如下:

  • 这款浏览器扩展仅对渗透测试有用,而Firefox由于其独立于操作系统的证书系统和代理设置,更适合于渗透测试;
  • 想要上传浏览器扩展到Chrome Web Store需要先缴纳5美元,而这款浏览器扩展可能最终只会有一个用户——我自己——在渗透测试时几乎从不使用Google Chrome。

在Firefox中安装

由于我将它上传到了Add-ons,所以在Firefox安装它很简单。打开https://addons.mozilla.org/firefox/addon/robots-txt-detection/,点击添加到 Firefox,完成下载后弹出安装提示时点击添加就可以了。

在Google Chrome中安装

在Google Chrome中安装它其实也挺简单的,对于不能直接访问Chrome Web Store的地区的用户而言就更是小菜一碟了。

首先下载源码:

git clone https://github.com/Werneror/RobotsTxtDetection.git

然后打开Google Chrome,在地址栏中输入Chrome://extensions/进入到扩展管理页面,点击页面右上角的开关打开开发者模式。接着点击页面左上角加载已解压的扩展程序按钮,在弹出的选择器中选中下载的源码目录RobotsTxtDetection即可。

使用

在使用安装了这款扩展的浏览器时,若访问的网站存在robots.txt,地址栏中就会自动出现一个小图标,如下图所示。

将鼠标移动到小图标上,会看到提示文字,如下图所示。

单击小图标会弹出一个包含超链接的页面,点击超链接可以直接打开robots.txt页面,如下图所示。

在某些版本的Google Chrome中,小图标不在地址栏中,而是在地址栏右边,或其他位置,取决于用户的定制。访问的网站不存在robots.txt时,小图标也不会消失,而是变成灰色。

配置

这款扩展提供一些简单的配置,如下图所示是配置页面和默认配置。

检测路径

默认情况下只检测robots.txt,但也可以配置为检测更多的路径。每行写一个要检测的路径。以/开头的路径会被视为绝对路径,否则为相对路径。举个例子,假设配置为检测以下路径:

/robots.txt
security.txt

正在浏览的URL是https://www.example.com/test/index.html,那么实际上会检测:

https://www.example.com/robots.txt
https://www.example.com/test/security.txt

状态码

默认以404、301和302做为判断路径不存在的状态码,但如果有特殊需求,也可以进行配置。

技术细节

缓存

一般来说网站有哪些路径是十分稳定的,不会在短时间里发生变化,所以采取的缓存策略是尽可能多地缓存。对于一个特定的URL,扩展只会发送一次请求,除非重启浏览器、禁用/启用或卸载/重新安装。

重定向

XMLHttpRequest会自动跟随重定向,所以扩展实际上没有办法获取到301、302这样的状态码(也许有办法只有我没找到?)。判断是否发生重定向的方法是:比较请求的URL和响应的URL是否相同,若不同,则发生了重定向。

源代码

源代码见:https://github.com/Werneror/RobotsTxtDetection

2 Replies to “一款自动检测网站是否存在robots.txt的浏览器扩展”

发表评论

电子邮件地址不会被公开。 必填项已用*标注

2 × 1 =