简单爬取
python JSFinder.py -u http://www.mi.com
这个命令会爬取http://www.mi.com这两个页面的所有的js链接,并在其中发现url和子域名
返回示例:
url:http://www.mi.comFind 50 URL:http://api-order.test.mi.comhttp://api.order.mi.comhttp://userid.xiaomi.com/userIdhttp://order.mi.com/site/login?redirectUrl=...已省略Find 26 Subdomain:api-order.test.mi.comapi.order.mi.comuserid.xiaomi.comorder.mi.com...已省略
深度爬取
python JSFinder.py -u http://www.mi.com -d
深入一层页面爬取JS,时间会消耗的剩余。
建议使用-ou和-os来指定保存URL和子域名的文件名。
python JSFinder.py -u http://www.mi.com -d -ou mi_url.txt -os mi_subdomain.txt
批量指定URL /指定JS
指定URL:
python JSFinder.py -f text.txt
指定JS:
python JSFinder.py -f text.txt -j
可以用brupsuite爬取网站后提取出URL或JS链接,保存到txt文件中,一行一个。
指定的URL或JS就不需要加深度爬取,分开页面即可。
其他
-ou指定文件名保存URL链接例:
python JSFinder.py -u http://www.mi.com -ou mi_url.txt
-os指定文件名保存子域名例:
python JSFinder.py -u http://www.mi.com -os mi_subdomain.txt
注意
url不用加引号
网址需要http://或https://
指定JS文件爬取时,返回的URL为相对URL
指定URL文件爬取时,返回的相对URL都会以指定的第一个链接的域名作为其域名来转化为绝对URL。
网友评论