Python-解析Robots文件

以解析百度的Robots文件为例。

import urllib.robotparser

rp = urllib.robotparser.RobotFileParser()
rp.set_url('http://www.baidu.com/robots.txt')
rp.read()

print(rp.can_fetch('Googlebot', 'https://www.baidu.com/baidu'))
print(rp.can_fetch('Baiduspider', 'https://www.baidu.com/cpro'))