记录反爬虫的手段和应对

robots协议-----君子协定
简单防范--------增加headers/cookie(Referer/User-Agent)
陷阱（一个不可见连接，但是人不会点的）-------？？
投毒（假数据）-------------- ？？
封ip---------代理
复杂动态js生成-------模拟js运行selenium，分析
验证码图像--------图片识别，AI，无解, 打码平台
短信验证码--------猫池
字体的变化--------分析
基于用户行为分析(看了1w页但是不买东西)---?？