超级简单的入门

最近闲的无聊，有时间学习了下JAVA下的 Selenium 爬取页面信息，简单做下分享。

首先请出度娘为第一次接触Selenium的同学科普下。

为什么个人比较喜欢Selenium：

1.对抓取网页内动态数据信息有着不错的表现

2.页面中存在大量JS交互后的数据表现优秀（个人觉得性能超过了HttpClient）。

下面我们简单做个例子看一下：

第一步建议本地安装个Chromechrome历史版本获取

第二步进行chromedriver下载chromedriver传送门 注意chromedriver的版本一定与chrome版本一致，

第三步将下载后的chromediver移动至/usr/local/bin/ 目录下打开终端输入chromediver 如果出现如下页面说明你的chrome安装成功

chromdriver安装成功

第四步因为在java下运行，我是用的是pom导入Selenium 至当前工程

pom配置

我们就可以开始入门级别的selenium使用了。

写一个简单的不能再简单的H5页面

<div id = "AA"> aaa </div>     设置个标签

可以在idea下本地起个anywhere的本地服务。

WebDriver driver = new ChromeDriver();

driver.manage().window().setSize(new Dimension(1920,1080)); //设置弹出浏览器尺寸

driver.get(url); // 打开指定的网站输入指定网站链接

WebElement PKey = driver.findElement(By.id("AA")); 对网站中的某个标签上的元素进行爬取

String StrPKey = PKey.getText(); 

System.out.println(StrPKey);

driver.close();//关闭网页 

在控制台上将输出如下：aaa

输出aaa

以上是selenium 超级简单的入门实践，当然如果这个aaa使用过复杂JS计算得来的，也可以通过同样方法获取。

破解简单的反爬

       有爬虫就有反爬，想想也挺有意思，很多大厂都做了，针对于selenium的反爬机制，当然每个网页各自不同的应对方法，比如通过获取当前页的window.navigator.webdriver 通过判断返回 True还是False来获取是否是通过爬虫进行请求的。

if(True){

爬虫还想获取我的数据？

}else{

不是爬虫

}

      听说很多JS爬虫可以成功绕过这个反爬机制（例如 JS爬虫 phontomjs，感兴趣的同学可以了解下），感兴趣的同学可以了解下，但对我我们这些入门级小白爬虫门槛就上升了一个等级，那我们如何破解此类反爬机制呢？

1.将chrome 版本降到75以下

2.重新配置对应的chromedriver 方法和之前类似

3.配置ChromeOptions

ChromeOptions options =new ChromeOptions();

options.setExperimentalOption("excludeSwitches", new String[]{"enable-automation"});

WebDriver driver = new ChromeDriver(options); 

        此时就可以继续开心的使用Selenium了。当然了如果您使用的是强大的phontomjs可以忽略当前章节，因为其加载原理不同，不会被简单的反爬机制发现。

携程技术分享 这篇文章对我启发很大