超级简单的入门
最近闲的无聊，有时间学习了下JAVA下的 Selenium 爬取页面信息，简单做下分享。
首先请出度娘为第一次接触Selenium的同学科普下。
为什么个人比较喜欢Selenium：
1.对抓取网页内动态数据信息有着不错的表现
2.页面中存在大量JS交互后的数据表现优秀（个人觉得性能超过了HttpClient）。
下面我们简单做个例子看一下：
第一步建议本地安装个Chromechrome历史版本获取
第二步进行chromedriver下载chromedriver传送门 注意chromedriver的版本一定与chrome版本一致，
第三步将下载后的chromediver移动至/usr/local/bin/ 目录下打开终端输入chromediver 如果出现如下页面说明你的chrome安装成功
第四步因为在java下运行，我是用的是pom导入Selenium 至当前工程
我们就可以开始入门级别的selenium使用了。
写一个简单的不能再简单的H5页面
<div id = "AA"> aaa </div> 设置个标签
可以在idea下本地起个anywhere的本地服务。
WebDriver driver = new ChromeDriver();
driver.manage().window().setSize(new Dimension(1920,1080)); //设置弹出浏览器尺寸
driver.get(url); // 打开指定的网站输入指定网站链接
WebElement PKey = driver.findElement(By.id("AA")); 对网站中的某个标签上的元素进行爬取
String StrPKey = PKey.getText();
System.out.println(StrPKey);
driver.close();//关闭网页
在控制台上将输出如下：aaa
以上是selenium 超级简单的入门实践，当然如果这个aaa使用过复杂JS计算得来的，也可以通过同样方法获取。
破解简单的反爬
有爬虫就有反爬，想想也挺有意思，很多大厂都做了，针对于selenium的反爬机制，当然每个网页各自不同的应对方法，比如通过获取当前页的window.navigator.webdriver 通过判断返回 True还是False来获取是否是通过爬虫进行请求的。
if(True){
爬虫还想获取我的数据？
}else{
不是爬虫
}
听说很多JS爬虫可以成功绕过这个反爬机制（例如 JS爬虫 phontomjs，感兴趣的同学可以了解下），感兴趣的同学可以了解下，但对我我们这些入门级小白爬虫门槛就上升了一个等级，那我们如何破解此类反爬机制呢？
1.将chrome 版本降到75以下
2.重新配置对应的chromedriver 方法和之前类似
3.配置ChromeOptions
ChromeOptions options =new ChromeOptions();
options.setExperimentalOption("excludeSwitches", new String[]{"enable-automation"});
WebDriver driver = new ChromeDriver(options);
此时就可以继续开心的使用Selenium了。当然了如果您使用的是强大的phontomjs可以忽略当前章节，因为其加载原理不同，不会被简单的反爬机制发现。
携程技术分享 这篇文章对我启发很大
