selenium概念
selenium是什么？
是一个浏览器的自动化测试工具，那么什么又是自动化呢？就是可以通过代码来操作浏览器，让浏览器做一些功能
安装selenium
pip install selenium
selenium操作谷歌浏览器，其实并不是直接操作的谷歌浏览器，而是操作的谷歌浏览器的驱动，然后由驱动再去操作谷歌浏览器
谷歌驱动下载地址
http://chromedriver.storage.googleapis.com/index.html
http://npm.taobao.org/mirrors/chromedriver/
谷歌驱动和谷歌浏览器关系映射表
pip install pyvirtualdisplay
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
path = r'/usr/bin/chromedriver'
driver = webdriver.Chrome(executable_path=path, chrome_options=chrome_options)
display = Display(visible=0, size=(800, 800))
display.start()
chrome_options = Options()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
find_eselenium_by_link_text:根据链接的内容查找，注意只需要将网页中链接的标题直接复制过来即可使用selenium必须使用等待时间，因为后面的查找节点操作依赖前面的相应内容
(1)强制等待
time.sleep(10)
不管网页有没有过来，必须等待10s，代码才接着往下走
(2)隐式等待
driver.implicily_wait(10)
最多等待10s
eg: selenium
from selenium import webdriver
import time
# 谷歌驱动的地址
path = r'C:\Users\ZBLi\Desktop\1809\day06\ziliao\chromedriver.exe'
# 创建一个谷歌浏览器对象
driver = webdriver.Chrome(executable_path=path)
# 操作谷歌浏览器，其实就是调用这个对象的方法而已
url = 'http://www.baidu.com/'
driver.get(url)
# time.sleep(20)
driver.implicitly_wait(20)
# 通过driver查找的到input输入框
myinput = driver.find_element_by_id('kw')
# 往框里面写内容
myinput.send_keys('气质美女')
time.sleep(3)
# 点击百度一下
mybutton = driver.find_element_by_id('su')
mybutton.click()
time.sleep(4)
# 找到指定美女点击
# image = driver.find_element_by_xpath('//div[@id="1"]/div[1]/a[1]')
# image.click()
# time.sleep(3)
# 点击美女图片的链接
oa = driver.find_element_by_link_text('气质美女_海量精选高清图片_百度图片')
oa.click()
time.sleep(5)
# 关闭浏览器
driver.quit()
phantomJS
phantomjs是什么？
是一款浏览器，是一款没有界面的浏览器，所以他的功能不是为了显示数据的。就有浏览器的功能，可以将html、css、js转化为图文并茂的形式。就可以执行js代码
在爬取数据的时候，服务端为了反爬，经常采用动态html这种方案，DOM，你对应的方案如何解决呢？
1）捕获接口
一般都是ajax请求获得的，一般都是json数据，然后解析json即可
ajax接口，返回是html格式字符串，通过bs、xpath、正则解析即可
还有的数据，不是通过接口，而是直接放在了js文件中，解析js文件，正则提取（2）放大招
selenium+phantomjs 这种方法效率太低，需要长时间的等待，所以性能太低，一般不用他，如果实在没有其他方法了，那就放大招
这个技能怎么如此厉害呢？phantomjs是浏览器，和真正的浏览器一模一样，所以可以解决所有问题
模拟滚动条到底部
js='document.body.scrollTop='0000'
jdriver.execute_script(js)
得到执行js之后的html数据
driver.page_source
phantomjs已经不再维护了，所以现在基本上都不使用了
eg:
from selenium import webdriver
import time
path = r'C:\Users\ZBLi\Desktop\1809\day06\ziliao\phantomjs-2.1.1-windows\bin\phantomjs.exe'
# 创建浏览器对象
driver = webdriver.PhantomJS(executable_path=path)
url = 'http://www.baidu.com/'
driver.get(url)
driver.implicitly_wait(10)
# 拍照片的方式
driver.save_screenshot('./png/baidu1.png')
driver.find_element_by_id('kw').send_keys('美女')
# driver.implicitly_wait(5)
time.sleep(5)
# driver.find_element_by_id('su').click()
# driver.implicitly_wait(10)
driver.find_element_by_id('su').click()
driver.implicitly_wait(10)
driver.save_screenshot('./png/baidu2.png')
driver.quit()
代码（抓取豆瓣）
from selenium import webdriver
import time
path = r'C:\Users\ZBLi\Desktop\1809\day06\ziliao\phantomjs-2.1.1-windows\bin\phantomjs.exe'
# 创建浏览器对象
driver = webdriver.PhantomJS(executable_path=path)
url = 'https://movie.douban.com/typerank?type_name=%E7%88%B1%E6%83%85&type=13&interval_id=100:90&action='
driver.get(url)
# driver.implicitly_wait(10)
time.sleep(5)
driver.save_screenshot('./png/douban1.png')
# 模拟滚动条滚到底部 10000随便写的，但是肯定要大于你的网页的高度
# document.body document.documentElement
# 还有一种，是滑动到底部的时候，点击加载更多。通过find方法找到他，然后点击即可
js = 'document.body.scrollTop=10000'
driver.execute_script(js)
time.sleep(5)
driver.save_screenshot('./png/douban2.png')
# 如何得到执行完js的代码
# with open('douban.html', 'w', encoding='utf8') as fp:
# fp.write(driver.page_source)
content = driver.page_source
driver.quit()
# 通过bs、或者xpath来解析content即可
headlesschrome
最开始无界面浏览器领域只有phantomjs一家
后来谷歌和火狐也做了，再后来phantomjs就不做了下载火狐驱动
https://github.com/mozilla/geckodriver/releases
驱动和版本映射关系
导入
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
####添加代理
chome_options.add_argument(('--proxy-server=http://' + ip))
代码
from selenium import webdriver
import time
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
path = r'C:\Users\ZBLi\Desktop\1809\day06\ziliao\chromedriver.exe'
driver = webdriver.Chrome(executable_path=path, chrome_options=chrome_options)
url = 'http://www.baidu.com/'
driver.get(url)
time.sleep(3)
driver.save_screenshot('./png/lala.png')
driver.quit()
导入火狐
firefox_options = webdriver.FirefoxOptions()
firefox_options.set_headless()
firefox_options.add_argument('--disable-gpu')
代码
from selenium import webdriver
import time
# 以无界面模式启动火狐浏览器
firefox_options = webdriver.FirefoxOptions()
firefox_options.set_headless()
firefox_options.add_argument('--disable-gpu')
path = r'C:\Users\ZBLi\Desktop\1809\day06\ziliao\geckodriver.exe'
driver = webdriver.Firefox(executable_path=path, firefox_options=firefox_options)
url = 'http://www.baidu.com/'
driver.get(url)
time.sleep(3)
driver.save_screenshot('./png/huohu.png')
driver.quit()
