selenium在使用时一直提醒换掉phantomjs 改用 chrome的headless模式，主要是因为phantomjs的维护已经很少了，而chrome的headless模式越来越完善。
本来只是自己研究研究，踩了几个坑，想不到昨天线上截图服务器出了问题，初步判断是淘宝搞事，用js获取当前浏览器类型，直接不去请求数据了。
只好马上开始换用chrome，踩了很多坑，留下了悲伤的泪水。
以下步骤可以先在windows尝试。都兼容的
首先是chromedriver的下载，https://sites.google.com/a/chromium.org/chromedriver/ 去官网选最新版就好
下好后，服务器上要添加执行权限
chmod +x chromedriver
然后安装chromium-browser，windows本来就有chrome桌面版就可以了
这里有个坑，服务器安装完chrome直接截图的话，中文会表现为方块，所以要安装字体包
sudo apt-get install ttf-wqy-zenhei
在windows下可以直接启动了
browser = webdriver.Chrome(chrome_driver_path)
browser.get('https://www.jianshu.com')
chrome.save_screenshot(img_name)
browser.quit()
但是服务器并没有屏幕。很多教程比较老。都是用虚拟屏幕的，现在完全不需要了，headless模式登场
chrome_option = webdriver.ChromeOptions()
chrome_option.add_argument('--headless')
browser = webdriver.Chrome(chrome_driver_path)
browser.get('https://www.jianshu.com')
browser.quit()
如果这时候还是报未知错误。可能是沙盒模式启动错误，添加这个关闭沙盒模式
chrome_option.add_argument('no-sandbox')
接下来是代理设置，普通的http代理很简单，proxy为'http://ip:port'这样的形式
chrome_option.add_argument('--proxy-server={}'.format(proxy))
可是https就有问题了。需要关闭chrome的证书认证，找了很久，终于找到了解决方案，原来之前headless模式一直没有实现这个功能，直到半个月前才有消息
围观大佬 https://bugs.chromium.org/p/chromium/issues/detail?id=721739#c60
于是有了解决方案，= = 找了好久啊,注意这里的版本是有限制的 chroem >= 65 chromedriver>2.35 反正最新版就对了
# 配置忽略ssl错误
capabilities = DesiredCapabilities.CHROME.copy()
capabilities['acceptSslCerts'] = True
capabilities['acceptInsecureCerts'] = True
browser = webdriver.Chrome(desired_capabilities=capabilities)
还有一个坑，chrome直接设置超时会使浏览器崩溃，导致无法进行下去，像我的需求，载入了一段时间后还是想停止载入并截图的
20180414 更新
我之前这里写的是用调用插件的办法，但是仔细研究后，现在chrome headless 还不支持插件，不过普通的在页面加载前执行js还是可以的，就是没有那么高的权限
def send(driver, cmd, params={}):
resource = "/session/%s/chromium/send_command_and_get_result" % driver.session_id
url = driver.command_executor._url + resource
body = json.dumps({'cmd': cmd, 'params': params})
response = driver.command_executor._request('POST', url, body)
if response['status']:
raise Exception(response.get('value'))
return response.get('value')
def add_script(driver, script):
send(driver, "Page.addScriptToEvaluateOnNewDocument", {"source": script})
WebDriver.add_script = add_script
browser = webdriver.Chrome('./chromedriver', chrome_options=chrome_option)
assert isinstance(browser, WebDriver)
browser.add_script("""
setInterval(function () {document.title = 'sb sb'}, 1000);
""")
想要插件的高权限只能不用headless模式了
最后是完整代码
class get_chroem:
def __init__(self, *args, **kwargs):
self.browser = None
self.args = args
self.kwargs = kwargs
self.window_size = None
def _get_chrome(self, type, use_proxy):
chrome_option = webdriver.ChromeOptions()
user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
self.window_size = ('1440', '900')
chrome_option.add_argument('--proxy-server={}'.format(proxy))
chrome_option.add_argument('no-sandbox')
chrome_option.add_argument('--headless')
# 配置忽略ssl错误
capabilities = DesiredCapabilities.CHROME.copy()
capabilities['acceptSslCerts'] = True
capabilities['acceptInsecureCerts'] = True
browser = webdriver.Chrome(
chrome_driver_path,
chrome_options=chrome_option,
# service_log_path='/opt/logs/chrome.log',
desired_capabilities=capabilities)
if self.window_size is not None:
browser.set_window_size(*self.window_size)
return browser
def __enter__(self):
"""
:rtype: selenium.webdriver.chrome.webdriver.WebDriver
:return:
"""
self.browser = self._get_chrome(*self.args, **self.kwargs)
return self.browser
def __exit__(self, exc_type, exc_value, traceback):
if self.browser is None:
return
try:
self.browser.quit()
except:
pass
用with语法调用口味更佳
# 截图
chrome.save_screenshot(img_name)