options= webdriver.ChromeOptions()
### options = Options()
options.add_argument('--headless') #无头模式--headless
options.add_argument('--disable-gpu')
num= str(float(random.randint(500, 600)))
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/{} (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/{}".format(num, num))
# 禁止图片和css,js加载
prefs= {"profile.managed_default_content_settings.images": 2, "profile.managed_default_content_settings.stylesheet": 2, "profile.managed_default_content_settings.flash": 2}
options.add_experimental_option("prefs", prefs)
browser= webdriver.Chrome(chrome_options=options) # 设置浏览器
wait= WebDriverWait(browser, 30) # 设置显示等待
Chrome浏览器启动flash都是默认询问状态,不会自动播放视频;之后查找了很多资料,终于找到了解决的方案:
Firefox:
其中plugin.state.flash 后的数值可以为0, 1, 2; 0:禁止, 1:询问, 2:允许。
Chrome:
设置浏览器自动加载爬虫
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chromeOpitons = Options()
prefs= {
"profile.managed_default_content_settings.images":1,
"profile.content_settings.plugin_whitelist.adobe-flash-player":1,
"profile.content_settings.exceptions.plugins.*,*.per_resource.adobe-flash-player":1,
}
chromeOpitons.add_experimental_option('prefs', prefs)
driver = webdriver.Chrome('./chromedriver', chrome_options=chromeOpitons)
options=webdriver.ChromeOptions()
#禁止加载图片 禁止加载js
prefs = {'profile.default_content_setting_values': {
'images': 2,
'javascript':2,
"stylesheet": 2
}}
options.add_experimental_option('prefs',prefs)
browser = webdriver.Chrome(chrome_options=options)
browser.get('http://www.baidu.com/')