初衷
- 项目背景是，从某网站抓取的公司企业信息去天眼查核实这个公司真实存在，最初想法是用scrapy框架搞一下，但是发现会被封，于是经过研究发现还有m站，所以取巧就从m站抓取判断状态；
- 项目完结后心血来潮想用selenium模拟浏览器重新实现一遍，于是就有了selenium一天的体验；
开搞
一、搞好环境
- 我用的是chrome + selenium ，所以要先安装chromedriver，注意，要保证chrome 和chromedriver的版本相对应才可以，这里附上一个对应关系(也是mark别人的)
http://blog.csdn.net/huilan_same/article/details/51896672
chromedriver下载地址:
http://npm.taobao.org/mirrors/chromedriver/
解压到指定目录：
例如：d:\Program Files (x86)\python2.7.9\Scripts
这样就齐活了 ，可以开始撸了。
可以先简单测试一下环境是否ok，上用例：from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import Select #表单填充 from selenium.webdriver import ActionChains#元素拖拽 brower = webdriver.Chrome() brower.get('http://www.baidu.com/') element = brower.find_element_by_class_name("s_ipt") element = brower.find_element_by_name("wd") element = brower.find_element_by_id("kw") element = brower.find_element_by_tag_name("input") element = brower.find_element_by_xpath("//input[@id='kw']") element.send_keys(u"爸爸去哪儿", Keys.ENTER) - 贴上代码，如果环境没有问题，那么就见证奇迹吧。是不是so easy
二、从天眼查核实公司名称是否真实存在
- 我这边是公司名字已经存在mongo库里了，直接取就可以，这里暂且先用一个公司名字。
- 1、先做一些初始化的东西
company_name = u"烟台嘉德氟碳科技有限公司"
class MCompany():
def __init__(self, browser_type='chrome'):
self.logger = logging.getLogger('MCompany')
self.init_mongo() ## 初始化mongo
self.init_browser(browser_type) ## 指定浏览器类型
def __del__(self):
self.browser_quit() ## 退出
def init_mongo(self):
‘初始化语句’
def init_browser(self, browser_type):
# self.browser = webdriver.PhantomJS() ## 后台运行，无界面显示
self.browser = webdriver.Chrome() ## 有界面显示，人为能看到
self.browser.maximize_window() ## 最大化
self.pid = self.browser.service.process.pid
self.wait = ui.WebDriverWait(self.browser, 20)
def browser_quit(self):
try:
if self.browser:
self.browser.quit()
os.kill(self.pid, 9)
except Exception, e:
self.logger.warning("browser quit error:%s" % (str(e)))
finally:
self.browser = None
初始化的东西做好后，接下来我们来分析下这个网站吧
- 在浏览器中输入https://m.tianyancha.com/，就是天眼查的m站，然后随便输入一个公司名字，例如我例子中的名字，则会跳转到如下：
image.png - 然后我们再来分析下这个页面的url：
https://m.tianyancha.com/search?key=烟台嘉德氟碳科技有限公司&checkFrom=searchBox不难发现规律，把url中公司名字去掉后，就是搜索页面如下：
image.png
我们就用这个页面来做起始页面吧。接下来就是模拟人输入公司名字，然后利用xpath进行匹配第一个出现的名字和库里的名字是否一样了。
def parse(self, company_name):
self.browser.get('https://m.tianyancha.com/search?key=&checkFrom=searchBox')
ele = self.browser.find_element_by_xpath("//input[@id='live-search']") ## 找到输入框
ele.clear() ##清除
ele.send_keys(company_name, Keys.ENTER) ## 回车发送
name = self.browser.find_element_by_xpath(
"//div[@class='new-border-bottom pt5 pb5 ml15 mr15'][1]//a[@class='query_name in-block']/span/em") ##匹配第一行的公司名字
if name.text: ## text是取xpath下面的文本
if name.text == company_name:
check = u"已核实"
else:
check = u"没找到"
else:
check = u"没找到"
return check
- 到这里一个简单的模拟浏览器的行为就实现了。之后加上代理就可以愉快的跑了，跑出的结果当然也是更新到mongo库里。
三、模拟登陆
- 其实，这个天眼查是碰巧被我研究 还有m站，避免了模拟登陆这个过程，接下来，有时间我会再写一版从www域模拟登陆这个过程重新抓一次（纯属蛋疼）。
四、总结
- 上面好像没有说到phantomjs这个东东，其实，在我理解，如果把webdriver换成phantomjs则就没有了界面，否则是有界面的，界面的意思是:自动化过程吧。
- 附上 https://selenium-python.readthedocs.io/locating-elements.html 相关api用法
- 还有很多我还没有研究明白，有时间会继续搞一下
- 码了一个多小时，凑合着吧（不知道过段时间再看会不会忘记）
