页面翻页，下一页可能是一个新的url
也有可能是用js进行页面跳转，url不变，解决方法是实现浏览器模拟人工翻页
目标：爬取同一个url下不同页的数据（上述第二种情况）
url:http://www.gx211.com/collegemanage/search.aspx?id=1&xxcity=1
中国高校之窗，我要爬取北京市所有的学校列表，共有四页数据，四页都是同一个url。
部分页面如图：
[图片上传中...(image.png-406cd5-1629335415476-0)]
image
找到“下一页”按钮的源码，确认是用js进行的跳转。
image
工具：
- selenium
- pyquery
- 火狐浏览器
** 代码：**
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from pyquery import PyQuery as pq
#
# 爬取北京市所有的学校
#
browser = webdriver.Firefox() # 创建一个浏览器对象,这里还可以使用chrome等浏览器
try:
BJuniv = []
browser.get('http://www.gx211.com/collegemanage/search.aspx?id=1&xxcity=1') # 获取并打开url
for r in range(4):
html = browser.page_source # 获取html页面
doc = pq(html) # 解析html
table = doc('.content tbody') # 定位到表格
table.find('script').remove() # 除去script标签
list_cont = table('tr').items() # 获取tr标签列表
for i in list_cont:
univ = (i.text()).split() # 获取每个tr标签中的文本信息，返回一个列表
print(univ)
BJuniv.append(univ)
nextpagebutton = browser.find_element_by_xpath('//*[@id="Lk_Down"]') # 定位到“下一页”按钮
nextpagebutton.click() # 模拟点击下一页
wait = WebDriverWait(browser, 10) # 浏览器等待10s
finally:
browser.close() # 关闭浏览器
with open("北京市所有大学.txt", "wt", encoding='utf8') as out_file: # 存储为txt格式
out_file.write('全国各省学校名单:\n\n')
for u in BJuniv:
out_file.write(str(u) + '\n')
运行过程：自动打开浏览器，输入url，获取页面，点击下一页，重复直到循环结束。（过程看不到很细致的，跳转比较快）
运行结果（部分）：
image
image
