学校要求登录教务处网站做一个测试题，我做了看了看，30分钟300道题，240分几个，题量不少，题还不好做。研究了一下发现原来在网站上就有题库的，但是一道题只有6s 的时间作答，边查边做肯定是时间不够的。灵光一闪，人生苦短，我用Python，写个自动答题的机器人吧。
思路：
- 爬取题库并存储到数据库
- 模拟登录教务系统
- 进入答题页面，遍历题目，匹配数据库中记录，给出答案
- 提交数据
用到的工具：
- Python
- requests
- BeautifulSoup
- mongodb
实现过程：
-
模拟登录
以前研究过学校教务系统的登录，现在终于在正事上排上用场了。学校教务系统的登录还算简单，没有验证码，唯一一点儿小障碍是登录表单会有几个隐藏字段，有个字段会动态改变，解决就是先GET一下登录网址，获取这几个字段的值，再随表单进行POST。代码：
import requests
from bs4 import BeautifulSoup
import os
headers = {
'Connection': 'keep-alive',
'Cache-Control': 'max-age=0',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate, sdch',
'Accept-Language': 'zh-CN,zh;q=0.8,en;q=0.6,zh-TW;q=0.4'
}
session = requests.session()
# 先GET一下登录页面获得隐藏字段
resp = session.get("http://ids.qfnu.edu.cn/authserver/login?service=http%3A%2F%2F202.194.188.19%2Fcaslogin.jsp", headers=headers)
bsObj = BeautifulSoup(resp.text, "html.parser")
lt = bsObj.find('input', {'name':'lt'})['value']
execution = bsObj.find('input', {'name':'execution'})['value']
params = {
'username': os.environ.get('STU_ID'), # 环境变量获取的学号
'password': os.environ.get('STU_PWD'), # 环境变量获取的密码
'lt': lt,
'execution': execution,
'_eventId': 'submit',
'rmShown': '1'
}
# post 数据登录成功
resp = session.post("http://ids.qfnu.edu.cn/authserver/login?service=http%3A%2F%2F202.194.188.19%2Fcaslogin.jsp", data=params, headers=headers)
-
题库爬取
用了Python的requests库进行页面的爬取，励志小哥写的这个库的确好用，特别是运用 requests.session()之后，处理好登录之后，再也不用管那些烦人的cookie 啥的了，用了BeautifulSoup来进行页面解析，用起来也是很顺手。开始有乱码，一看网页编码是gb2312的，稍微设置一下也OK了。
内容有了，当然要存储起来了，不然每次答题都有爬题库多麻烦，何况是些千年不变的东西。开始用的是MySQL，然而编码问题让人头疼，设置编码为gb2312，存储的时候说有内容 gb2312 又解析不了，于是程序就挂了。搞了很长时间也没搞定，还把我的 Sequel Pro 给搞挂了，f***!
静下心来一想，题库只要写数据库写一遍就OK了，但是答题的时候会频繁地查询数据库，用nosql数据库多好。题目做键，答案做值就行了。看过redis，但毕竟是内存型数据库，虽然快，但是还要做持久化，直接用mongodb吧，还没看过，刚好学习了，边学边用。
爬取并存储题库部分的代码：
tikubhs = [8692, 10988, 10989, 10990, 10991, 10992, 10993, 10994, 10995] # 每一类题库的编号
pages = [153, 77, 13, 18, 22, 27, 10, 39, 12] # 每一个题库的题目页数
from pymongo import MongoClient
client = MongoClient()
db = client.shitiDB # 数据库名 shitiDB
shiti_table = db.shitis # 表名 shitis
for tikubh, page_range in zip(tikubhs, pages):
for page in range(1, page_range+1):
url = "http://aqjy.qfnu.edu.cn/redir.php?catalog_id=6&cmd=learning&tikubh="+str(tikubh)+"&page="+str(page)
resp = session.get(url)
resp.encoding = 'gb2312'
bsObj = BeautifulSoup(resp.text, "html.parser")
shitis = bsObj.find_all('div', class_='shiti')
daans = bsObj.find_all('span', style='color:#666666')
values = []
for timu_str, daan_str in zip(shitis, daans):
shitibh = int(timu_str.h3.text[0:5])
timu = timu_str.h3.text[6:]
daan = daan_str.text[daan_str.text.find('标准答案')+5:].strip(' ）')
d = {'shitibh':shitibh, 'tikubh':tikubh, 'timu':timu, 'daan':daan}
values.append(d)
new_result = shiti_table.insert_many(values)
-
模拟作答
这一部分是最关键的部分，再这上面的耗时比较多，大部分时间都在研究他的数据的提交流程。
题目是分页的，且选择页面或点击上下页的时候，地址栏的地址是不变的，说明分页是通过js实现的，而不是直接用的链接：
研究得知，上下页和页面选择都是通过post数据标志到本页面实现的
搞懂了这些数据的意义和他们之间的关系，用代码模拟出来就OK了，当作到最后一页完成的时候，把
tijiao标志也设为1，POST到原URL就完成了作答，这部分代码就不贴了，文末有GitHub链接。
-
可能的改进
- 写好之后许多同学找我给答题，看看如果多的话用flask搭成个web服务。高效还不用担心我泄露你们的密码了。
- 爬题库的时候想的是爬答案的文本，爬成了ABCD的选项，多亏选项和答案文本的对应关系没变，但也造成个别问题答案会有错误，致使我给答题的同学分数基本都在297-299之间（满分300分），少有300分的同学。本来想改来着，转念一想都满分也不太好，有点误差也好，可能这部分不会改了，感兴趣的可以自己改改看。
ps: 本校的可以直接搭好拿来用就可以了，其他同学如有类似需求，这个系统是某公司开发的，好多学校都在用，folk一份改改应该也没问题。 戳到github吧，欢迎 star、folk。
