# -*- coding: utf-8 -*-
import json
import scrapy
from scrapy import Request
class StandardSpider(scrapy.Spider):
name = 'standard'
"""
重写start_requests方法，第一个请求会从这里发出，
当然也可以写类属性：start_urls = ['http://xxx.com'],默认的回调函数是parse（），
在默认的回调函数中写 start_requests方法内的代码也是一样的，
目的是爬虫一执行就会执行定义好的请求地址，并且保存cookies;
"""
#第一次发起get请求来保存服务器设置的cookies,
#已经从get的response中提取有价值信息，为登陆提供服务
def start_requests(self):
#meta是核心方法，通过它来保存服务器设置的
return [Request(url='http://xxxxxx/login',meta={'cookiejar':1},callback=self.post_login)]
def post_login(self,response):
"""
这里通常的写法是：return scrapy.FormRequest.from_response(xxxxx),
这里的from_response方法会上一个response中提取form表单中的action属性值，
所以，确保你的response中一定是有form表单的，否则，一定会报错，
报错的内容是”No <form> element found in “，所以当您用from_response这个方法的时候，
一定要确保，您的response中是有from表单的（有些变态的登录页面，form表单不是静态的），
我这里并没有用from_response这个方法来自动提取登录的post地址，
而是用了FormRequest实例，手动指定post地址，
meta参数同样是要带上的，将response.meta['cookiejar']赋值给cookiejar
回调函数随便怎么写了，已经登录成功了，你可以再次return Request,
也可return item
"""
return scrapy.FormRequest(
# response,
url = 'http://ntlias-stu.boxuegu.com/user/login',
formdata={
'loginName':'A171200615',
'password':'nishijiba'
},
meta = {'cookiejar':response.meta['cookiejar']},
dont_filter = True,
callback = self.after_login,
)
def after_login(self,response):
yield Request(url='http://www.pornhub.com',meta={'cookiejar':response.meta['cookiejar']})
scrapy模拟登录方法以及你可能遇到的坑
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 星期五小家伙陪着我和先生一起看电视，正好看到一幕很感人的剧情，一位三十岁的年轻人事业遇到了低谷，付不起母亲所住的疗...
