image
image
三个箭头代表在python环境下
pip list
image
image
image
image
image
image
image
image
image
image
首先分析是否是javascript加载
image
另一种方法是查看网站源代码
image
timeout=20 是超时等待时间
image
我们所做的就是把url放进去红圈部分。
image
image
image
image
image
image
image
爬取网页通用框架完整代码
- 定义函数
- 设置超时
- 异常处理
- 调用函数
<pre name="code" class="python">#定义函数
def getHTMLText(url):
try:
r = requests.get(url,timeout=20) #设置超时
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except: #异常处理
return "产生异常"
if name == 'main':
url = " "
print(getHTMLText(url)) #调用函数</pre>
