爬取数据需要用python请求网络数据, https的加密实现依赖openssl
下载和安装openssl
利用源码直接安装
wget https://www.openssl.org/source/openssl-1.1.1a.tar.gz
tar -xzvf openssl-1.1.1a.tar.gz
安装zlib库
yum -y install zlib
安装openssl到 /usr/local/openssl 目录，安装之后，编译
./config shared zlib --prefix=/usr/local/openssl && make && make install
安装结束后执行以下命令
./config -t
make depend
进入/usr/local目录下，执行以下命令
ln -s openssl ssl
在/etc/ld.so.conf文件的最后面，添加如下内容：/usr/local/openssl/lib
然后执行以下命令
ldconfig
添加OPESSL的环境变量,在etc／的profile的最后一行，添加：
export OPENSSL=/usr/local/openssl/bin
export PATH=$OPENSSL:$PATH:$HOME/bin
查看openssl版本
openssl version -a
OpenSSL 1.1.1a 20 Nov 2018
built on: Mon Jan 14 08:00:39 2019 UTC
platform: linux-x86_64
options: bn(64,64) rc4(16x,int) des(int) idea(int) blowfish(ptr)
compiler: gcc -fPIC -pthread -m64 -Wa,--noexecstack -Wall -O3 -DOPENSSL_USE_NODELETE -DL_ENDIAN -DOPENSSL_PIC -DOPENSSL_CPUID_OBJ -DOPENSSL_IA32_SSE2 -DOPENSSL_BN_ASM_MONT -DOPENSSL_BN_ASM_MONT5 -DOPENSSL_BN_ASM_GF2m -DSHA1_ASM -DSHA256_ASM -DSHA512_ASM -DKECCAK1600_ASM -DRC4_ASM -DMD5_ASM -DAES_ASM -DVPAES_ASM -DBSAES_ASM -DGHASH_ASM -DECP_NISTZ256_ASM -DX25519_ASM -DPADLOCK_ASM -DPOLY1305_ASM -DZLIB -DNDEBUG
OPENSSLDIR: "/usr/local/openssl/ssl"
ENGINESDIR: "/usr/local/openssl/lib/engines-1.1"
Seeding source: os-specific
使用源码按过于繁琐，如果对软件版本没有特殊要求的话可以使用yum命令安装和更新，既方便又快捷
yum install openssl
yum update openssl
重新编译python
先看下ssl有没有被引入
>>> import ssl
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/local/lib/python2.7/ssl.py", line 60, in <module>
import _ssl # if we can't import it, let the error propagate
ImportError: No module named _ssl
报错是因为python没有带--with-ssl 选项编译
修改Setup.dist文件 (把Setup这个不带后缀的也一起改了)
vi /root/Python-3.5.3/Modules/Setup.dist
修改结果如下：（去掉最后4行的注释）
# Socket module helper for socket(2)
_socket socketmodule.c timemodule.c
# Socket module helper for SSL support; you must comment out the other
# socket line above, and possibly edit the SSL variable:
SSL=/usr/local/ssl
_ssl _ssl.c \
-DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \
-L$(SSL)/lib -lssl -lcrypto
切到python文件夹下
./configure --with-ssl
make
make install
完成之后
>>>import ssl
>>>
没有报错, 大功告成
