谢谢程老师把我带进mysql中，刚开始学习python的时候，他就推荐需要学习数据库。和他交流很多，比我小很多，但是俨然一个小老师。从新建一张表到插入数据，边做边深掘一个一个知识点。也看了很多他分享的文章，很有自己的思想，而且非常详细的在例子里备注很多知识点。

我写简书的目的还是督促自己要记录，可以经常回顾，养成一个爱学习的好习惯。

主要知识点

一、mysql的基本操作（只是目前学到的知识打个卡哈，后边还有许多操作需要自学）
二、Scrapy中引入自建的Mysql类（直接拿老师的过来用）

第一部分

mysql 的基本操作：

工具
推荐数据库管理工具：Navicat for mysql.
1）建立数据库链接，
输入连接名
主机名（本地机是localhost,或者ip地址是：127.0.0.1）
端口：3306
用户名／密码：很重要！！！（scrapy中连接mysql的接口需要）

Paste_Image.png

可以看到上边的小海豚是你的连接名。
2）连接成功后，建立自己的mysql数据库。

Paste_Image.png

注意默认字符集是utf8#

Paste_Image.png

图中的是local_db(这个也很重要）
我test的时候又新建了一个新的数据库名字是“suzy”
3）现在可以开始建表了
打mysql命令的地方在这里，点击查询，然后在空白处右键选择“新建查询”。

Paste_Image.png

命令如下：

use suzy;  # 先指定数据库名‘suzy’
create table score(   # 新建表名是score
student_name varchar(100),  
#表中的字段名“student_name“，类型是varchar(100)
course varchar(100),
score int(11),
key name(student_name)
# key是索引，把字段名student_name作为索引
)engine=innodb default charset=utf8
#默认的结尾

这样一张表就建好了。但是目前没有数据
4）插入数据到表名为suzy的表中。这样表就是一张完整表了

insert into score values('liming','chinese',90);
#这里的values（）的内容的数据类型必须和建表的时候设置的数据类型一致

也可以写成

insert into score (student_name,course,score)  #在score表的哪几个字段插入数据
values   
('liming','chinese',90); #插入数据的值

然后执行一下，数据就插进去了
可以通过以下查询语句看到表的结构和数据
4）查询表

select * from score   
# ‘*’表示score表的所有字段的数据都显示
#如果要选择某几个字段，可以写成 select course from score

Paste_Image.png

如果要指定查询表的某几条记录，可以加入条件where

SELECT field1, field2,...fieldN FROM table_name
WHERE condition

5)左连接运算---LEFT UNION（不好意思现在只学了左连接）
主体意思就是：有2张表，一张左表，一张右表吧，它两有共同都字段集，也有不同都字段集。由于左表是老大，右表想要和他连结，然后通过共同字段连结后，把右表有但是左表没有的字段集贡献给左表，左表就可以扩张自己字段集（本身字段+右表贡献都字段），这样可以理解哇
废话不说，举栗子 ：
创建新都一个表 ，假设以及插入数据如下：

score表.png

name_id表.png

第一个图就是左表，left join的左表都是数据比较全都那种，第二个图是右表，第一个张表的学生没有id，现在把第二张表student_name对应都
name_id给第一张表。需要写如下sql命令：

select a.*,b.name_id
from score as a
left join name_id as b on b.student_name=a.student_name
order by b.name_id

注意查询表都不是物理存在的表，所以我们可以对查询表中引用的物理
表做一个另命名 ，score as a 表示把表score另命名为a表，所以查询
表的字段为a.* 表示score表的所有字段。left join 的右边就是你要被左
表连结的表。on为辅助条件，就是2表都有的共同字段，这里表示如果
有b表的学生名和a表的学生名一致，则把b表学生的id给到查询表。

结果如下：

Paste_Image.png

该查询表的主体还是左表score的所有记录，只是添加了一个新的字段name_id，这个id的值是根据右表name_id的学生名对应的id。

好，先介绍这么多，现在有了这几个基础，就可以把之前scrapy版的爬虫进行改造了。

第二部分

Scrapy中引入自定义的Mysql类

我之前做的scrapy都是存储为csv，这次可以用程老师自己做的Mysql类来存储数据到mysql数据库中了。

class Mysql():
    #绑定3个参数 表名 字段列表 字段数量
    def __init__(self,table_name,field_list=[],field_num=0):
        self.table_name=table_name
        self.field_list=field_list
        self.field_num=field_num

    #建表函数
    def create_table(self):
        Field_list=[]
        for field in self.field_list:
            field+=' varchar(500)'
            Field_list.append(field)
        field_str=','.join(Field_list)

        engine='engine=innodb default charset=utf8'
        create_sql_str='create table IF NOT EXISTS %s(%s)%s' % (self.table_name,field_str,engine)
        print create_sql_str
        conn = MySQLdb.connect(host='localhost', user='root', passwd='123456', db='local_db', port=3306,charset='utf8')
        with conn:
            cursor =conn.cursor()
            cursor.execute(create_sql_str)
    #插入数据函数 接收一个字典参数
    def insert(self,item={}):
        conn = MySQLdb.connect(host='localhost', user='root', passwd='123456', db='local_db', port=3306,charset='utf8')
        #列表转字符串  用于构造insert_sql
        data=','.join(["'"+ item[i]+"'" for i in range(1,self.field_num+1)])
        with conn:
            cursor = conn.cursor()
            insert_sql='insert into %s values (%s) '% (self.table_name,data)
            print insert_sql
            cursor.execute(insert_sql)
            conn.commit()

先把这个类py文件放在scrapy的和pipelines.py同级的目录下。
如下：

Paste_Image.png

另外一个insert()方法也是一样的。
现在类已经存在在scrapy中了，我们现在需要做的就是调用这个类，奖数据存到mysql数据库中。
scarpy框架中的数据存储设置是放在pipeline.py中。

pipelines.py

from class_mysql import Mysql
field_list=['companyFullName','companySize','positionName','education','financeStage','salary','city','positionAdvantage']
field_num=len(field_list)
project=Mysql('lagoutest',field_list,field_num)
project.create_table()

class LagouPipeline(object):
    def process_item(self, item, spider):

        project.insert(item)

from class_mysql import Mysql就是我们从class_mysql.py引入Mysql这个类
field_list,field_num都是实参。
project=Mysql('lagoutest',field_list,field_num) project就是实列化这个Mysql类，把3个参数传入其中。‘lagoutest'是类中数据库的存储数据的表名。field_list就是表的字段名。
然后在把pipelines.py的自带类的方法process_item()中执行mysql的insert插入数据语句。process_item()就是表示保存数据到文件中的作用。
project.insert(item)这里到item就是我们写主爬虫的时候到yield item中的item。注意item是一个字典。我们在构造Mysql类的时候方法insert(参数）参数是一个字典。它的key=for i in range(1,field_num+1),所以在写主爬虫的时候，yield item的item需要为item[1],item[2],item[3]......,如下

Paste_Image.png

我们看一下这个执行的结果：

Paste_Image.png

可以看到local_db数据库中多了一个新建的表lagoutest。

在看一下scrapy跑的时候，可以看到insert into table的mysql语句在执行。

Paste_Image.png

总结：

第一次用sql 开心！奖励自己一个甜品！想减肥撸代码！