【爬虫】(六)Python数据存储之MySQL(上)

date: 2017-02-21 10:48:05

PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库,Python2中则使用mysqldb。
PyMySQL 遵循 Python 数据库 API v2.0 规范,并包含了 pure-Python MySQL 客户端库。

PyMySQL 安装

在使用 PyMySQL 之前,我们需要确保 PyMySQL 已安装。
PyMySQL 下载地址:https://github.com/PyMySQL/PyMySQL
如果还未安装,我们可以使用以下命令安装最新版的 PyMySQL:

pip install PyMySQL  

强烈建议使用pip,实在是神器。
虽说Python安装第三方库全是看运气,但是自从上手Python3,一直pip从未出错。

之前讲的是讲教务处的数据爬下来存储CSV格式的,现将CSV文件导入MySQL。

用MySQL创建数据库和数据库表

不会就去学,才是最实用的学习方法。

本科阶段学过一门数据库的课,SQL,但是早都忘完了。但是概念还是,上手还是很容易的,

1、使用SHOW语句找出在服务器上当前存在什么数据库:SHOW DATABASES;


    mysql> SHOW DATABASES;
    +--------------------+
    | Database   |
    +--------------------+
    | information_schema |
    | mysql  |
    | performance_schema |
    | sys|
    +--------------------+
    4 rows in set (0.03 sec)   

2、创建一个数据库abccs: CREATE DATABASE test12;

mysql> CREATE DATABASE test12; 

注意不同操作系统对大小写的敏感。

3、选择你所创建的数据库:USE test12

mysql> USE test12 
Database changed 

此时你已经进入你刚才所建立的数据库test12.

4、 创建一个数据库表:CREATE TABLE student ();
首先看现在你的数据库中存在什么表:

mysql> SHOW TABLES; 
Empty set (0.00 sec) 

说明刚才建立的数据库中还没有数据库表。下面来创建一个数据库表student:

我们要建立一个学生信息的便,表的内容包含学生:学号、姓名、培养单位、入学年月、专业、导师。

mysql> CREATE TABLE student (id INT,name VARCHAR(20),academy VARCHAR(20),enrollm
entdate DATE,major VARCHAR(20),advisor VARCHAR(20));

由于name等列值是变化的,因此选择VARCHAR,其长度不一定是20。可以选择从1到255的任何长度,如果以后需要改变它的字长,可以使用ALTER TABLE语句。入学日期列则使用DATE数据类型。
创建了一个表后,我们可以看看刚才做的结果,用SHOW TABLES显示数据库中有哪些表:

mysql> SHOW TABLES;
+------------------+
| Tables_in_test12 |
+------------------+
| student  |
+------------------+
1 row in set (0.00 sec)

5、显示表的结构: DESCRIBE mytable;

mysql> DESCRIBE student;
+----------------+-------------+------+-----+---------+-------+
| Field  | Type| Null | Key | Default | Extra |
+----------------+-------------+------+-----+---------+-------+
| id | int(11) | YES  | | NULL|   |
| name   | varchar(20) | YES  | | NULL|   |
| academy| varchar(20) | YES  | | NULL|   |
| enrollmentdate | date| YES  | | NULL|   |
| major  | varchar(20) | YES  | | NULL|   |
| advisor| varchar(20) | YES  | | NULL|   |
+----------------+-------------+------+-----+---------+-------+
6 rows in set (0.02 sec)

6、 往表中加入记录

我们先用SELECT命令来查看表中的数据:
mysql> select * from student;
Empty set (0.00 sec)
这说明刚才创建的表还没有记录。

一般情况下加入一条新记录:

mysql> insert into mytable 
-> values (′aabb′,′cc′,′xxxx-xx-xx′,′dddd′); 
Query OK, 1 row affected (0.05 sec)

再用上面的SELECT命令看看发生了什么变化。我们可以按此方法一条一条地将的记录加入到表中。

再使用如下命令看看是否已将数据输入到数据库表中:

mysql> select * from mytable;  

CSVToMySQL

我们要用Python把CSV文件存入MySQL。

对爬取下来的CSV文件做处理:


    csvFile = open('./student.csv', 'w',encoding = 'utf-8')
    writer = csv.writer(csvFile)
    writer.writerow(('姓名','学号','培养单位','入学年月','录取方式' ,'专业','研究方向','导师','已完成总学分','学位课加权平均分'))
    csvRow = []
    
    try:
        for row in rows:
            for cell in row.findAll('td'):
                csvRow.append(cell.get_text().strip())
    
        writer.writerow(csvRow)
    
    
    finally:
    csvFile.close()  


CSV存为MySQL


    def saveMysql(self):
        csvFile1 = open('./student.csv', 'r', encoding='utf-8')
        reader = csv.DictReader(csvFile1)

        for e in reader:
            #连接到数据库
            connection = pymysql.connect(host='127.0.0.1', user='root', password='root', db='test12', charset='utf8',
                                         cursorclass=pymysql.cursors.DictCursor)
            # 执行sql语句
            try:
                with connection.cursor() as cursor:
                    sql = "insert into `student`(`id`,`name`,`academy`,`enrollmentdate`,`major`,`advisor`)values(%s,%s,%s,%s,%s,%s)"
                    # 使用 execute()  方法执行 SQL 查询 
                    cursor.execute(sql, (
                    e['学号'].strip(), e['姓名'].strip(),e['培养单位'].strip(), e['入学年月'].strip(), e['专业'].strip(), e['导师'].strip(), ))

                    connection.commit()
            finally:

                connection.close()    

结果:

mysql> select * from student;
+------------+--------+--------------------+----------------+-------------------
----+---------------------------------------+
| id | name   | academy| enrollmentdate | major
| advisor   |
+------------+--------+--------------------+----------------+-------------------
----+---------------------------------------+
| 1601120338 | 肖洒   | 通信工程学院   | 2016-08-30 | 电子与通信工程
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,602评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,442评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,878评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,306评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,330评论 5 373
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,071评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,382评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,006评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,512评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,965评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,094评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,732评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,283评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,286评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,512评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,536评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,828评论 2 345

推荐阅读更多精彩内容