Python爬虫-扒一扒百度贴吧里的email并保存到MySQL

昨晚闲得蛋疼,看了看MySQL的文档,人生第一次用mysql,看了一会儿发现,我操,这么简单,然后就瞎瘠薄搞了搞,今天下午就想写点东西,打开了铁把就想到之前看别人视频写的爬贴吧email,个人觉得写的不好,自己正好没事干,就顺手写了个爬虫,顺带保存到MySQL,开搞把。


国际惯例,先上图 (:

还是看看数据把...输入命令

mysql查询

结果:

查询结果

一共761条,看起来还不错,当然还是有些不正确的邮箱,代码在这github.com/ZCKun/CCCoding

或者直接wget https://raw.githubusercontent.com/ZCKun/CCCoding/master/tieba_email.py下载到本地


说一下要用到的模块

requests

re

pymysql

可能有些刚入这行伙计没接触过MySQL,我就在这简单的说下如何安装和配置,我只有一台装了debian的机器,linux下操作都一样,mac应该也查不了多少,win的话可以百度


首先安装MySQL到你的机器上

这是官网: www.mysql.com/

下载地址: www.mysql.com/downloads/

社区版本下载地址: dev.mysql.com/downloads/mysql/

考虑到有些人像我当年一样没电脑只有一部android手机也写了几个月的代码的情况下,在这里我也说下如何用手机安装MySQL(mariadb),请确认你的手机是android并且版本在5.x以上最好6.x

首先在你手机安装一个软件-termux,你可以百度或者去google play下载

安装好了打开后看到熟悉的终端,输入 apt update && apt upgrade

然后开始安装mariadb(mysql的那啥。。。) apt-get install mariadb

安装好了之后 输入 mysqld 开启服务

然后另开一个窗口输入 mysql 出错。。内心懵逼啊, 我这特么不是装好了么

别慌,termux上安装mariadb时不会要你设置密码,但是我们有办法

输入 mysqladmin -u root password “你的密码” 这样就设置了你的root用户的密码了

然后输入 mysql -u root -p 回车,要求输入密码,填写你刚刚设置的密码就ok了

然后开始配置用户的host,以便于你在电脑/手机上可以方便的用python连接,我这里用电脑示范,确保你手机后台在运行服务,在你的计算机上登录你手机上的mariadb时可以用 mysql -h host -P port -u user -p 这里的host是指你手机的ip(局域网的),port端口mysql/mariadb默认是3306,user就是登录的用户

在你登录成功后,出现如下界面:

mysql shell

手机上:

android

之后输入的命令啥的都一样,我就不再一一截图了。。。

输入 SHOW DATABASES; 或者 show databases; 查看有哪些数据库

databases

可能和我的不一样,很正常,你只要确认有mysql这个数据库就可以了

接着输入 USE mysql 或 use mysql 相当于进入该数据库

mysql

看到和我的提示差不多一样就没毛病

你可以用 SHOW TABLES; 查看有哪些数据表,但是我这里就不瞎弄了

在这里我们新建一个用户,并让其他机器可以连接到来方便我们开发

输入 INSERT INTO user (Host, User, Password) VALUES ("%", "用户名", "密码");

解释一下“%”这玩意儿,如果你想让别处的机器也可以连接当前数据库的话,就这样写,“%”是MySQL里的通配符

如过用上面的命令出错了,那么你还是。。。。。。。别慌,我有办法

输入 CREATE USER "用户名"@"%" IDENTIFIED BY "密码";

但是这还不够,接着先为刚刚创建的用户新建一个数据库,比如叫:testDB

输入 CREATE DATABASE testDB;

然后给它这个数据库的所有权限,接着输入

GRANT ALL PRIVILEGES ON testDB.* TO "刚刚创建的用户名"@"%" IDENTIFIED BY "密码";

创建完了,然后检查一下是否成功,输入

SELECT Host, User, Password, Select_priv, Insert_priv, Update_priv, Create_priv FROM user WHERE User = "你刚刚创建的用户名"; 

android

出现如上图显示有东西就是创建成功,password是经过加密的,还有一点忘说了,这操作只能在root用户下才可以


linux的直接 sudo apt-get install mysql-server 就搞定了,当然不闲麻烦的去官网下载

在安装期间会要求你设置root密码,这是mysql的root用户密码,最好别忘记

在Windows上,安装时请选择UTF-8编码,以便正确地处理中文。

在Mac或Linux上,需要编辑MySQL的配置文件,把数据库默认的编码全部改为UTF-8。MySQL的配置文件默认存放在/etc/my.cnf或者/etc/mysql/my.cnf:

[client]

default-character-set = utf8

[mysqld]

default-storage-engine = INNODB

character-set-server = utf8

collation-server = utf8_general_ci

然后一切妥了,测试是否安装成功,终端下输入 mysql -u root -p 然后会车输入你的root密码,出现这样的界面就是ok了

对了,忘了创建数据表了,,,

输入 CREATE TABLE email (email VARCHAR(30));

这里第一个email是数据表的名称,第二个email是列的名称,30的意思就是限制大小30字符以内,不一定要用VARCHAR,你也可以用CHAR、DATA来表示,主要看你要存啥东西


终于开始讲爬虫了,我日,码了一个多小时的字。。。

本次的目标网址http://tieba.baidu.com/p/5178628955?pid=108443531615&cid=0#108443531615,我们得到他"?"前面的那串数字就可以了


一共13页,思路来了

1、获取爬取的帖子的页数,然后生成链接列表

2、迭代链接列表请求,之后解析

3、连接mysql数据库,然后存储

代码我就不写了,直接贴图上来


获取帖子页码


连接数据库并保存

详细代码可以在这里看到github.com/ZCKun/CCCoding

文章质量可能很烂,不过还是比较详细( 个人感觉 (: )

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容