flask+pymysql操作MySQL数据库(下)

接上文:flask+pymysql操作MySQL数据库(上)

一、备份简书文章

上面实现了操作SQLAlchemy把数据存入数据库,接下来我试着把我的简书文章全部存入数据库做备份,直接上脚本:

vim modle.py

# coding:utf-8

from flask.ext.sqlalchemy import SQLAlchemy
from flask import Flask

app = Flask(__name__)
app.config['SECRET_KEY'] ='hard to guess'
app.config['SQLALCHEMY_DATABASE_URI']='mysql+pymysql://jianshu:jianshu@127.0.0.1:3306/jianshu'
app.config['SQLALCHEMY_COMMIT_ON_TEARDOWN']=True
db = SQLAlchemy(app)

class Category(db.Model):
    __tablename__ = 'categorys'
    id = db.Column(db.Integer, primary_key=True)
    category_name = db.Column(db.String(64), unique=True, index=True)
    category_url = db.Column(db.String(64), unique=True)
    user = db.relationship('Article', backref='category')

class Article(db.Model):
    __tablename__ = 'articles'
    id = db.Column(db.Integer, primary_key=True)
    article_name = db.Column(db.String(64), unique=True, index=True)
    article_url = db.Column(db.String(64), unique=True, index=True)
    article_text = db.Column(db.Text(10000))
    category_id = db.Column(db.Integer, db.ForeignKey('categorys.id'))

vim jianshu.py

# !/usr/bin/env python
# coding:utf-8

import requests
from bs4 import BeautifulSoup
from .modle import db,Category,Article

class Category_jianshu():
    '''
        获取归档信息
    '''

    def __init__(self,user_url):
        self.user_url = user_url

    def get_category(self):
        html = requests.get(self.user_url).content
        soup = BeautifulSoup(html, 'html.parser', from_encoding='utf-8')
        category_list = soup.find_all('a', class_="fa fa-book")

        category_info = []
        for category in category_list:
            category_url = main_url + category['href']
            category_title = category.get_text()
            category_info.append([category_title,category_url])
        return category_info

class Article_jianshu():
    '''
        获取每个归档中文章信息
    '''

    def __init__(self,category_url):
        self.category_url = category_url

    def get_article(self):
        html = requests.get(self.category_url).content
        soup = BeautifulSoup(html, 'html.parser', from_encoding='utf-8')
        article_list = soup.find_all('h4', class_="title")

        article_info = []
        for article in article_list:
            article_url = main_url + article.a['href']
            article_title = article.get_text()
            article_info.append([article_title,article_url])
        return article_info

class Body_jianshu():
    '''
        获取文章body
    '''

    def __init__(self, article_url):
        self.article_url = article_url

    def get_body(self):
        html = requests.get(self.article_url).content
        soup = BeautifulSoup(html, 'html.parser', from_encoding='utf-8')
        article_content = soup.find_all('div', class_="show-content")

        body = str(article_content[0])
        # 将 body 中 " 转换为 \", ' 转换为 \'
        body = body.replace('"', '\\"')
        body = body.replace("'", "\\'")
        return body

if __name__ == '__main__':
    main_url = 'http://www.jianshu.com'
    user_id = '40758c9db703'
    user_url = 'http://www.jianshu.com/users/' + user_id + '/top_articles'
    category_lst = Category_jianshu(user_url).get_category()

    '''生成数据'''
    db.drop_all()
    db.create_all()

    for cate in category_lst:
        category = Category(category_name=cate[0],category_url=cate[1])
        # 把归档目录存入数据库
        db.session.add_all([category])
        article_lst = Article_jianshu(cate[1]).get_article()
        for art in article_lst:
            body = Body_jianshu(art[1]).get_body()
            article = Article(article_name=art[0], article_url=art[1],article_text=body, category=category)
            # 存入文章信息
            db.session.add_all([article])
    db.session.commit()

执行

python jianshu.py
my-jianshu

可以看到数据都已经放到数据库中了;

二、展示数据库内容到前端

设置路由
直接在上面modle.py中加入

...
@app.route('/',methods=['GET'])
def index():
    category_names = []
    category_query = db.session.query(Category.category_name).all()
    for category_name in category_query:
        category_names.append(category_name[0])
    return render_template('index.html',names=category_names)

if __name__ == '__main__':
    app.run(host="0.0.0.0", port=8888, debug=True)

注:记得在前面 加载 render_template模块

template文件
当前目录下新建templates目录,并在里面放入index.html文件
vim index.html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
    <meta name="viewport" content="width=device-width, initial-scale=1">
    <script src="http://cdn.bootcss.com/jquery/1.11.2/jquery.min.js"></script>
    <script src="http://cdn.bootcss.com/bootstrap/3.3.4/js/bootstrap.min.js"></script>
    <meta charset="UTF-8">
    <title>Blog | Category</title>
</head>
<body>
    <div class="navbar-header">
      <button class="navbar-toggle collapsed" type="button" data-toggle="collapse" data-target=".bs-navbar-collapse">
        <span class="sr-only">Blog | </span>
      <a href="#" class="navbar-brand">简书归档</a>
      </button>
    </div>
    <div id="navbar" class="collapse navbar-collapse bs-navbar-collapse">
      {% for name in names %}
          <ul class="nav navbar-nav">
              <li><a href="#">{{ name }}</a></li>
          </ul>
      {% endfor %}
    </div>
</body>
</html>

运行

python modle.py
blog|category

这里只是展示了归档目录的内容,如需展示其他内容需要好好学习下flask的其他知识,这里我就不继续写了。


好了,关于flask操作数据库的一些简单操作及示例说明到此为止~

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,033评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,725评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,473评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,846评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,848评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,691评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,053评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,700评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,856评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,676评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,787评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,430评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,034评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,990评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,218评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,174评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,526评论 2 343

推荐阅读更多精彩内容