240 发简信
IP属地:黑龙江
  • 爬虫的增量式抓取和数据更新

    一些想法 页面爬的多了,量上去了之后,就会遇到其他的问题,其实不管做什么技术量大了都会有问题。一般情况下,我认为解决"大量"问题的思路有两个:一种是着力于优化系统的能力,让原...

  • Scrapy爬虫入门教程十三 Settings(设置)

    Python版本管理:pyenv和pyenv-virtualenvScrapy爬虫入门教程一 安装和基本使用Scrapy爬虫入门教程二 官方提供DemoScrapy爬虫入门教...

  • 2018-09-17

    今天在flask中开多线程发现怎么开都有问题,具体表现为,开启多线程后,主线程被堵塞,子线程一直运行,无response,客户端被挂起,后来查看发现原因是在启动flask时用...

  • supervisor 配置

    摘自https://blog.csdn.net/liuxinmingcode/article/details/50033101

  • 2018-09-05

    今天装依赖环境时,遇到蛮多坑,python在ubuntu上安装还是很麻烦,最好还是下好安装包以后,通过虚拟环境来进行操作。在安装uwsgi时发现,必须得先安装apt-get ...

  • 120
    FlaskCache文档

    安装 使用 cache缓存是通过使用一个cache实例进行管理 可以使用init_app方法在初始化cache后设置它 如果有多个cache实例以及每一个实例都有不同后端的话...

  • 第一个tensorflow的demo

    首先创建随机的100个数据x_data目标函数y_data =0.1*x_data+0.3这里0.1为Weight,0.3为biases 利用tensorflow预设一个随机...

  • 2018-07-25

    supervisor的启动顺序:以下启动顺序由上到下优先级,依次递减 常用conf配置 错误1 解决方法 错误2 解决方法 摘自http://blog.51cto.com/l...

  • 使用python来操作redis用法详解

    1、redis连接 redis提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,R...

  • 2018-06-08

    tornado这个框架之前用过,但是没深入的看过,今天仔细的看了看,比较了下这种异步非阻塞的模式。首先是同步异步,阻塞非阻塞的比较: 1.同步和异步:主要关注消息通信机制(重...

  • django-celery部署

    Django的setting中添加 setting同级celery文件创建 supervisord配置

  • 2018-04-27

    linux下开机启动脚本 /etc/rc.local文件修改头文件为#! /bin/bash将语句放在exit 0前执行

  • 考勤系统心得

    这次项目做的考勤系统,由于存在多种考勤规则,因此在时间判定上相当复杂,费了很 大的一番功夫,本来应该在考勤的时候用当前考勤时间参照考勤规则来判断考勤状态,但是由于项目时...

  • 2018-04-18

    这两天考勤系统需要设置定时任务python脚本开头需指定解释器文件地址,#!/path/pythoncrontab -e 添加定时任务crontab -l 显示全部任务cro...

  • 2018-04-10

    这两天部署项目到服务器,装face_recongnition库时疯狂报错,有关依赖都安装了,dlib就是装不上,后来cmake编译后仔细看了报错信息,发现是python-de...

  • uwsgi常用配置

    [uwsgi]socket = 127.0.0.1:5051pythonpath = /home/flaskmodule = managewsgi-file = /home/...

  • 2018-03-15

    好久没写随笔了,可能是最近代码写的比较少了。。。所以踩坑比较少,有点懒啊自己。不过今天倒是遇到一个问题,在使用Flask框架搭的后端服务器上时,使用Flask-SQLalch...

  • 18.1.18

    之前在写爬虫代码的时候,将数据库的存入放到了爬取的代码中了,然后会造成第二天来看结果时,发现数据库的连接失效导致程序自动关闭,后半夜的数据经常没有爬取到。当时还以为是数据库的...