前言 也玩了蛮久的scrapy了，scrapy底层用到的twisted还是要学习一下的，了解原理能提高自己的技术水平的说 异步编程 如果在某程序的运行时，能根据已经执行的指令...
发简信
IP属地：陕西
-
学习twisted_1 基本 -
python 装饰器详解
前言 这篇文章打算写下关于python3中装饰器的一些认识，提高一下知识水平 1 装饰器是啥 装饰器本质上是一个 Python 函数／类，它可以让其他函数／类在不需要做任何代...
-
-
消息队列RabbitMQ
前言 用多台机器爬取数据时，用消息队列的方式同步和更新任务不管是可维护性还是扩展性都是相对较为合适的方案，RabbitMQ就是一个比较合适消息队列解决方案 安装 基本上 安装...
-
机器学习入坑之logistic回归分析
前言 不管是兴趣还是趋势，笔者开始尝试入坑机器学习，慢慢做一点笔记学习下。。由于是菜鸟，数学原理就不写了，贴一些流程和公式，专业词汇可能也有点不到位问题。这里记录的是怎么训练...
-
learning scrapy 读书笔记通过阅读 《learning scrapy》这本书提高自己的爬虫知识水平，记录些觉得比较有意思的地方吧 1 xpath xpath是查找元素节点的重要工具。入门的话自行百度，...
-
selenium +phantomjs 爬取网易云音乐的评论信息1.前言 网易云音乐的网页端与服务端通讯做了加密，本人才疏学浅破解不了，于是考虑用selenium +phantomjs的方式爬取，selenium 用pip install...
-
爬虫服务端学习研究（Flask+MongoDB+Nginx）
在笔者浅显的认识中，一个简单的分布式爬虫雏形就是爬虫客户端通过RESTAPI和 爬虫服务端通讯，做的事情应该是发布和领取爬取任务，同时能够将爬取下来数据做一个文件存储，现在开...
-
MongoDB windows基本操作
作为一个爬虫，数据还是需要的，数据量不是很大的时候，MongoDB用起来挺方便的，大概写下window上怎么用，做个笔记 1.安装 去官网下载各个版本下载选个适合的3.x的版...
-
anyproxy抓包入门使用anyproxy是爬移动app的好帮手，作为中间人攻击的中间人，可以拿到请求和响应，先来看下怎么用 1.安装 2.启动 启动成功后会在可以直接访问 8002端口 进入anyp...
-
流畅的python学习笔记1
笔者使用python为3.41.字典字典中取不存在的值的时候，会抛出keyerror错误，那么怎么实现返回默认值呢？ 这种写法会返回默认值“d” 有些字典是配置项参数需要避免...
-
爬虫系列二之爬取微博用户1.爬取思路从一个用户的关注列表入手，爬取所有他关注的用户（微博限制只能看到200个），然后再以这200个入手，爬取这200个关注的。200*200 然后以此类推。由于微博的...
-
爬虫系列一之爬取旅游网站图片前言 接下来的一段时间里，将完成一个爬虫系列文章，各位请慢慢看，也请慢慢点赞这一节先讲讲大致工具和目标吧 1 目标和工具 作为菜鸟先从爬图片入手吧，下手目标就是 蚂蜂窝旅游...
-
阿里云搭建自己的私有git repo
简介 本文主要描述怎么在阿里云（Ubuntu）上搭建自己的git仓库，便于日常开发和使用 详细流程 注意以下步骤均为 阿里云root ssh登录后直接在命令行输入1、 安装g...
-
python调用gradle实现Android打包
简述 正常情况下用Jenkins直接实现apk打包是最方便的，但是要是代码是由多个仓库的代码组合起来的话，Jenkins操作起来也比较麻烦，这里就用python代码实现了下，...
-
加快apk的构建速度，如何把编译时间从130秒降到17秒
本文已授权微信公众号：鸿洋（hongyangAndroid）原创首发 公司的项目代码比较多，每次调试改动java文件后要将近2分钟才能跑起来，实在受不了。在网上找了一大堆配置...
-
美团walle多渠道打包工具的原理分析以及python实现简介 这篇文章主要讲了美团walle多渠道打包工具的基本原理，并且基于此原理利用python实现类似功能，然后用walle工具将python写入的渠道号读出，python采用...
-
Android gradle打包并自动上传简介 这篇文章主要介绍Android用gradle打包，并且调用python脚本将打包好的apk上传到fir.im供相关人员下载,对于学习gradle 打包和python 几...
-
android上 kotlin 和jni的混合使用
前言 本文探讨一下kotlin和jni的混合使用，综合考虑，jni的入口函数采用java编程，其他的android业务逻辑采用kotlin编程。c程序内容是自己在ubuntu...
