JOB-STOP
JOB-STOP
检查配置文件路径是否正确
Docker compose 快速构建redis-cluster前言:本环境为虚拟机搭建作为本地开发的redis-cluster 环境 (1)、软件说明: 1、redis 版本为 5.0.122、docker network 为host ...
索引优化总结。 前言 下诉情况中如果没有特别说明,都是默认都是索引都是指复合索引,查看索引长度 EXPLAIN + SQL语句结果 key_len。下表中创建了一个联合索引和...
Google 浏览器被挟持,各种百度各种杀毒软件都没用,对这些网站恶心的要死,看到就想终身拉黑。在经过一番摸索发现,只要把原来的谷歌浏览器复制一份同事修改复制后程序命名并将其...
前言 工作原因之前接触过爬虫这块技术,因为爬虫身为Java工程师的我不止学习了python,还入了易语言的坑。在网上看到各类爬虫示例虽然都是比较大的网站爬虫经历比如:前程、拉...
前言 在大数据开发中,少不了有对各种数据库的读写。经常会出现一些字段类型与数据库期望不一致报错。Spark 默认的方言对象都存放在org.apache.spark.sql.j...
登录获取token 可以说是爬虫里面最难的点,其他的只要能在浏览器上显示的都可以用http工具获取。只要稍微有点安全意识的网站登录都比较复杂,JS混淆甚至可能密码加密等等操作...
cd 打开目录 tail -1000 xxx.log 打开文件 倒数1000行 并卡出 tail -1000f store-service-info.log | grep "...
ssh-keygen -t rsacp id_rsa.pub authorized_keys 拷贝 id_pub 文件到对应目录下 本地公钥拷贝到其他服务器上 cat id...
背景交代 由于我们应用系统使用的是mongo,所以每次操作结果都要输出到MongoDB方便使用 。 思路 1、遇到这样的情景我第一时间打开Spark官网 Mongo数据源2、...
自定义聚合函数的场景 业务需要统计最接近两年某商品在门店销售价格的中位数 由于spark 原生并不支持这样的聚合操作,所这个时候自定义聚合函数产生了。中位数:所有输入数据排序...
程序打包 注意1、打包前注意把本地模式配置去掉。2、 Spark通过一系列的逻辑执行计划后编译成物理执行计划,离线作业在Spark On yran 模式中 Spark 最终会...
1、环境准备 1、JDK配置,Scala 配置 。目前教程环境用的是 hadopp2.6-CDH5.6.0、spark 2.1.0 、jdk 1.7u51、scala2.11...
外网映射开了没有
Docker最新Redis-cluster 集群配置一、安装最新的redis客户端。 默认latest 版本最新 docker pull redis 查看镜像时候安装成功 docker images |grep "redis"...
一、安装最新的redis客户端。 默认latest 版本最新 docker pull redis 查看镜像时候安装成功 docker images |grep "redis"...