以前的定时任务都是使用 for循环加 sleep ，这种伪装的定时任务 有很大的局限性，为了 更好的使用数据流传输 到 hdfs，我们在不借助工具的前提下 使用 scp ...
IP属地：北京
-
关于 linux crontab 定时任务的一些思考 -
clickhouse 在hdfs 和本地推数据
CREATE TABLE test.democcc( id Int8, name String) ENGINE=Log; hadoop fs -cat /test001/zg...
-
spark创建maven工程创建scala目录并编译背景 我创建spark的maven工程的时候，在java目录同级还创建了一个scala目录。这就得考虑编译相关的事了。 解决 1、创建source folder 如下图所示，...
-
linux 查看负载和使用情况 top
top命令是看当前进程的cpu和内存等的占用情况 参数解析 对上面第三行的解释： us（user cpu time）：用户态使用的cpu时间比。该值较高时，说明用户进程消耗的...
-
maven deploy上传本地jar至nexus
maven deploy相关命令(样例) mvn deploy:deploy-file -Dmaven.test.skip=true -Dfile=XCloudJDBC_v2...
-
docker的Data Volume（数据卷) 浅析
背景 最近自己写一个dockerfile基于一个基础的image，但是基于这个基础的image生成的容器里面有一层目录有些多余，我想把它删除掉。但是发现删除不了，报错为can...
-
Jenkins 自动化构建前言 这里只是讲一些Jenkins基础的使用情况 作用 jenkins的作用是把github或者gitlab等仓库里的东西取出来，然后在jenkins容器中编译打包，然后执行...
-
elasticsearch的ingest node讲解以及Pipeline和grok分析
参考资料https://blog.csdn.net/UbuntuTouch/article/details/99702199[https://blog.csdn.net/Ub...
-
Filebeat向Elasticsearch输入log，合并行
参考资料https://blog.csdn.net/qq_41154522/article/details/107283490[https://blog.csdn.net/q...
-
FileBeat向elasticsearch传入数据，并使用GROK处理
背景 最近在捣鼓Filebeat监听springboot的日志然后将其传入到es中。这个时候日志肯定要切分单独字段存储。这个时候用到了es自带的ingest node pip...
