Scala Spark使用 特殊引用 使用比如hive sql或者rdd转换toDF是通过隐式转换,需要增加相关的包引用1 hive sql: ...
背景 在基于hadoop 集群的spark2环境中,使用python编写任务。groupByKeys后,对value进行处理的时候,处理函数fu...
现象 今天写好logstash后(kafka-》 logstash -》kafka ),本地测试OK后,上线后,疯狂重启,错误日志如下(没有什么...
pyspark 使用总结 配置 SparkContext SparkSession配置初始化 导入 sc从文本导入 从csv导入 1.1版本: ...
听着赵雷的《成都》,在最后90后和18岁说再见的时候,依依不舍地和2017说再见。。。 工作 傍晚和前同事一起吃饭,吃饭的地点是前公司附近的购物...
Design Microservices Architecture for Failures这是在hacknoon看到一篇微服务的文章,里面应对...
ELK已经升级到6了,希望使用6的同学,可以查看Ken同学的这篇文章 参考:ELK部署详解centos7虚拟机安装elasticsearch5....
一年又一年,匆匆2016。。。迷惘,选择,重新上路。 理性 到2016年7月,我已经工作四年了。我努力过、坚持过,更纠结过、挣扎过。收获了很多,...
Q:Why is it hard to understand what people are talking in TV Series?A:Pe...