240 发简信
IP属地:北京
  • Spark使用总结-Scala

    Scala Spark使用 特殊引用 使用比如hive sql或者rdd转换toDF是通过隐式转换,需要增加相关的包引用1 hive sql: ...

  • ImportError: No module named bson.int64问题排查

    背景 在基于hadoop 集群的spark2环境中,使用python编写任务。groupByKeys后,对value进行处理的时候,处理函数fu...

  • Logstash错误排查之-`Don't know how to handle Java::JavaLang::NullPointerException for LogStash::Pipeli...

    现象 今天写好logstash后(kafka-》 logstash -》kafka ),本地测试OK后,上线后,疯狂重启,错误日志如下(没有什么...

  • Spark 使用笔记

    pyspark 使用总结 配置 SparkContext SparkSession配置初始化 导入 sc从文本导入 从csv导入 1.1版本: ...

  • 2017,平衡与不平衡

    听着赵雷的《成都》,在最后90后和18岁说再见的时候,依依不舍地和2017说再见。。。 工作 傍晚和前同事一起吃饭,吃饭的地点是前公司附近的购物...

  • 微服务健壮性思考

    Design Microservices Architecture for Failures这是在hacknoon看到一篇微服务的文章,里面应对...

  • ELK 5.1部署

    ELK已经升级到6了,希望使用6的同学,可以查看Ken同学的这篇文章 参考:ELK部署详解centos7虚拟机安装elasticsearch5....

  • 2016, 唯有感谢

    一年又一年,匆匆2016。。。迷惘,选择,重新上路。 理性 到2016年7月,我已经工作四年了。我努力过、坚持过,更纠结过、挣扎过。收获了很多,...

  • Conversation Feedback

    Q:Why is it hard to understand what people are talking in TV Series?A:Pe...