240 发简信
IP属地:江苏
  • SQL实现Structured Streaming

    ### 需要的配置只有一个sql文件 ### 代码整体的结构参考开源项目 [waterdrop](https://github.com/InterestingLab/wate...

  • 120
    Nginx配置hbaseweb转发

    目标 为了公司集群的安全考虑,hadoop和hbase的web访问只能供有限的人访问 而要实现内网机器给外网访问,要解决的问题是: 1.hadoop、hbase页面上的url...

  • spark调优

    数据序列化 内存调整 内存管理概述 确定内存消耗 调整数据结构 序列化RDD存储 垃圾收集调整 其他考虑因素 并行程度 减少任务的内存使用情况 广播大变量 数据位置 概要 由...

  • spark监控

    有几种方法可以监控Spark应用程序:Web UI,指标和外部检测。 Web界面 默认情况下,每个SparkContext都会在端口4040上启动Web UI,以显示有关应用...

  • Kafka Consumer各种提交方式

    普通的API publicstaticvoidCommonDemo(){finalProperties properties =newProperties() {{ ...

  • kafka0.11Exactly Once语义与事务机制原理介绍

    http://www.aboutyun.com/thread-24367-1-1.html 问题导读 1.为什么要提供事务机制? 2.Exactly Once出现在哪个版本?...

  • DirectKafkaInputDStream源码分析(包含动态分区感知)

    先上一个官网的栗子: object DirectKafkaWordCount { def main(args: Array[String]) { if (args.le...

  • Kafka性能测试之produce

    在kafka的bin目录下,有两个脚本kafka-producer-perf-test.sh和kafka-consumer-perf-test.sh,这两个脚本的作用是用来测...

  • 120
    如何使用 Java 调取 Python、R 的训练模型?

    原文地址:https://mp.weixin.qq.com/s/mqAkgma3CBFNTxl__vktKQ 在工业界,我们经常会使用 Python 或 R 来训练离线模型,...