发简信
IP属地：北京
-
ClickHouse在京东能源管理平台的实践本文首次发表在京东云IoT专栏，原文地址https://developer.jdcloud.com/article/1423?mid=12[https://developer...
-
@摇曳在黄昏 你好，我这边推送千万甚至上亿级别的数据，没有出现过这个问题。从日志看，视乎是由于设置的提交批大小比Phoenix端的配置大导致的报错。尝试将batchsize设置更小，和你Phoenix集群的设置大小匹配。
通过JDBC方式将Spark RDD/DataFrame分布式写入Phoenix
背景 在实际应用场景，出于安全等方面考虑，有时候大数据平台不暴露对Phoenix的zookeeper url连接方式，本文提供一种基于jdbc的方式实现spark将Spark...
-
@摇曳在黄昏 如果不是自己搭建的spark，建议别改spark源码打包，开发spark app，我们通常的做法是不把spark打包到jar的，直接使用集群环境。本文是直接仿照spark的dbuyil源码实现的，不需要修改源码。
通过JDBC方式将Spark RDD/DataFrame分布式写入Phoenix
背景 在实际应用场景，出于安全等方面考虑，有时候大数据平台不暴露对Phoenix的zookeeper url连接方式，本文提供一种基于jdbc的方式实现spark将Spark...
-
这是笔者考虑掉df上分区数太少，并行度不够，采用的对dataframe进行重分区处理。大家调用的时候直接传入df也是可以的。
通过JDBC方式将Spark RDD/DataFrame分布式写入Phoenix
背景 在实际应用场景，出于安全等方面考虑，有时候大数据平台不暴露对Phoenix的zookeeper url连接方式，本文提供一种基于jdbc的方式实现spark将Spark...
-
