240 发简信
IP属地:江苏
  • 资料在哪里??

    大数据开发体系,进来了解一下?

    “5G失败、物联网已死、鼓吹大数据无用论”打开手机又是承接今日份的“丧”,这种丧味十足的帖子我们已经被投喂得太多了,还是原来的配方,还是熟悉的味道,说这些话的人,多少显得无聊...

  • Impala内存优化

    一. 引言Hadoop生态中的NoSQL数据分析三剑客Hive、HBase、Impala分别在海量批处理分析、大数据列式存储、实时交互式分析各有所长。尤其是Impala,自从...

  • 兄弟,,只有标题,没有内容。内容有没有啊,急,在线等

    记一次CDH之元数据丢失处理

    ..

  • @望山不是山 这两个都设置了,然后报错:java.lang.IllegalArgumentException: java.net.UnknownHostException:

    Spark跨集群提交

    背景 线上存在两套yarn集群,现在需要将spark应用从集群1提交至集群2上面运行 解决方法 在spark-env.sh中增加export HADOOP_CONF_DIR=...

  • 这种方法不行啊,报目标集群的地址找不到啊

    Spark跨集群提交

    背景 线上存在两套yarn集群,现在需要将spark应用从集群1提交至集群2上面运行 解决方法 在spark-env.sh中增加export HADOOP_CONF_DIR=...

  • 120
    几秒完成百万行Scala代码编译?

    做为开发Spark的最主要公司,砖厂【Databircks】是如何开发的呢?也是用SBT?还是用Maven?其实我们用的是Bazel。可以脑补,一百多个人日以继夜地往代码库里...

  • 调用方法里的repartitions代表啥,为啥要用这种方式调用

    通过JDBC方式将Spark RDD/DataFrame分布式写入Phoenix

    背景 在实际应用场景,出于安全等方面考虑,有时候大数据平台不暴露对Phoenix的zookeeper url连接方式,本文提供一种基于jdbc的方式实现spark将Spark...

  • Redis 入门 01

    1) Redis 简介 Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库。 2) 数据类型 2.1. ...

  • Java面试必问:抽象类和接口的区别

    抽象类和接口的区别: 抽象类可以实现代码的复用;抽象类不可以创建实例对象; 有抽象方法的类一定是抽象类,抽象类中的方法可以不是抽象的; 1.抽象类可以有构造方法,接口中不能有...