240 发简信
IP属地:上海
  • spark读取oracle数据调优

    使用spark自带的上下界限来分区的不均匀性导致传输慢(木桶效应): oracle结合分页查询防数据传输倾斜: 下面这种写法基本是串行的没有充分...

  • scala几个关键词

    public/private/protected的具体区别: 在说明这四个关键字之前,先对class之间的关系做一个简单的定义,对于继承自己的c...

  • 抽象数据类型ADT

    抽象数据类型ADT是指一些数据以及对这些数据所进行的操作的集合。这些操作可以描述数据是怎么样的也可以允许程序通过这些操作去修改这些数据。 不要让...

  • 解题与设计

    如果你直接解决不出来提出的这个问题,那么试着先去解决一些相关的问题。你能设想出一个更容易解决的与此有关的问题吗?一个更一般的问题?一个更特殊的问...

  • 架构的典型组成部分

    程序组织: 系统架构首先要以概括的形式对有关系统做一个综述,如果没有综述,要想将成千上万的局部图片(或十多个单独的类)拼为一副完整的图画是相当伤...

  • 什么是软件架构

    开发过程中的各种不同活动: 定义问题 需求分析 规划构建 软件架构(高层设计) 详细设计 编码与调试 单元测试 集成测试 集成 系统测试 保障维...

  • 需求核对表

    针对功能的需求: 1.是否定义了系统的全部输入,包括来源,精度,取值范围,出现频率等? 2.是否定义了系统全部的输出,包括目的地,精度,取值范围...

  • hadoop基本配置

    core-site.xml: <configuration> <name>fs.defaultFS</name> <value>hdfs://n...

  • spark基本配置

    spark-default.sh: spark.master spark://master:7077 spark.event...