240 发简信
IP属地:上海
  • 120
    数仓--Theory--对数据中台的理解

    本文从概念和理论上进行整理学习 数据中台是什么 主流概念上讲 数据中台是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。数据中台把数据统一之后,会形...

  • Mybatis插入SQLServer数字时丢失小数位

    Mybatis批量插入时会遇到丢失Decimal小数位的问题,在一个插入批次中,Decimal字段的精度是由第一条插入数据的精度决定的,如果后面的数据精度大于第一条的精度,就...

  • Flume启动问题

    在虚拟机上启动Flume时报内存不足的错误: 第一反应以为是虚拟机的内存太小,但每个虚拟机至少都有2G的内存,而且仅仅只启动了flume,所以光启动flume就报错,应该不是...

  • Hive一行拆多行、多行拼一行

    一行拆多行结合使用了lateral view和explode。多行拼一行结合使用了concat_ws与collect_set,某些hive版本支持group_concat可以...

  • 120
    算法的时间复杂度和空间复杂度

    算法的时间复杂度和空间复杂度 一、算法效率的度量方法 1.事后统计方法 这种方法主要是通过设计好的测试程序和数据,利用计算机计时器对不同算法编制的程序的运行时间进行比较,从而...

  • 120
    Amazon DynamoDB学习笔记(1)

    什么是DynamoDB Amazon DynamoDB 是一种完全托管的 NoSQL 数据库服务,提供快速而可预测的性能,能够实现无缝扩展。DynamoDB 可以从表中自动删...

  • 数据仓库工具箱

    数据仓库与Kimball维度建模概览 操作型系统与数据仓库 操作型系统:保存、更新、删除数据一般一次处理一个事物不必维护历史数据,只需要修改数据以反映最新的状态优化目标是更快...

  • Hive的性能优化以及数据倾斜

    hive性能优化 一、Map阶段的优化: (控制hive任务中的map数,确定合适的map数,以及每个map处理合适的数据量)。 map个数影响因子: input目录中文件总...

  • 亲密关系

    一、人际关系的构成 亲密关系和泛泛之交至少在六个方面存在程度差异:了解(knowledge)、关心(care)、相互依赖性(interdependence)、相互一致性(mu...

  • 大数据之路:阿里巴巴大数据实践

    一、总述 1.1 对大数据的理解 大、快、多样性只是表象,大数据的真正价值在于生命性和生态性。阿里巴巴称之为“活数据”。活数据是全本记录、实时驱动决策和迭代,其价值是随着使用...