240 发简信
IP属地:安徽
  • DDIA-Chapter3 数据存储与检索

    数据存储与检索的相关底层实现与取舍 这一章节讲述了 数据存储与检索 的相关知识,总结一下就是:在不同的应用场景下,如何实现数据的快速检索,而采用不同的存储方案。 本章节讨论了...

  • 还没毕业之前写的,代码都不知道丢到哪里去啦!有啥问题么,可以在这里说

    hbase bulkload 踩坑

    最近天天在实验室捣鼓一个大数据的项目,前期虽说数据量不是很大,但也算是跑了一个11台机器的集群。在实施之前就预料到了肯定是艰难险阻。毕竟万事开头难,然后中间难,最后结尾难 😢...

  • @warterw 并不是,不同服务的 delegation token 都是不同的。另外你说HadoopFSDelegationTokenProvider, HBaseDelegationTokenProvider 和HiveDelegationTokenProvider 并不是给 非yarn模式用的。比如你运行 spark 的程序里面带了 keytab, 那么 HadoopFSDelegationTokenProvider 就会去获取 token; 但是如果你用已经认证的 ugi 程序中使用 spark submit sdk 来提交,此时也会调用,但你这边的 keytab 配置有没有了。

    hdfs delegation token 过期问题分析

    什么是delegation token delegation token其实就是hadoop里一种轻量级认证方法,作为kerberos认证的一种补充。理论上只使用kerber...

  • 120
    hdfs delegation token 过期问题分析

    什么是delegation token delegation token其实就是hadoop里一种轻量级认证方法,作为kerberos认证的一种补充。理论上只使用kerber...

  • @糖哗啦 hbase 中的 rowkey 必须得唯一。所以你设计的时候,不存在同一rowkey 排序的问题啊。另外hbase 都是按照字典序来排序的。不知道我有没有理解错你的问题

    hbase bulkload 踩坑

    最近天天在实验室捣鼓一个大数据的项目,前期虽说数据量不是很大,但也算是跑了一个11台机器的集群。在实施之前就预料到了肯定是艰难险阻。毕竟万事开头难,然后中间难,最后结尾难 😢...

  • @糖哗啦 请问下是哪边的排序

    hbase bulkload 踩坑

    最近天天在实验室捣鼓一个大数据的项目,前期虽说数据量不是很大,但也算是跑了一个11台机器的集群。在实施之前就预料到了肯定是艰难险阻。毕竟万事开头难,然后中间难,最后结尾难 😢...

  • hbase bulkload 踩坑

    最近天天在实验室捣鼓一个大数据的项目,前期虽说数据量不是很大,但也算是跑了一个11台机器的集群。在实施之前就预料到了肯定是艰难险阻。毕竟万事开头难,然后中间难,最后结尾难 😢...

  • 建议修改下标题,是 binLog ,文章中也是一会 binlog 一会 binglog

    数据异构的武器-BINLOG+MQ

    1、定义 何谓数据异构,上周交易部门商品的同事过来做分享,又看到这个词,他的PPT里面是 数据库异构。其实我们以前做的事情,也是可以成为数据异构。比如我们将DB里面的数据持久...