Avatar notebook default
分布式大数据
21篇文章 · 21033字 · 1人关注
  • Resize,w 360,h 240
    Sqoop export 数据表字段不一致问题

    今天从hdfs中导数据到mysql，遇到如下错误。 最终发现是因为hdfs中数据表字段是46个，而本地数据表字段是48个，比hdfs中多了两个，...

    0.1 4417 0 2
  • Resize,w 360,h 240
    Sqoop工具从hive导出数据到MySQL踩坑记

    这两天有一个需求如文章题目所示，要把之前从mysql数据库导出到hive上的数据再反向操作导到mysql，具体用途就是生产mysql数据库会备份...

    16176 0 0
  • CircleCI构建Android SDK升级

    最近在适配Android8，把targetSdkVersion升级到27以支持android8.1了 适配完后的一段时间内没发现什么问题，后来在...

    818 0 0
  • Spark集群部署

    一、简介 Spark是UC Berkeley AMPLab开发的类MapRed计算框架。MapRed框架适用于batch job，但是由于它自身...

    2131 0 0
  • Hbase安装部署

    一、Hbase简介 HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开...

    311 0 1
  • HBase 使用示例

    使用示例 创建表#语句末尾没有分号。这行语句创建表resume，表有三个列族：binfo、edu和workhbase(main):001:0> ...

    475 0 0
  • HIVE安装与使用-内嵌模式

    一、Hive简介 什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并 提供类SQL查询...

    0.6 2203 0 4
  • Shell脚本实现MapReduce统计单词数程序

    一、原理介绍 概述Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和R...

    3558 0 0
  • hadoop处理字典文件

    一、背景说明 最近得到一批字典文件需要处理，当然原始的字典文件格式是不能直接当做字典来用的，而且这一批字典格式也不同一。刚开始都是一批压缩文...

    897 0 0

文集作者