安申

@愿祖国早日统一 分区字段本身就是一个字段，如果命名为已经出现的字段，字段名就重了，不会通过的。可以用你想要分区的字段 as dt 来赋值

hive分区分桶

1.在hdfs目录上，桶是以文件的形式存在的，而不是像分区那样以文件夹的形式存在。 2.直接load data不会有分桶的效果，这样和不分桶一样，在HDFS上只有一个文件。 ...

安申

499 3 0

安申

背景：最近执行一个 select count(*)，发现mapreduce计算分片数很慢，且分片数的大小对不上 确定 hive 默认开启 map 任务前进行合并小文件的设置：...

安申

背景：公司有需求将hive数据导入es，之前是通过datax进行导数的；但是datax多线程很耗内存，并且经常性会出现一些程序上的问题。故想要使用hive外部表映射es的方式...

安申

背景：这两天安装cdh，重新温习了下linux的使用，关于卸载应用，特记录 强制删除已安装程序及其关联：rpm -qa|grep python|xargs rpm -ev -...

安申

背景：最近准备在自己的虚拟机上搭一个cdh的集群，在启动cloudera-scm-agent失败排查思路： 进去log日志查看报错信息：/usr/bin/env: pytho...

安申

背景： 最近电脑突然不知怎么的，输入法由简体转为繁体，并且不知如何更改 使用 ctrl+shift+f可进行简繁体切换 在使用idea时ctrl+shift+f没出现查询窗口...

安申

背景：公司数据涉及到从hive往es中导数，使用datax来进行抽取 报错：One or more of the items in the Bulk request fail...

安申

背景：在工作过程中，一直经常性接触到hql拼接字符串的工作内容，但每次都是最常规的拼接，效率并不高。故调研发现hive早已提供相关函数进行更简便处理。 named_struc...

安申

背景： 工作中多次使用到hql的时间转换，但一直未记录相关文档，每次查找都十分麻烦，故文档记录方便下次使用。 查找 hive 自带函数 展示hive内置的所有函数show f...

安申

hbase shell 语句 hbase 查询结果显示中文HBase 查询出来的数据，中文显示为十六进制乱码get 'namespacedemo:tabledemo','11...

安申

spark入门 1. spark和hadoop的区别 Hadoop主要解决，海量数据的存储和海量数据的分析计算 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引...

安申

notepad++ Edit(编辑)->Character Panel(字符版)选择你需要的特殊字符 vim 1. 想要输入\u0001，则需输入 ctrl+v+a2. 想要...

安申

字符匹配规则[aeiou]匹配字符串 "google runoob taobao" 中所有的 e o u a 字母[^aeiou]匹配字符串 "google runoob t...

安申

1.节点创建 2.查询数据 3.创建更多数据 4.通过关系找数据 5.通过节点属性找数据 6.间隔节点找数据 7.根据不同条件过滤数据 8.匹配所有数据 9.删除所有数据 1...

安申

jdk,jre的区别 JDK(Java Development Kit Java开发工具包) JRE(Java Runtime Environment Java运...

安申

背景：由于最近团队内部需要使用airflow调度，故使用进行一系列调度任务。记录一些在使用过程中遇到的问题 1.启动airflow airflow 安装完成后，依次通过以下步...

安申

背景：最近使用接触 ES 总体来说还是比较多的，故记录一下信息 1.查看所有索引 GET /_cat/indices?v 2.查询es集群节点 GET /_cat/nodes...