hive配置了元数据存储的介质是mysql数据库，这时候还是local模式，hiveserver2是通过自己的JDBC程序直接访问MySQL，从而获取元数据。 但是如果一旦配...
发简信
IP属地：青海
-
hive开启metastore、hiveserver2
-
hive3.1.2报错tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apach...启动hive客户端，执行show databases时，报错： tried to access method com.google.common.base.Stopwatch...
-
beeline启动报OutOFMemoryError
beeline客户端启动时报错OutOFMemoryError：Java heap space 删除~/.beeline/history文件即可。 该文件是beeline每次...
-
-
idea导入hadoop源码提示proto相关包找不到
首先，电脑先安装ProtocolBuffers2.5.0。 然后进入到缺包的子模块下的proto目录下，执行转换proto文件为java文件的命令即可。 例如： 执行命令：c...
-
sqoop的eval工具
eval的作用：Evaluate a SQL statement and display the results，也就是说eval像是一个数据库的客户端工具。 一、使用eva...
-
shell调用beeline导致nohup后台进程stopped
nohup启动java进程调用shell执行beeline命令导致nohup进程stopped，java进程消失了。 环境变量增加如下之后解决。 export HADOOP_...
-
scalaTest的使用
修改pom.xml，添加以下内容 <!--依赖--><dependency> <groupId>org.scalatest</groupId> scalatest_2.11...
-
在mysql中给查询的结果添加序号
方法1： Select (@i:=@i+1) as RowNum, A.* from Table1 A,(Select @i:=0) B order by a.id desc...
-
MYSQL实现 RANK函数排序功能
-- 创建表create table sc(cid int,score int);-- 插入数据insert into sc values(1,10),(1,21),(2,1...
-
DataFrame自定义聚合函数，groupby后agg/apply调用
1、多列聚合计算，自定义聚合函数，其实groupby后里面是一个子dataframe，处理的时候当成是dataframe处理即可。例如： #自定义聚合函数，将数据框两列转成字...
-
Python将oracle的blob/clob转string
直接将读取到的blob/clob字段用read()方法获取即可，例如：result[0][2].read() #clob转换字符串def clobToString(x): ...
-
Python操作es批量upsert数据
from elasticsearch import Elasticsearchfrom elasticsearch import helpers# elasticsearch...
-
Dataframe转化为字典、元组
Dataframe转化为字典格式的两种方法： da = df.to_dict(orient='records') das = df.to_json(orient='recor...
-
DataFrame列名大小写自动转换
df列名批量转化为小写：org_project.columns=org_project.columns.map(lambda x:x.lower()) df列名批量转化为大写...
-
设置layui的select选择框向上弹出
.selectUp .layui-form-select dl{top: auto;bottom: 36px;} 参考原文：https://blog.csdn.net/han...