IP属地：浙江
-
python连接有sasl认证的kafka
公司的kafka做了安全升级，加入了sasl认证。 使用confluent_kafka 进行认证连接kafka 首先安装confluent_ka...
-
impala中查询Kudu表不存在，无法新建问题
impala中查询kudu表提示 ：ERROR: AnalysisException: Could not resolve table refe...
-
Nginx日志Hive分析
1.业务场景 最新有一个新需求，需要对Nginx的log日志进行分析，日志每天以打包压缩上传HDFS上，采用可以用Hive直接解析，但是所...
-
数组
数组：连续内存空间的集合 适合读多写少的场景 时间复杂度 1.访问O（1） 2.搜索O（N） 3.插入O（N） 4.删除O（N）
-
链表链表：非连续内存空间，链表中每个元素还有next指针指向下一个元素 单端链表：只有next指针指向下一个 双端链表：还有指针指向上一个 链表适合...
-
Hive调优
宏观调优思路 1.资源充足加内存 2.数据接入慢调优接入工具Sqoop/Datax 3.Hive参数调优 4.sql调优 5.调整模型，提高模型...
-
-
Spark数据倾斜Spark数据倾斜表现 1.Executor lost,OOM,Shuffle过程出错 2.DriverOOM 3.任务卡在某个阶段 4.正常任...
-
Hive数据倾斜解决Hive自身走的是MR程序，Key值分布不均匀容易造成数据倾斜