POC：POC测试，即Proof of Concept，是业界流行的针对客户具体应用的验证性测试，根据用户对采用系统提出的性能要求和扩展需求的指标，在选用服务器上进行真实数据...
发简信
IP属地：广东
-
迁移你的业务到ClickHouse
-
Impala与Hive混合使用的一个深坑
Hive版本 1.1.0-cdh5.9.0 Impala版本2.7.0-cdh5.9.0 Impala的高性能很好的弥补了Hive的查询响应慢的缺陷，在生产中若有实时...
-
Hue 的SQL查询页面搜索框生效问题处理集群启用Sentry之后，Hive和Impala的SQL查询页面多了一个搜索框，通过搜索框搜索时，侧边栏一直处于加载状态，如下图所示。 首先通过Chrome抓包看到搜索的HT...
-
Yarn容器超过内存限制问题处理最近发现Oozie上有个任务经常会跑失败，oozie的日志（标准输出、标准错误输出、系统日志）都看上去很正常，没有异常输出. 继续查看nodemanager上的容器日志 在容...
-
Hue的Impala模块没有释放连接的问题解决最近在研究Impala的准入控制这块，其中一个参数是限制一个池中的最大并行执行的查询数，假设这个值是20，那么当提交一个查询到impala,而集群中已经有20个查询正在执行了...
-
一个由TimeZone引发的BUG数据平台的数据流水线如下图所示，最近的平台的数据出现异常，数据导入过程中随机出现Impala中的数据比Loghub中的数据少了很多。从数据流水线来看只有两种可能：1.从MQ上...
-
HBase 一致性检查与修复
HBase 不一致表现为： region不一致：当一个region被分配到多个regionserver或者没有regionserver持有该region时，则产生region...
-
DataNode退役
准备工作： 1.确保依赖该主机的其他应用上的相关配置已经调整至其他机器。 2.确保该主机上除DataNode进程外其他CDH相关进程均已正常停止。 3.确保HDFS上有足够的...
-
Impala读取HBase外部表的一个坑
最近业务部门反应数据上报上来数据中有字段缺失。有个字段daily_amount在MQ里面是有值的，但是导入到impala后查到的确为NULL。先交代一下背景。数据平台的数据流...
-
Android 程序员，专注于相关知识的梳理总结。<br><br>Android 知识梳理目录：<a href="https://www.jianshu.com/p/fd82d18994ce" target="_blank">http://www.jianshu.com/p/fd82d18994ce</a><br><br>Android 知识梳理目录 - To do：<br><a href="https://www.jianshu.com/p/9e0a64147d85" target="_blank">https://www.jianshu.com/p/9e0a64147d85</a><br><br>Android 面试文档：<a href="https://www.jianshu.com/p/8456fe6b27c4" target="_blank">http://www.jianshu.com/p/8456fe6b27c4</a><br><br>我是如何准备 Android 技术面试的~：<br><a href="https://www.jianshu.com/p/a1a68a15ddde" target="_blank">https://www.jianshu.com/p/a1a68a15ddde</a><br><br>Android 程序员入坑 Flutter：<a href="https://www.jianshu.com/p/1679fd4d3639" target="_blank">https://www.jianshu.com/p/1679fd4d3639</a>
-
JDBCTemplate的一个坑
最近给数据平台的模型查询部分加了一个查询缓存。通过Spring AOP实现，思路是将查询结果通过gson序列化后存储在HBase中。 List > query(String ...
-
Hadoop集群硬件选择
搭建一个Hadoop集群需要选择合适的主机，这里主要考虑CPU、内存、硬盘、网卡，另外一个Hadoop集群的主机数通常会具有一定规模几十台、上百台甚至更多，那么主机自身的功耗...
-
和Spring Boot相关的一切，涵盖Java后端技术栈
-
你这个病，叫做太爱思考人生
我家小妹妹有天气冲冲的将一摞子书往桌上一堆，像是受了天大的委屈一样撅起嘴，“我不学习了，也不考什么雅思了，考了有怎么样，又不一定能出国，出了国也不一定过的好，没意思。” 家中...
