利用clickhouse中的toStartOf*()函数，将时间归属到相同点，然后利用分组统计即可。 toStartOf*()函数： toStartOfInterval() ...
发简信
IP属地：香港
-
Clickhouse 实现分时统计 -
ZooKeeper快速领导选举（Fast Leader Election）机制解析前言 忙乱的1月马上就要过去了，连续20多天没更新，还是写点什么找找状态比较好。 最近我们服务ClickHouse集群的ZooKeeper znode数量一度突破了300万，...
-
MapReduce Shuffle 和 Spark Shuffle 原理概述
更多大数据技术干货，欢迎关注“大数据技术进阶”微信公众号。 Shuffle简介 Shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapR...
-
Parquet与ORC：高性能列式存储格式
http://blog.csdn.net/yu616568/article/details/51868447背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，...
-
Hive调优全方位指南(转载)
正文目录 1、表层面 1.1 利用分区表优化 1.2 利用分桶表优化 1.3 选择合适的文件存储格式 1.4 选择合适的压缩格式 2、HQL层面优化 2.1 执行计划 2.1...
-
这两月“阿里和金蝶”，我的两次面试之旅
一、阿里面试，一次“期盼”和“揪心”之旅1说起与阿里的“面试姻缘”，最早要追溯到差不多10年前了。 那是2009的春天，那时的阿里远不像现在如日中天。阿里从B2B起家的，我记...
-
【转载】马蜂窝数据仓库的架构、模型与应用实践马蜂窝数据仓库的架构、模型与应用实践 （马蜂窝技术原创内容，公众号ID：mfwtech） 一、马蜂窝数据仓库与数据中台 最近几年，数据中台概念的热度一直不减。2018 年起，...
-
Canal + Kafka 实现 MySQL 的 binlog 近实时同步背景 经过上篇文章的测试 Kafka Connect For MySQL 实现增量数据同步，因为研究时间较短，网上资源较少，只能自己一步一步去探索，在理论层面上是可以实现业务...
