1. object ExtractEquiJoinKeys 一个模式匹配，官方注释是： A pattern that finds joins w...
投稿
收录了12篇文章 · 3人关注
-
Spark2.1和2.2 SQL物理执行策略之Join源码分析以及不同类型Join区分
-
Spark2.1和2.2 SQL物理执行策略关键源码分析
1. 文章开始之前 先附上一句SQL，使用tpc-ds的表结构，我们围绕这句SQL讲。 SQL： SQL> selectavg(cs_ext_d...
-
Storm的可靠性与ack机制
无论是实时处理还是离线处理，都会遇到一个不可避免的问题是，失败任务如何重做？Storm提供了一个ack机制。首先来看一下ISpout接口的方法。...
-
Python爬虫简单笔记之BeautifulSoup4的简单用法
本文首发：http://blog.orisonchan.cc/2018/08/16/44 记录一下Python爬虫常用库BeautifulSou...
-
Spark聚合下推思路以及demo
Spark原本预计在2.3版本实现聚合下推，虽然不知道是何原因最终没有能够在2.3版本最终实现，但是因为工作需要，必须要从聚合函数下手优化Spa...
-
Kafka 架构与分布式使用名词解释 Broker Kafka集群包含一个或多个服务器，这种服务器被称为broker。 Topic 每条发布到Kafka集群的消息都有一个类...
-
Hive查询HBase调用MapReduce性能优化
折腾了很久，被领导天天督促&指点，算是有个最基本的性能优化。 1. 背景介绍： Hive使用hive-hbase-handler建立HBase ...
-
记一次Redis漏洞导致服务器被入侵以及解决的过程
其实这个问题在网上都有说明。然而因为本人是开发出身，运维方面比较欠缺，所以才会遇到此问题，遂记录下来，以此为戒。 被入侵现象 服务器多了很多莫名...
-
关于Kafka远程生产和消费的额外说明
网上有太多此类帖子，然而本帖比他们全面。 背景 有一台阿里云服务器A，用作测试服务器，一台华为服务器B，用作生产服务器。均搭建相同配置和版本Ap...
-
Hadoop 集中式的缓存管理demo
参考文献： http://www.infoq.com/cn/articles/hdfs-centralized-cache https://bl...
专题公告
大数据相关点滴记录，包括Hadoop生态系统，Spark等计算框架，分布式MQ，分布式数据库等。
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1651563/1533882111.jpg', '推荐专题《大数据点滴》（ 分享自 @简书 ）','https://wsa.jianshu.io/c/a412e2cc5951?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}