发简信
IP属地：上海
-
-
-
flume 的source 、channel和sink 多种组合
flume 有三大组件source 、channel和sink，各个组件之间都可以相互组合使用，各组件间耦合度低。使用灵活，方便。 1.多sink channel 的内容只输...
-
-
Spark Streaming使用Receiver机制消费Kafka时，任务并发度如何设置？（本文基于Spark 2.1.1、Kafka 0.10.2、Scala 2.11.8、Zookeeper 3.4.9、Kafka-manager-1.3.0.7） 利用Rec...
-
-
19 Spark Streaming中空RDD的处理
在Spark Streaming中，job不断的产生，有时候会产生一些空RDD，而基于这些空RDD生成的job大多数情况下是没必要提交到集群执行的。执行没有结果的job，就是...
-
永不止步 Keep Moving
-
【容错篇】Spark Streaming的还原药水——Checkpoint一个 Streaming Application 往往需要7*24不间断的跑，所以需要有抵御意外的能力（比如机器或者系统挂掉，JVM crash等）。为了让这成为可能，Spa...
-
-
你好，我是马亮，很高兴认识你
-
Spark在美团的实践问题导读: 1、美团离线计算平台架构都有那些框架？ 2、为什么要使用spark架构？ 3、spark推广过程中需要注意那些方面？ 前言 美团是数据驱动的互联网服务，用户每天在...
-
red is基础知识整理
-
-
Hadoop-HBase-Spark-Hive-Scala-R-Storm-NoSQL
-
大数据时代的来临，带给我们众多的冲击，每个人都应当与时俱进、不断提升知识技能。
-
-
大数据，数据库，AI, sql等
-
诚招管理员！联系我~ 本专题专注于大数据技术，包括但不限于：分布式系统，hadoop，spark，storm，mesos，hbase，zookeeper。。。 Tips:如果是自己学习这些技术，通过社区学习是一个不错的方式。 JIRA:https://issues.apache.org/jira/browse/SPARK/?selectedTab=com.atlassian.jira.jira-projects-plugin:summary-panel
-
『数据虫巢』<br>公号：blogchong<br>半个大数据老鸟，偶尔写点大数据技术文章、说点故事、讲点经验、聊点感悟、灌口鸡汤！
