本文基于实际生产环境中的Thrift+zookeeper实现的rpc调用总结，大致有以下几个部分：1: 服务端将服务注册在zk中1.1 解析服务端的网卡IP；1.2 获取zo...
IP属地：江苏
-
thrift+zk实现服务的注册，发现，调用 -
kafka-kafka+sparkstreaming不丢数据的方案一、从kafka读数据保证不丢失的方案 0.8版本 lines对象里面有偏移量,但是凡事代码对这个对象做了任何算子的操作(比如map),偏移量就丢失了.所以调用了creat...
-
sparkstreaming读取kafka数据源流程解析(0.10版本)
针对0.10及以上版本的kafka, spark推出了更简洁的模式进行数据读取, jar包名称为spark-streaming-kafka-0-10_2.12. 这种方式可...
-
131、Spark核心编程进阶之yarn模式运行spark作业
前提 如果想要让spark作业可以运行在yarn上面，那么首先就必须在spark-env.sh文件中，配置HADOOP_CONF_DIR或者YARN_CONF_DIR属性，值...
-
【Spark】Spark 运行架构--YARN-Client
本篇结构： YARN-Client 工作流程图 YARN-Client 工作流程 YARN-Client 模式启动类图 YARN-Client 实现原理 YARN-Clien...
-
【Spark】Spark 运行架构--YARN 运行模式本篇结构： 运行架构组成 运行模式介绍 两个重要类 TaskScheduler 和 SchedulerBackend yarn 运行模式 YARN-Client 和 YARN...
-
大数据之Hadoop-HDFS第1章 HDFS概述 1.1 HDFS产出背景及定义 1.1.1 HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中...
-
Hadoop集群搭建
1. 集群环境规划 2. 新建用户及用户组 3. 修改master(172...6)主机名 4. 配置ip与主机名映射 4. 配置免密登录 3. 解压并配置环境变量 4. h...
-
写HDFS如果要增加高可用配置该怎么做呢？
Spark从入门到入土(四)：SparkStreaming集成kafka
一、SparkStreaming概念 SparkStreaming是一个准实时的数据处理框架，支持对实时数据流进行可扩展、高吞吐量、容错的流处理，SparkStreaming...
-
Spark从入门到入土(四)：SparkStreaming集成kafka一、SparkStreaming概念 SparkStreaming是一个准实时的数据处理框架，支持对实时数据流进行可扩展、高吞吐量、容错的流处理，SparkStreaming...
-
Spark学习笔记四：Spark Yarn集群搭建服务器准备 Spark Yarn集群搭建基于HDFS，需参照【Hadoop学习笔记四：基于Yarn的MapReduce集群搭建】搭建好高可用的Yarn-Hadoop集群。 S...
-
HDFS，Hive，Yarn的定义及环境搭建
Hadoop环境搭建 1) 下载Hadoop ''' import java.util.* ''' http://archive.cloudera.com/cdh5/cdh...
-
kerberos体系下的应用(yarn,spark on yarn)kerberos 介绍 阅读本文之前建议先预读下面这篇博客kerberos认证原理---讲的非常细致，易懂 Kerberos实际上一个基于Ticket的认证方式。Client...
-
java提交flink任务到yarn及其系列操作小记小帅我找了许久相关博客资料，苦恼于没有一个完整的系列文案，经过小半个月的盲人摸象，总结了些通过apache官方api将flink任务提交到yarn以及standal...
-
Spark On Yarn的两种模式yarn-cluster和yarn-client深度剖析转至：https://www.cnblogs.com/ITtangtang/p/7967386.html Spark On Yarn的优势 每个Spark executor作...
-
使用JAVA-API访问开启kerberos集群下的HDFS
使用API访问开启安全Kerberos的Hdfs hadoop集群(cdh集群)在开启kerberos安全认证方式后，通常如果在集群shell客户端通过hadoop dfs命...
-
java应用访问开启了kerberos验证的HDFS集群
一般情况下，我们想要使用java客户端访问hdfs集群，只需要客户端指定hdfs namenode地址即可；但是开启了kerberos验证的hdfs集群则不行，需要先通过ke...
-
账号密码呢？
大数据框架资源下载列表CDH5.13.0
http://archive.cloudera.com/cdh5/cdh/5/avro-1.7.6-cdh5.13.0.tar.gz http://archive.cloud...
-
jquery 父、子页面之间页面元素的获取，方法的调用
一、jquery父、子页面之间页面元素的获取，方法的调用： 1. 父页面获取子页面元素： 格式：$("#iframe的ID").contents().find("#ifr...
-
一起来学Spring Cloud | 前言：Spring Cloud 与Spring Boot
目前大家都在说微服务，其实微服务不是一个名字，是一个架构的概念，大家现在使用的基于RPC框架（dubbo、thrift等）架构其实也能算作一种微服务架构。 目前越来越多的公司...
