我司生产环境的大数据集群是用CDH部署的 版本有5.11.1 5.14.1 5.16.1 这三个版本. 这里主要是讲一下生产上面 Hadoop的资源配置情况 一、Data...
发简信
IP属地：天津
-
Hadoop Yarn 生产资源配置
-
MySql存储引擎中的锁
一、概念： 什么是锁？主要是为了解决客户端并发读写造成冲突问题，将读写操作进行锁定的功能 二、表加锁的类型： 读锁：又称为共享锁，对数据做查询select 访问MySQL服务...
-
Paas&Saas区别
1）选择切入点 PaaS（Platform as a service – 平台即服务）、SaaS（Software as a Service – 软件即服务） 两者最大的区别...
-
某次线上CPU使用率飙高的排查过程
背景 线上系统出现CPU利用率告警，告警阈值为65%。通过观察监控发现，单机CPU使用MAX已经达到了88%，并且相对于前几天，CPU利用率的日平均值同步上升了一倍。 排查过...
-
yarn-资源管理container容器配置详解
开题引文: yarn是hadoop2.x引入的概念,hadoop1.x这个工作是MapReduce做的,在2.x引入了yarn,yarn是用来做资源管理和任务调度,本文详细介...
-
hive查询报java.lang.ArrayIndexOutOfBounds
hive版本：1.1 文件存储格式：orc 问题产生：表导入时多次尝试，最终成功。在查询此表 进行单表sum操作时，报java.lang.ArrayIndexOutOfBou...
-
Sublime Text 4 激活码和汉化教程
Sublime Text 4 激活码和汉化教程｜软件 2021年5月20日 Sublime Text 4 稳定版终于正式发布了！7月14日 Sublime Text 4 又更...
-
Greenplum企业应用实战（笔记）：第一章 greenplum简介
第一章 greenplum简介 [TOC] 1.1 greenplum的起源和发展历程 针对数据密集型计算中的海量数据处理这一高效的数据管理功能。比较典型的解决方案有Tera...
-
记一次hive中遇到的坑
0x01 今天，由于公司要进行新老数据仓库的迁移，于是顺便接手了其中一部分的工作，其实大部分迁移工作都比较简单，就是把从ods层-dw层-dm层-sh展示层中涉及到旧仓库的表...
-
java的构造者模式（builder）
我们在工作中写代码会遇到一种情况，就是设置一个对象属性值，通常方式有两种： 第一种方式: 相当于在构造函数里传递参数，但这样加入参数的时候，不能明确的知道往这个对象里加...
-
Kafka相关的offset管理/重平衡/高可用
一、基础 目前kafka主要有2个来源：1、Confluent Kafka【kafka原班人马】 2、apache Kafka 【社区活跃度最高，apche顶级开源项目】 k...
-
Spark 电商应用开发过程中出现的问题汇总1.java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop ...
-
字符串匹配算法之Sunday算法
字符串匹配算法之Sunday算法 背景 我们第一次接触字符串匹配，想到的肯定是直接用2个循环来遍历，这样代码虽然简单，但时间复杂度却是Ω(m*n)，也就是达到了字符串匹配效率...
-
hadoop shuffle 过程MapReduce简介 在Hadoop MapReduce中，框架会确保reduce收到的输入数据是根据key排序过的。数据从Mapper输出到Reducer接收，是一个很...
-
netty（六）NIO、BIO与AIO一、BIO与NIO 本小节将BIO与NIO放到一起进行分析，主要为了突出其差别。 1.1 对比stream和channel 以前我们写代码，涉及到IO操作，首先想到的必然是一...
-
零拷贝（Zero-copy）及其应用详解目录 前言 传统的数据传输方法 零拷贝的数据传输方法“基础的”零拷贝机制对Scatter/Gather的支持对内存映射（mmap）的支持 零拷贝机制的应用在Kafka中的应用...
-
