于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过...
发简信
IP属地：甘肃
-
零基础搭建Hadoop大数据处理环境
-
16个非常实用的大数据工具Apache Hadoop是目前最成熟的大数据分析工具，但是市场上也不乏其他优秀的大数据工具。目前市场上有数千种工具能够帮你节约时间和成本，带你从全新的角度洞察你所在的行业。...
-
基于Kafka与Spark的实时大数据质量监控平台
微软的ASG (应用与服务集团)包含Bing,、Office,、Skype。每天产生多达5 PB以上数据，如何构建一个高扩展性的data audit服务来保证这样量级的数据完...
-
Apache Spark常见的三大误解
最近几年关于Apache Spark框架的声音是越来越多，而且慢慢地成为大数据领域的主流系统。最近几年Apache Spark和Apache Hadoop的Google趋势可...
-
HBase原理——要弄懂的sequenceIdHBase数据在写入的时候首先追加写入HLog，再写入Memstore，也就是说一份数据会以两种不同的形式存在于两个地方。 为什么需要sequenceId? HBase数据在...
-
10道Hadoop面试真题及解题思路
搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。 (一)海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，...
-
如何使用HBase？大数据存储的两个实战场景
现如今各种数据存储方案层出不穷，本文仅仅是结合两个实战场景就基于HBase的大数据存储做了简单的分析，并对HBase的原理做了简单的阐述。如何使用好HBase，甚至于如何选择...
-
批处理ETL已死，Kafka才是数据处理的未来？在 QCon 旧金山会议上，Neha Narkhede 做了“ETL 已死，而实时流长存”的演讲，并讨论了企业级数据处理领域所面临的挑战。该演讲的核心前提是开源的 Apach...
-
如何避免HBase写入过快引起的各种问题
首先我们简单回顾下整个写入流程 client api ==> RPC ==> server IPC ==> RPC queue ==> RPC handler ==> wri...
-
一只node爬虫的升级打怪之路我一直觉得，爬虫是许多web开发人员难以回避的点。我们也应该或多或少的去接触这方面，因为可以从爬虫中学习到web开发中应当掌握的一些基本知识。而且，它还很有趣。 作者：Nic...
-
Apache Kafka在大型应用中的20项最佳实践Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如New Relic(数据智能平台)、Uber、Square(移动支付公司)等大型公司用来构建可扩展的、...
-
如何使用HBase？大数据存储的个实战场景现如今各种数据存储方案层出不穷，本文仅仅是结合两个实战场景就基于HBase的大数据存储做了简单的分析，并对HBase的原理做了简单的阐述。如何使用好HBase，甚至于如何选择...
-
数据挖掘领域十大经典算法之—朴素贝叶斯算法（附代码）
NaïveBayes算法，又叫朴素贝叶斯算法，朴素：特征条件独立;贝叶斯：基于贝叶斯定理。属于监督学习的生成模型，实现简单，没有迭代，并有坚实的数学理论(即贝叶斯定理)作为支...
-
数据挖掘领域十大经典算法之—K-邻近算法/kNN（附代码）
又叫K-邻近算法，是监督学习中的一种分类算法。目的是根据已知类别的样本点集求出待分类的数据点类别。 简介 又叫K-邻近算法，是监督学习中的一种分类算法。目的是根据已知类别的样...
-
大数据处理技术如何学习?
首先我们要学习Python语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。 Python：Python 的排名从去年开始就借助人工智能持续上升，现在它...
个人介绍
大数据零基础的和做大数据想进阶的加群：806025609 免费获取一份大数据学习视频和大数据学习体系进阶图。我们每周有六到七节视频更新。
这也是感谢大家对我的关注和支持。
这也是感谢大家对我的关注和支持。