这两天花了点时间重装了win 10,必要的开发常用工具如IDE Idea以及运行spark等任务需要的hadoop本地依赖环境重新配起来，记录下简要步骤和几个小问题希望能给...
发简信
IP属地：江西
-
安装Idea(集成scala)以及在windows上配置spark(hadoop依赖)本地开发环境
-
【容错篇】Spark Streaming的还原药水——Checkpoint一个 Streaming Application 往往需要7*24不间断的跑，所以需要有抵御意外的能力（比如机器或者系统挂掉，JVM crash等）。为了让这成为可能，Spa...
-
开发工具总结（5）之Markdown语法图文全面详解及其工具介绍版权声明：本文为博主原创文章(少量文字参考他人博文，已加上引用说明)，未经博主允许不得转载。https://www.jianshu.com/p/c0a2897ad4eb 转载...
-
Spark Sql 源码剖析（一）：sql 执行的主要流程本文基于 Spark 2.1，其他版本实现可能会有所不同 之前写过不少 Spark Core、Spark Streaming 相关的文章，但使用更广泛的 Spark Sql ...
-
机器学习通用框架
每个数据科学家每天都要处理成吨的数据，而他们60%~70%的时间都在进行数据清洗和数据格式调整，将原始数据转变为可以用机器学习所识别的形式。本文主要集中在数据清洗后的过程，也...
-
-
一篇文章，教你学会Git在日常工作中，经常会用到Git操作。但是对于新人来讲，刚上来对Git很陌生，操作起来也很懵逼。本篇文章主要针对刚开始接触Git的新人，理解Git的基本原理，掌握常用的一些命令...
-
