发简信
IP属地：湖北
-
-
-
-
-
Spark on YARN动态资源配置
Spark中，所谓资源单位一般指的是executors，和Yarn中的Containers一样，在Spark On Yarn模式下，通常使用–num-executors来指定...
-
新增节datanode点到Hadoop集群
新增节点系统要求 1.CentOS7 2.Java8(任意现有节点/root目录下均有，建议保持一致jdk-8u71-linux-x64.rpm) 切换正确版本 3.创建ha...
-
-
MariaDB实现远程连接
1、登陆mysql数据库 mysql -u root -p 查看user表 mysql> use mysql;Database changedmysql> select ho...
-
（转）如何导出和导入mysql数据(数据迁移)
导出数据库数据mysqldump -uroot -p dp_db > dumpout.sql其中 root是账户名dp_db是需要导出的数据库名称dumpout.sql存储导...
-
文件存储与数据库存储
使用普通文件的遇到的问题： 当文件变大时，使用普通文件将会变得非常慢，访问速度制约了应用性能在一个普通文件中查找特定的一个或一组记录将非常困难。处理并发访问可能遇到问题。虽然...
-
Mark--关于开源软件许可
最近在学习gradle,看到它是一个遵循ASL许可的开源项目，ASL是啥？用了这么久的开源工具，一直对此不太了解。上网了解下相关资料，在此mark下： 按照使用条件的不同，开...
-
Spark On YARN 集群安装部署续前文http://www.jianshu.com/p/b27545f6d730，基于搭建好的Hadoop集群来部署Spark 1、安装 Scala 官网下载Scala,我这...
-
pyenv使用国内镜像安装指定的Python版本
原载于博客直接使用pyenv install命令安装Python时，默认从python.org下载指定版本，会非常的慢。 可以先从搜狐提供的镜像网站下载指定的Python版本...
-
CentOS7下搭建Hadoop集群环境CentOS7虚拟机两台java8、sshHadoop: 2.7.3安装java-devel用于调试 1、准备工作 修改两台虚拟机主机名master、slave [root@...
-
Linux shell获取时间差(使用date命令）
start=$(date +%s) && sleep 2 && end=$(date +%s) && echo $(( $end - $start ))
