发简信
IP属地：北京
-
Spark2.11 + Scala2.11.8环境搭建标题虽然说是搭建，实际只是想记录下搭建过程中遇到的两个问题。首先在本地创建Scala项目。 环境搭建： 首先通过IntelliJ IDEA建立S...
-
Linux环境安装SSH命令
今天拿到了一个新的环境，准备开始安装ES。登录集群后发现服务器全新，没有ssh命令，并且发现yum install ssh是不行的。经过查询发现...
-
Spark作业性能优化
Spark作业性能调优总结前段时间在集群上运行Spark作业，但是发现作业运行到某个stage之后就卡住了，之后也不再有日志输出。于是开始着手对...
-
一次诡异的Spark作业卡住问题今天在一个集群上通过spark-submit方式提交作业，但发现作业在运行不久后，控制台的日志就停住不变了，一直到CRT的session超时也没...