240 发简信
IP属地:上海
  • 推测执行

    在分布式集群环境下,因为程序Bug(包括Hadoop本身的bug),负载不均衡或者资源分布不均等原因,会造成同一个作业的多个任务之间运行速度不一...

  • Sqoop数据导出一致性问题

    Sqoop在导出到Mysql时,使用4个Map任务,过程中有2个任务失败,那此时MySQL中存储了另外两个Map任务导入的数据,此时老板正好...

  • Linux命令记录

    1.grep -v ps -ef | grep NameNode 如果执行这条命令会多查询出一个grep的进程,如果不想要grep的进程号就需要...

  • 在命令中使用SSH群发命令 command not found

    刚开始以为是脚本写错了,仔细想了下,ssh后会加载.bashrc的环境变量,之所以导致这种情况就是因为没有将profile追加至bashrc 解...

  • SSH配置完成后仍需要输入密码的解决办法

    生成公钥/私钥对: ssh-keygen -t rsa 拷贝公钥至authorized_keys文件: ssh-copy-id 主机名 登录测试...

  • 复杂度分析总结

    一、什么是复杂度分析? 1.数据结构和算法解决是“如何让计算机更快时间、更省空间的解决问题”。 2.因此需从执行时间和占用空间两个维度来评估数据...

  • MySQL获取分组后的TOP 1

    查询每门课程分数最高的学生以及成绩select a.name,a.course,a.score fromtest1 ajoin (select ...

  • Spark的三种集群部署模式

    Spark支持三种集群部署模式,分别为1.Standalone: 独立模式,Spark 原生的简单集群管理器, 自带完整的服务, 可单独部署到一...