240 发简信
IP属地:北京
  • Resize,w 360,h 240
    [spark 之master HA]

    1、资源调度结论验证 (1)提交时,没有指定资源,$\color{red}{会占用每台机器(2台worker)的所有资源}$(每台机器会启动一个...

  • Resize,w 360,h 240
    [spark 之master HA]

    1、masert的HA 元数据:包括比如管理哪些workers、哪些worker与我(master)通信、当前我启动的driver有哪些,使用本...

  • Resize,w 360,h 240
    [spark 之webUi的入门知识-2(历史日志服务配置)]

    1、复制在$SPARK_HOME/conf 下的 spark.default.conf.template到spark.default.conf ...

  • Resize,w 360,h 240
    [spark 之webUi的入门知识-1]

    1、spark-shell与spark-submit的区别: 就spark提交程序来说,最终都是通过spark-submit命令来实现的,不同的...

  • spark之广播变量&累加器

    Spark两种共享变量:广播变量(broadcast variable)与累加器(accumulator)。累加器用来对信息进行聚合,而广播变量...

  • centos6.6 新建用户并添加sudo权限

    【新建用户】 方法一: adduser work方法二: useradd -d /home/work -m work 创建用户后使用passwd...

  • Centos下查看端口被哪个应用or进程占用

    Centos下查看端口被哪个应用or进程占用