生成rsa后,用
ssh-copy-id targetIP
spark ui访问不了,考虑防火墙是否关闭
service iptables stop
chkconfig iptables off
配置免密码登录的目的是 spark通过ssh协议将远端的worker 启动起来,所以得配。如果不想配,就自己在自己机子上起对应的master 或 worker 不要用start-all
standalone
total-executor-core 给所有worker分配的总数 尽量打散 (目前这个) 或 尽量集中
executor-memory 给每一个worker分配的数 memory per node