之前基于ps-lite实现了word2vec。下一步就是让这个算法能够分布式的跑起来。最简单的分布式方案大概是如下几步：把二进制文件copy到你要跑的机器上。
把每个进程需要读的数据文件copy到相应的地方。
- 启动scheduler。
- 启动server。
- 启动worker。
当然，这一切都可以用一个脚本基于SSH来实现。但是会遇到几个问题：
- 你要跑的机器上有没有足够的CPU和内存资源。
- 你和别人的程序共同依赖了同一个动态库的不同版本。
- 你跑的过程中，你的进程被别人不小心kill掉了。
- 原来启动scheduler的机器IP换了，woker和server都要修改他们依赖的scheduler的地址。
- 新增加了一批机器，可以跑更多的进程了。
- 每次都要copy数据文件，每个进程读不同的文件。
- ......
为了解决上面的问题，你需要3个东西：
- 分布式的操作系统，来管理每台机器的CPU和内存。
- 分布式文件系统解决文件的存储和读写。
- 虚拟机系统来解决不同项目的不同版本的依赖 （当然你可以通过给每个程序都做一个单独的依赖库的目录，但如果依赖特别复杂，甚至是系统的某个底层依赖不同，就比较麻烦）。
而DCOS就是为了解决1，3而设计的。他是mesos+marathon+docker（其实DCOS是一个基于mesos的分布式操作系统，marathon，docker只是他的组件）。
- mesos负责分布式的CPU和内存管理。
- marathon是基于mesos的封装，提供rest API来使用mesos管理进程。
- docker是一个虚拟机系统来保证不同人的程序所依赖的版本不会冲突。
下面详细介绍如何将ps-lite跑在DCOS上。ps-lite有3种类型的服务：
- worker: 负责读取训练数据，更新参数。
- server：负责存储参数，worker本地的参数会定时和server同步。
- scheduler：负责服务发现，worker和server通过scheduler才知道各自在哪里。同时也负责worker和server的进程同步。比如要同时开始工作。只有一台。他的IP和端口事先需要知道，并通过环境变量在启动时告诉worker和server。
因为同一台宿主机上可能会启动多个worker和server。所以worker和server工作的端口不能事先指定，只能随机使用没有被占用的端口。
之前很多集成ps-lite的分布式系统时，都只解决了worker和server的分布式问题（比如用yarn来调度worker和server），而scheduler是找了一台机器单独部署的，这样scheduler的IP／端口事先就能知道并告诉worker和server。但是我希望把scheduler也启动在分布式系统中，方法如下：
将scheduler的任务命名为 sch，并在marathon中启动。同时指定一个端口（比如10000）。并且让docker使用HOST网络模式（用HOST模式是因为性能比较好，而ps-lite又是个网络性能要求很高的应用），且绑定到10000端口。这时，利用mesos-dns, scheduler会自动被赋予一个 sch.marathon.mesos 的域名，然后通过环境变量告诉worker和server。
worker和server原来会随机找端口。需要改成启动时docker被分配随机可用端口，并通过环境变量传给worker/server，然后worker/server绑定该端口。marathon提供了$PORT的环境变量来完成这个任务。
搞定服务发现，剩下就是分布式文件系统了。最简单可以用moosefs，然后mount到每台mesos-slave的机器。
<code>
{
"id": "/sw2vscheduler",
"cmd": null,
"cpus": 1,
"mem": 128,
"disk": 0,
"instances": 1,
"container": {
"type": "DOCKER",
"volumes": [],
"docker": {
"image": "registry.aliyuncs.com/xlvector/sw2v",
"network": "HOST",
"privileged": false,
"parameters": [],
"forcePullImage": true
}
},
"env": {
"LD_LIBRARY_PATH": "/tmp/sw2v/ps-lite/deps/lib",
"DMLC_PS_ROOT_URI": "sw2vscheduler.marathon.mesos",
"DMLC_NUM_WORKER": "4",
"DMLC_ROLE": "scheduler",
"DMLC_NUM_SERVER": "1",
"DMLC_PS_ROOT_PORT": "18001"
},
"portDefinitions": [
{
"port": 18001,
"protocol": "tcp",
"labels": {}
}
]
}
{
"id": "/sw2vserver",
"cmd": null,
"cpus": 1,
"mem": 1200,
"disk": 0,
"instances": 1,
"container": {
"type": "DOCKER",
"volumes": [],
"docker": {
"image": "registry.aliyuncs.com/xlvector/sw2v",
"network": "HOST",
"privileged": false,
"parameters": [],
"forcePullImage": true
}
},
"env": {
"LD_LIBRARY_PATH": "/tmp/sw2v/ps-lite/deps/lib",
"DMLC_PS_ROOT_URI": "sw2vscheduler.marathon.mesos",
"DMLC_NUM_WORKER": "4",
"DMLC_ROLE": "server",
"DMLC_NUM_SERVER": "1",
"SW2V_DATA": "/mnt/dcos/text8",
"DMLC_PS_ROOT_PORT": "18001"
},
"portDefinitions": [
{
"port": 10004,
"protocol": "tcp",
"labels": {}
}
]
}
{
"id": "/sw2vworker",
"cmd": null,
"cpus": 1,
"mem": 128,
"disk": 0,
"instances": 4,
"container": {
"type": "DOCKER",
"volumes": [
{
"containerPath": "/mnt/dcos",
"hostPath": "/mnt/dcos",
"mode": "RO"
}
],
"docker": {
"image": "registry.aliyuncs.com/xlvector/sw2v",
"network": "HOST",
"privileged": false,
"parameters": [],
"forcePullImage": true
}
},
"env": {
"LD_LIBRARY_PATH": "/tmp/sw2v/ps-lite/deps/lib",
"DMLC_PS_ROOT_URI": "sw2vscheduler.marathon.mesos",
"DMLC_NUM_WORKER": "4",
"DMLC_ROLE": "worker",
"DMLC_NUM_SERVER": "1",
"SW2V_DATA": "/mnt/dcos/text8",
"DMLC_PS_ROOT_PORT": "18001"
},
"portDefinitions": [
{
"port": 10003,
"protocol": "tcp",
"labels": {}
}
]
}
</code>
最后说一下，整个工作是在青云上搞定的。一共买了3台服务器，centos7操作系统，每台4核4G内存，1台做master，2台做slave。总共花了200多吧（实验期间因为要带孩子，大部分时间机器处于闲置状态）。另外，阿里云的docker加速服务和docker构建服务不错。Docker的镜像在 registry.aliyuncs.com/xlvector/sw2v。所有的代码在 https://github.com/xlvector/sw2v。
目前这只是一个验证性质的工作，还有如下问题：
moosefs做为文件系统并不能保证所有的worker都只从local读文件。这里读文件的性能可能有问题。
marathon是个长时服务的系统，而离线训练是定时任务。目前mesos有chronos的定时任务框架，但不幸的是chronos和mesos-dns集成的似乎有问题。如果有同学有这方面的经验，可以在评论中赐教！不过基于marathon的好处是可以做online learning的服务。
