前言
前段时间研究了SDL项目，看到了Spark的宏大愿景，写了篇Spark新愿景：让深度学习变得更加易于使用。后面看了TFoS,感觉很是巧妙，写了一篇TensorFlowOnSpark 源码解析。这些项目都得益于Spark对python的支持，所以了解了下spark和python如何进行交互的，可参看此文PySpark如何设置worker的python命令。
虽然非常看好SDL,但是它存在几个明显的问题：
- 进度慢的让人难以忍受。截止到目前为止，已经有26天没有新commit了。
- 只做了图像相关的工作，没有任何NLP相关的工具使用。 参看其他人提的这个Issue: What would it take to generalize to non-image data?
- 现有的分布式调参功能，基本不可用。参看我提的这个Issue: To Avoid collecting trainning data to driver and broadcasting them
- 不支持分布式tranning. 参看我提的这个Issue: Is there any plan to port TensorframeOnSpark(From yahoo) ?
当然SDL的想法非常好：
- 相比K8s + TF只是完成了分布式训练, SDL 把data process ,data training,data inference 三者给完全衔接了。
- 提供了一个很好的编程模型，以sk-learn/Mllib的方式完成模型的训练，对于工作效率提升明显。
- 分布式模型训练，分布式模型超参数tunning, 分别解决了训练数据量大的问题，参数探索的问题。
因为我司以NLP为主，所以我提供了一个deep learning auto-encoder的一个demo,展现SDL的能力。顺带通过引入Kafka解决了
"分布式模型超参数tunning"在实际场景不可用的问题。有时间会完成和TFoS的集成。
演示代码
我这里写了一个单元测试(python/tests/transformers/tf_text_test.py)：
class TFTextTransformerTest(SparkDLTestCase):
def test_loadText(self):
input_col = "text"
output_col = "sentence_matrix"
documentDF = self.session.createDataFrame([
("Hi I heard about Spark", 1),
("I wish Java could use case classes", 0),
("Logistic regression models are neat", 2)
], ["text", "preds"])
# transform text column to sentence_matrix column which contains 2-D array.
transformer = TFTextTransformer(
inputCol=input_col, outputCol=output_col)
df = transformer.transform(documentDF)
# create a estimator to training where map_fun contains tensorflow's code
estimator = TFTextFileEstimator(inputCol="sentence_matrix", outputCol="sentence_matrix", labelCol="preds",
kafkaParam={"host": "127.0.0.1", "topic": "test", "group_id": "sdl_1"},
fitParam=[{"epochs": 5, "batch_size": 64}, {"epochs": 5, "batch_size": 1}],
mapFnParam=map_fun)
estimator.fit(df).collect()
TFTextTransformer 主要是把任意文本转化为一个二维矩阵，一行代表一个词汇，每个词汇都是word embedding的形态。该Transformer本质是做featurize的工作，2-D array 是能够直接被包括CNN,LSTM等算法操作的格式。 我这里简要介绍下TFTextTransformer的处理流程：
- 获取输入列，然后使用word2vec对数据进行训练，得到每个词的word embedding，最后作为一个map(word, vector) 广播出去
- 将input_col列的句子转化为一个2-D array作为outputCol
- 添加一些常数列到新的DataFrame里，比如vocab_size(词汇数目)，embedding_size(词向量大小)。
- 返回新DataFrame
TFTextFileEstimator 完成训练过程，具体流程为：
- TFTextFileEstimator 将TFTextTransformer的每一条数据序列化后写入Kafka
- 根据fitParams （也就是你设置的超参数组合）长度，启动对应个数的tensorflow实例
- 为tensorflow实例从kafka拉去数据，并且提供一个_read_data函数句柄给tensorflow程序。
- 调用你编写的tf程序，完成训练。
额外引入kafka的原因是因为，每个tensorflow实例都需要消费全量的数据，一个简单的做法是把数据collect到driver端然后broadcast出去，但是实际上行不通，所以将数据集中放在kafka。
map_fun 是一个函数，这里你完全可以使用keras/tensorflow 构建模型，并且调用_read_data获取数据，以及通过args获得必要的参数，具体代码(python/sparkdl/tf_fun.py)：
def map_fun(_read_data, **args):
import tensorflow as tf
EMBEDDING_SIZE = args["embedding_size"]
feature = args['feature']
label = args['label']
params = args['params']['fitParam']
SEQUENCE_LENGTH = 64
def feed_dict(batch):
# Convert from dict of named arrays to two numpy arrays of the proper type
features = []
for i in batch:
features.append(i['sentence_matrix'])
# print("{} {}".format(feature, features))
return features
encoder_variables_dict = {
"encoder_w1": tf.Variable(
tf.random_normal([SEQUENCE_LENGTH * EMBEDDING_SIZE, 256]), name="encoder_w1"),
"encoder_b1": tf.Variable(tf.random_normal([256]), name="encoder_b1"),
"encoder_w2": tf.Variable(tf.random_normal([256, 128]), name="encoder_w2"),
"encoder_b2": tf.Variable(tf.random_normal([128]), name="encoder_b2")
}
_read_data 可以获取spark dataframe的数据，典型用法如下：
for i in range(params.epochs):
print("epoll {}".format(i))
for data in _read_data(max_records=params.batch_size):
batch_data = feed_dict(data)
sess.run(train_step, feed_dict={input_x: batch_data})
sess.close()
这里，你核心关注如何构建网络，数据处理的工作前面的transformer已经帮你完成。
详细代码参看： https://github.com/allwefantasy/spark-deep-learning/tree/nlp-support
