- 在kaggle下载了一个
train.csv,用于测试公司平台决策树算法，该数据有一个label标签和784个特征列，名字如pixel0,pixel1.......pixel783。
- 具体操作如下(pyspark下):
from pyspark.sql import HiveContext
hivec = HiveContext(sc) # 创建一个hivecontext对象用于写执行SQL，sc为sparkcontext
# 拼接一个字段类型字符串
str_s = 'label String,'
for i in range(len(df.columns)-1):
str_s += 'pixel%s String,' % i
# 拼接SQL语句
sql_str = "create table ml_test.decivsion ({})".format(str_s[:-1]) # 最后一个逗号需要去掉，否则报错
hivec.sql(sql_str) # 执行ＳＱＬ
df = spark.read.csv(your hdfs path) # 把csv读成dataframe，第一个参数为path
## 其他参数
# schema – an optional pyspark.sql.types.StructType for the input schema.
# header：默认值是false。就是把第一行当做数据，改为false，第一行就变为字段；
# sep：默认情况下，CSV是使用英文逗号分隔的,其他分隔符号可修改此选项;
# 更多参数请查阅官方文档
df.write.insertInto('ml_test.decivsion', overwrite=False) # 将dataframe写入到指定hive表
