PAI 竞品调研

产品定位:大数据/机器学习平台

面向的用户:开发者/算法工程师

这次主要研究的是深度学习平台。

支持的框架:Tensorflow, Mxnet, Caffe

这次使用https://help.aliyun.com/document_detail/50654.html?spm=a2c4g.11186623.6.591.zC378V 平台提供的代码和数据进行了测试,按照文档可以运行起来。

但是问题是:训练产生的模型放在哪里?

                       训练生成的模型如何发布?

                       发布后,如何调用?如果做推理。

继续研究

但是出错了,具体信息如下:(需要找人看一下)

2018-02-27 18:50:47 INFO Current task status:RUNNING

2018-02-27 18:50:47 INFO Start execute shell on node oxs-base-biz-gateway011193082232.nu29.

2018-02-27 18:50:47 INFO Current working dir /home/admin/alisatasknode/taskinfo/20180227/phoenix/18/50/41/yau65ufags1a5bmdhknncewt

2018-02-27 18:50:47 INFO Full Command ..

2018-02-27 18:50:47 INFO -------------------------

2018-02-27 18:50:47 INFO /opt/taobao/tbdpapp/paiwrapper/paiservice.sh /home/admin/alisatasknode/taskinfo//20180227/phoenix/18/50/41/yau65ufags1a5bmdhknncewt//910558 1829668957174154 DEV 910558 http://dms.cn-beijing.data.aliyun-inc.com/

2018-02-27 18:50:47 INFO -------------------------

2018-02-27 18:50:47 INFO List of passing environment ..

2018-02-27 18:50:47 INFO -------------------------

2018-02-27 18:50:47 INFO SKYNET_SOURCEID=null:

2018-02-27 18:50:47 INFO SKYNET_ONDUTY=1829668957174154:

2018-02-27 18:50:47 INFO SKYNET_ENVTYPE=1:

2018-02-27 18:50:47 INFO SKYNET_PTYPE=1002:

2018-02-27 18:50:47 INFO IS_NEW_SCHEDULE=true:

2018-02-27 18:50:47 INFO SKYNET_TENANT_ID=198836943440800:

2018-02-27 18:50:47 INFO SKYNET_SOURCENAME=group_198836943440800_dev:

2018-02-27 18:50:47 INFO SKYNET_EXENAME=:

2018-02-27 18:50:47 INFO TASK_WHITE_LIST=:

2018-02-27 18:50:47 INFO SKYNET_CYCTIME=20180227000000:

2018-02-27 18:50:47 INFO SKYNET_PRGNAME=:

2018-02-27 18:50:47 INFO SKYNET_APP_ID=35192:

2018-02-27 18:50:47 INFO SKYNET_SYSTEM_ENV=:

2018-02-27 18:50:47 INFO SKYNET_PARAVALUE=1829668957174154 DEV 910558 http://dms.cn-beijing.data.aliyun-inc.com/:

2018-02-27 18:50:47 INFO SKYNET_TASKID=1605844:

2018-02-27 18:50:47 INFO SKYNET_RERUN_TIME=0:

2018-02-27 18:50:47 INFO SKYNET_NODENAME=TensorFlow(V1.2)-2:

2018-02-27 18:50:47 INFO SKYNET_ACTIONID=1:

2018-02-27 18:50:47 INFO YUNQU_APP_NAME=:

2018-02-27 18:50:47 INFO KILL_SIGNAL=SIGKILL:

2018-02-27 18:50:47 INFO SKYNET_ID=-1:

2018-02-27 18:50:47 INFO SKYNET_FLOW_PARAVALUE=group:adidas:

2018-02-27 18:50:47 INFO SKYNET_PRIORITY=1:

2018-02-27 18:50:47 INFO SKYNET_GMTDATE=:

2018-02-27 18:50:47 INFO SKYNET_ONDUTY_WORKNO=1829668957174154:

2018-02-27 18:50:47 INFO SKYNET_CYCTYPE=0:

2018-02-27 18:50:47 INFO SKYNET_CONNECTION=***************:

2018-02-27 18:50:47 INFO SKYNET_JOBID=193294:

2018-02-27 18:50:47 INFO SKYNET_BIZDATE=20180226:

2018-02-27 18:50:47 INFO ALISA_TASK_ID=T3_0001179129:

2018-02-27 18:50:47 INFO ALISA_TASK_EXEC_TARGET=group_198836943440800_dev:

2018-02-27 18:50:47 INFO ALISA_TASK_PRIORITY=1:

2018-02-27 18:50:47 INFO --- Invoking Shell command line now ---

2018-02-27 18:50:47 INFO =================================================================

LOGBACK: No context given for ch.qos.logback.classic.encoder.PatternLayoutEncoder@77556fd

JobId: 910558-1605844, Worker: null, JCS version: basein, max parallelism: 30

Execution Plan:

____Nodes:

________ #1[odpscmd]

____Dependencies:

[1] start subjob: #1[odpscmd]

[1] Start OdpsCmdHandler:jobId=910558-1605844

[1] local log file = /home/admin/alisatasknode/taskinfo//20180227/phoenix/18/50/41/yau65ufags1a5bmdhknncewt//T3_0001179129_jcs.log

[1] user accessId :LTAImjOrNBOQ1F6Q

[1] execute command : set biz_id=1829668957174154^alipay^LTAImjOrNBOQ1F6Q^2018-02-27; PAI -name tensorflow_ext121 -project algo_public -DossHost="oss-cn-beijing-internal.aliyuncs.com" -Dbuckets="oss://paitesting.oss-cn-beijing-internal.aliyuncs.com/train.tfrecords/" -DgpuRequired="100" -Darn="acs:ram::1829668957174154:role/aliyunodpspaidefaultrole" -Dscript="oss://paitesting.oss-cn-beijing-internal.aliyuncs.com/tensorflow_mnist.py";

[1] execute endpoint : http://service.cn.maxcompute.aliyun.com/api

[1] OK

[1] ID = 20180227105050631gkspr8jc2

[1] Odps Instance Id = 20180227105050631gkspr8jc2

二月 27, 2018 6:50:51 下午 org.apache.http.client.protocol.ResponseProcessCookies processCookies

警告: Cookie rejected [bs_n_lang="en_US", version:0, domain:aliyun.com, path:/, expiry:null] Illegal 'domain' attribute "aliyun.com". Domain of origin: "dms.cn-beijing.data.aliyun-inc.com"

二月 27, 2018 6:50:52 下午 org.apache.http.client.protocol.ResponseProcessCookies processCookies

警告: Cookie rejected [ck2="2f8709cf9971ac7d243abf3d39ff1244", version:0, domain:aliyun.com, path:/, expiry:null] Illegal 'domain' attribute "aliyun.com". Domain of origin: "dms.cn-beijing.data.aliyun-inc.com"

[1] Sub Instance ID = 2018022718505347e8f0d8_62c4_496c_bc29_6a3c60d9e1f2

二月 27, 2018 6:50:56 下午 org.apache.http.client.protocol.ResponseProcessCookies processCookies

警告: Cookie rejected [bs_n_lang="en_US", version:0, domain:aliyun.com, path:/, expiry:null] Illegal 'domain' attribute "aliyun.com". Domain of origin: "dms.cn-beijing.data.aliyun-inc.com"

二月 27, 2018 6:50:56 下午 org.apache.http.client.protocol.ResponseProcessCookies processCookies

警告: Cookie rejected [ck2="776ba43efacf2af856e118ff3d1b44de", version:0, domain:aliyun.com, path:/, expiry:null] Illegal 'domain' attribute "aliyun.com". Domain of origin: "dms.cn-beijing.data.aliyun-inc.com"

[1] http://logview.odps.aliyun.com/logview/?h=http://service.cn.maxcompute.aliyun.com/api&p=AI_project001&i=2018022718505347e8f0d8_62c4_496c_bc29_6a3c60d9e1f2&token=Zmt6QVU2aUpHVlQ3ZWRPdlh3blFGMzdldUpvPSxPRFBTX09CTzoxODI5NjY4OTU3MTc0MTU0LDE1MjAzMzM0NTYseyJTdGF0ZW1lbnQiOlt7IkFjdGlvbiI6WyJvZHBzOlJlYWQiXSwiRWZmZWN0IjoiQWxsb3ciLCJSZXNvdXJjZSI6WyJhY3M6b2RwczoqOnByb2plY3RzL2FpX3Byb2plY3QwMDEvaW5zdGFuY2VzLzIwMTgwMjI3MTg1MDUzNDdlOGYwZDhfNjJjNF80OTZjX2JjMjlfNmEzYzYwZDllMWYyIl19XSwiVmVyc2lvbiI6IjEifQ==

[1] train: running

[1] train: 2018-02-27 18:51:02 TensorflowTask_job:0/0/0[0%]

[1] train: 2018-02-27 18:51:08 TensorflowTask_job:1/0/1[0%]

[1] train: 2018-02-27 18:51:14 TensorflowTask_job:1/0/1[0%]

[1] train: 2018-02-27 18:51:19 TensorflowTask_job:1/0/1[0%]

[1] train: 2018-02-27 18:51:25 TensorflowTask_job:1/0/1[0%]

[1] train: 2018-02-27 18:51:30 TensorflowTask_job:1/0/1[0%]

[1] train: 2018-02-27 18:51:36 TensorflowTask_job:1/0/1[0%]

[1] train: 2018-02-27 18:51:41 TensorflowTask_job:1/0/1[0%]

[1] train: 2018-02-27 18:51:47 TensorflowTask_job:1/0/1[0%]

[1] train: 2018-02-27 18:51:52 TensorflowTask_job:0/0/1[0%]

[1] Instance 20180227105050631gkspr8jc2 Failed.

[1] FAILED: Failed 2018022718505347e8f0d8_62c4_496c_bc29_6a3c60d9e1f2:ODPS-1202005:Algo Job Failed-User Error-Failed to execute system command.(1)

[1] Execute Odpscmd Failed!

[1] ERROR: run subjob: #1[odpscmd] failed!

Run job failed, time taken: 77s

2018-02-27 18:52:05 INFO =================================================================

2018-02-27 18:52:05 INFO Exit code of the Shell command 1

2018-02-27 18:52:05 INFO --- Invocation of Shell command completed ---

2018-02-27 18:52:05 ERROR Shell run failed!

2018-02-27 18:52:05 ERROR Current task status: ERROR

2018-02-27 18:52:05 INFO Cost time is: 77.775s

/home/admin/alisatasknode/taskinfo//20180227/phoenix/18/50/41/yau65ufags1a5bmdhknncewt/T3_0001179129.log-END-EOF

提交了工单,原来是文档描述错误,需要把代码和数据放置在目录 'oss://bucketname/'下,并且在数据源选择时 选到目录这一级。

又试了一下,运行没有问题了。

那就说明是训练是结束了,但是这个模型应该如何发布呢?或者,我想要测试一下这个模型的效果。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342

推荐阅读更多精彩内容