modelarts notebook中怎么读取obs文件，使用import moxing as mox，出现错误

wisdomsj · 发表于 2019-9-21 08:52:25

不使用moxing 指令，报错读不到同文件中数据，用了就会出现MoxFileRespException: Error occurs when accessing to OBS.的报错

A题专家 · 发表于 2019-9-21 09:02:35

notebook需要将obs文件拷贝到本地才可读取，比如你要读取obs中桶名为obs-example下example文件夹下的文件，需要先拷贝到本地的例如./HOME/example/文件夹下，再读取，例如以下代码

obspath = 's3://obs-example/example/' #目标文件夹
localpath = os.path.join(os.environ['HOME'],'example') #本地文件夹
mox.file.copy_parallel(obspath ,localpath) #批量拷贝

然后你就可以读取本地localpath下的文件了
以上代码你需要
import moxing as mox
import os

wisdomsj · 发表于 2019-9-21 10:17:14

您好，这个我试了，不过出现了No such file or directory: 'train_set'，没找到我的训练集

A题专家 · 发表于 2019-9-21 10:40:18

wisdomsj 发表于 2019-9-21 10:17
您好，这个我试了，不过出现了No such file or directory: 'train_set'，没找到我的训练集

是在mox.file.copy_parallel时报错吗

wisdomsj · 发表于 2019-9-21 13:43:58

这部分有警告，下面有用到csv文件读取时，显示No such file or directory: 'train_set'

GGFlyhk · 发表于 2019-9-21 14:11:28

A题专家发表于 2019-9-21 09:02
notebook需要将obs文件拷贝到本地才可读取，比如你要读取obs中桶名为obs-example下example文件夹下的文件， ...

你好，官网要求提交saved_model.pb文件和测试集。也就是只要提交模型的权重值，那想问一下是不是系统会自动对我么提交的模型进行测试集的预测，而不用我们自己写测试文件？

A题专家 · 发表于 2019-9-21 14:32:41

GGFlyhk 发表于 2019-9-21 14:11
你好，官网要求提交saved_model.pb文件和测试集。也就是只要提交模型的权重值，那想问一下是不是系统会自 ...

是的，你只要按照baseline的模式，将里面的save_model.pb和variables换成自己生成的模型，然后将customise_serivce.py中添加自己的预处理，将整个model文件上传，然后部署成批量服务，系统会自动对测试集进行预测

wisdomsj · 发表于 2019-9-21 15:14:20

您好，是不是我线下跑过了的代码，按照baseline的模式替换就可以提交进行预测了吗

GGFlyhk · 发表于 2019-9-21 15:43:44

哦哦，谢谢。那您的意思预测得到的输出函数写哪里呢？

A题专家 · 发表于 2019-9-21 17:11:13

wisdomsj 发表于 2019-9-21 15:14
您好，是不是我线下跑过了的代码，按照baseline的模式替换就可以提交进行预测了吗

是的，如果输入输出也换了的话，再修改一下customise_serivce.py里的代码就可以了

		自动登录	找回密码
密码			注-册-帐-号