腾讯云GPU服务器使用对象存储上传数据

数据上传

腾讯云提供对象存储服务,这是一个类似于腾讯云网盘的存储空间,提供简单的客户端和CLI工具来进行使用。

对于GPU使用过程中需要用到的数据集,您可以先将他们统一上传到您的对象存储中,在需要用GPU作训练时,再将数据拉取到GPU云服务器的本地进行处理。

设置
访问产品页,点击立即购买登录控制台;在Bucket管理页面点击新建bucket,命名后选择所属地域(建议选择与GPU服务器相同的地域,目前GPU服务器腾讯云服务器的所属地域均在北京),并设置读写权限为私有;创建完成后,在Bucket管理页面点击创建完成的Bucket名字进入Bucket,即可在web上查看和上传相关数据文件;文件上传完成后,点文件名即可获取文件地址,在GPU服务器平台上直接通过wget方式获取。

对象存储在GPU服务器上的使用功能方法

 CLI是对象存储调用的命令行工具,以下介绍如何在GPU云服务器中使用对象存储CLI工具。

从对象存储CLI工具文档页获取linux下BOS CLI工具的压缩包。

解压CLI工具包:

$ unzip bce-cli-0.8.3.zip

将bcecli的库安装到系统的python目录下:

$ python setup.py install

使用对象存储CLI工具之前,推荐先设置Access Key、Secure Key、Region;可以通过 -c/–configure 来设置AK、SK、Region,CLI会在配置后自动写入当前用户主目录;AK、SK可以从登录BOS控制台后,点击右上角按钮悬窗中Access Key链接获得。Region则应与BOS设置中,所属地域的选择一致,选择北京填bj,选择广州则填gz,后续选项均可以直接回车填默认值。

$ bce -c$ BOS Access Key ID [None]: Enter Your AK$ BOS Secret Access Key [None]: Enter Your SK$ Default region name [bj]: Enter Your region$ Default domain [bj.bcebos.com]: Enter Your host

以将GPU云服务器上的 text.txt文件上传至mybucket为例,上传命令如下:

$ bce bos cp text.txt bos:/mybucket/text.txt

标签