您好,欢迎访问代理记账网站
  • 价格透明
  • 信息保密
  • 进度掌控
  • 售后无忧

colab的使用流程/读取google drive数据过慢的解决方案

colab的使用流程

数据集准备

刚开始我是将数据集文件夹上传到google dirve上去,然后colab的笔记本写代码去读取dirve里的数据集。但实际上colab笔记本和dirve之间文件传输也是基于网络的,速度堪忧。下面是一种解决办法:

  1. 将数据集打包,上传至google dirve

  2. 接下来在colab的notebook进行操作:

    1. 把dirve的数据包所在文件夹拷贝至colab工作区
    import shutil
    shutil.copytree('./drive/MyDrive/deeplearning/Data/caltech_targz', './Data')
    
    1. 进入该文件夹,解压缩,再返回最外层工作目录
    os.chdir('./Data')
    ! tar -zxvf 101_ObjectCategories.tar.gz
    os.chdir('/content')
    
  3. 之后读取数据就很快了!

tensorboard的使用

  1. 需要用到ngrok,下载
!wget https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux-amd64.zip
!unzip ngrok-stable-linux-amd64.zip
  1. 配置
LOG_DIR = './drive/MyDrive/deeplearning/tensorboard/' #log存放的位置
get_ipython().system_raw('tensorboard --logdir {} --host 0.0.0.0 --port 6006 &'.format(LOG_DIR))
get_ipython().system_raw('./ngrok http 6006 &')
! curl -s http://localhost:4040/api/tunnels | python3 -c \
"import sys, json; print(json.load(sys.stdin)['tunnels'][0]['public_url'])"

完成后会输出一个网址,访问网址即可

  1. 别忘了开启服务
! tensorboard --logdir=./drive/MyDrive/deeplearning/tensorboard/ --port 6006

分享:

低价透明

统一报价,无隐形消费

金牌服务

一对一专属顾问7*24小时金牌服务

信息保密

个人信息安全有保障

售后无忧

服务出问题客服经理全程跟进