早上在处理数据的时候，发现花的时间比预期多出一半，原本计划45分钟完成，花了一个半小时，当然啦，也有摸鱼的水分在啦，哈哈哈哈，然后我想着还是整理出来一下数据下载流程，这样方便自己后续使用的时候一下子就检索到！早上原本还计划了其他事情，然后呜呜呜现在都11点半啦！！改图改图整理图！！快乐的生活呀，最近没有其他课题烦扰，专心做一件事情的感觉真棒呀！夸夸自己，我咋如此棒棒的呀，看到此篇博文的你也是如此棒棒的呀，哈哈哈！！快乐就好
1. 阿里云平台数据下载
(1) 软件下载
我用的是ossutil工具下载，可以在官网上找到
ossutil.png
我下载l的是inux x86 64bit
然后安装
sudo -v ; curl https://gosspublic.alicdn.com/ossutil/install.sh | sudo bash
(2) 配置
在交付数据的时候一般会提供以下信息
阿里云交付 ：下载win64版本ossbrowser软件下载测序数据，链接如下：
https://gosspublic.alicdn.com/oss-browser/1.16.0/oss-browser-win32-x64.zip?spm=a2c4g.11186623.0.0.65df71c5W6HIRD&file=oss-browser-win32-x64.zip
AccessKeyId：LTAI5t6ttv7X
AccessKeySecret： WJqbHcgl8gS2yH
路径：oss://10kgenomics/data-1094/
区域：华东2（上海）## (2) 基本命令
然后你需要配置文件/home/username/.ossutilconfig(这个的话你安装的时候没有改变路径的话就是这个目录下面)，才可以登录并查看数据
# 修改/home/username/.ossutilconfig
vi /home/username/.ossutilconfig
在这个文件/home/username/.ossutilconfig中填写这个内容
[Credentials]
language=EN
endpoint=oss-cn-shanghai.aliyuncs.com
accessKeyID=LTAI5t6ttv7X
accessKeySecret=WJqbHcgl8gS2yH
(3) 常用命令见官网
https://www.alibabacloud.com/help/zh/object-storage-service/latest/common-commands
(4) 具体使用
# 1.获取数据列表
cd ~/Software/ossbrowser
./ossutil64 ls oss://10kgenomics/data-1094/
./ossutil64 ls oss://10kgenomics/data-1094/ --include *.fq.gz | awk -F ' ' '{print $8}' > pancreas_xenopus_ssutil_datapath.txt
# 2.下载数据
cd ~/Software/ossbrowser
datapath=/home/username/projects/Pancreas/Data
cat pancreas_xenopus_ssutil_datapath.txt | while read line; do echo "nohup ./ossutil64 cp ${line} ${datapath} --update &"; done >> 20221218_xenopus_data_download_command_new.sh
sh 20221218_xenopus_data_download_command_new.sh
# 3.下载md5文件并检查文件完整性
nohup ./ossutil64 cp oss://10kgenomics/data-1094/md5.txt /home/username/projects/Pancreas/Data --update &
md5sum V350094917_L04_read_1.fq.gz
# 5e6239554b6c290de15699172cb4bf1c V350094917_L04_read_1.fq.gz
md5sum V350094917_L04_read_2.fq.gz
# d97401e0b8e028f1f827676ec07b6928 V350094917_L04_read_2.fq.gz
2. 诺禾云平台数据下载
(1) 软件下载
需要先使用账户密码到诺禾致源交付平台上下载
image.png
下载linux版本，解压之后就可以使用
(2) 基本命令
# 1. 登录
./lnd login -u 用户名 -p 密码
# 2. 列举用户根目录
./lnd list
# 3. 目录名称 :列举目录下的所有文件
./lnd list oss://
# 4. 下载文件 到 本地,
./lnd cp oss:// 目录/文件 本地目录
# 5. 下载整个文件夹到本地目录，相比于下载一个文件多了-d参数
./lnd cp -d oss:// 一个目录 本地目录
(3) 具体使用
为了方便，批量下载数据，这边的话是一个一个文件下载的，也可以把nohup ./lnd cp 改成nohup ./lnd cp -d 就是批量下载文件夹了。
## 批量下载数据代码
# sn_feizhou_xenopus_pan_datalist.txt这个需要自己构建
lnd_command="nohup ./lnd cp "
oss_path=" oss://CP2019092000014/H101SC23011182/RSSQ00504/X101SC23011182-Z01/X101SC23011182-Z01-J011/"
datapath="/home/zhengjh/projects/Pancreas/Data/snRNAseqData &"
cat sn_feizhou_xenopus_pan_datalist.txt | while read line; do echo "${lnd_command}${oss_path}${line}" "${datapath}" ; done >> Download_sn_feizhou_xenopous_command.sh
chmod +x Download_sn_feizhou_xenopous_command.sh
cat Download_sn_feizhou_xenopous_command.sh
sh Download_sn_feizhou_xenopous_command.sh > sn_feizhou_xenopous.out
网友评论