挫折中前行-aspera下载数据

最开始时使用wget、axel 、crul,受网速的限制下载较慢。后续看到相关文章说通过此种方式下载可能会导致下载的原始数据缺失，所以不推荐以上方式下载。
一、通过aspera工具进行下载
1.1安装aspera工具

#通过conda安装aspera工具
conda install -y -c hcc aspera-cli
#解压
tar -zxvf ibm-aspera-connect-3.8.1.161274-linux-g2.12-64.tar.gz
#运行安装包
bash ibm-aspera-connect-3.8.1.161274-linux-g2.12-64.sh#./ibm-aspera-connect-3.8.1.161274-linux-g2.12-64.sh
#查看目录中是否存在.aspera(判断是否安装）
ls -la
#永久添加到环境变量
vim ~/.bashrc
#**在末尾添加以下代码
export PATH="/home/baimoc/.aspera/connect/bin:$PATH"
#**激活
source ~/.bashrc

1.2下载数据

ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR949/SRR949627/SRR949627_1.fastq.gz ./

ascp指令	作用
- QT	禁用进度条
-l 300m	传输速度
-P33001	设置SSH传输端口
-i	指定aspera工具密匙
-L	指定日志文件存储路径
./	设置文件存储路径
-T	取消加密
-k	断点续传

1.3下载链接的格式
1>从EBI中下载数据
EBI数据库中下载数据以era-fasp@fasp.sra.ebi.ac.uk:为开头，后加文件号，通过EBI官网查找相应数据下载链接，对比得到不同号之间的规律，从而可以遍历下载
2>从NCBI中下载数据
NCBI数据库下载数据以anonftp@ftp-private.ncbi.nlm.nih.gov：为开头，后加文件号，通过NCBI官网查找相应数据下载链接，对比规律后可遍历下载（不同的下载文件下载规律，可能不同，小白^_!）
二、sra-toolkits中的prefetch下载
sra-toolkits中不同工具使用说明：https://trace.ncbi.nlm.nih.gov/Traces/sra/sra.cgi?view=toolkit_doc

2.1安装sra-toolkits

#下载sra-toolkits压缩包
axel -n 10 https://ftp-trace.ncbi.nlm.nih.gov/sra/sdk/2.8.2/sratoolkit.2.8.2-centos_linux64.tar
#解压
tar -zxvf sratoolkit.2.8.2-centos_linux64.tar.gz
#配置环境
echo "export PATH=\$PATH:\$HOME/local/app/sratoolkit.2.8.2-centos_linux64/bin" >> ~/.bashrc
source ~/.bashrc

2.2下载数据

#cat id|while read id;do(nohup prefetch $id &);done
prefetch SRR949627

有时候可能会突然抽风，下载不了数据，可能是网速的问题，有待进一步探究

挫折中前行-aspera下载数据相关推荐

樱花动漫中的视频下载数据表分析
昨天有个朋友问我樱花动漫中的视频怎么下载,那么今天我就写篇文章来专门分析下樱花动漫中的视频是怎么下载的,先分析樱花动漫中的视频下载数据表. 1.还是打开我们的视频助手,来分析樱花动漫的数据包,当然你们 ...
图片地址在浏览器中默认是下载不是预览
使用S3云存储上传图片之后,获得图片地址,在浏览器中输入url之后,图片默认下载,而不是预览.查了一下, s3默认的content-type是binary/octet-stream,这个类型在浏览器中 ...
使用Aspera下载NCBI和ENA数据库中的数据
使用Aspera下载NCBI和ENA数据库中的数据 NCBI数据库储存的常用数据有:Nt库,Nr库,Swissprot库,以及物种的基因组数据(Genome数据库)等. ENA数据库储存的常用数据有: ...
01集群中软件的安装共三部分 Aspera下载与安装 centos系统sratoolkit安装并添加到环境变量 wxf晓飞肖老师集群安装软件全过程 export tar.gz
conda卸载 Linux卸载Anaconda_易_的博客-CSDN博客_linux 卸载conda 第一部分:转录组配置方案.配置了python=3.6 r=4.1.0的transcriptome的 ...
NCBI/BIG测序数据下载---通过Aspera下载拟南芥T2T原始数据
NCBI/BIG测序数据下载---通过Aspera下载拟南芥T2T原始数据 1. Linux下载安装Aspera软件 2. 下载NCBI中SRR数据 (`目前NCBI上不能用ascp下载sra数据,其 ...
aspera下载sra文件linux,使用aspera下载.fastq.gz和.sra数据
aspera SRA数据库: Sequence Read Archive:隶属NCBI (National Center for Biotechnology Information),它是一个保存高通 ...
用Aspera批量下载数据
用Aspera批量下载数据 1.下载Aspera 环境:Linux 用conda直接下载 conda install -c aspera-cli 手动下载参考: https://blog.csdn. ...
使用enaBrowserTools和Aspera从ENA下载数据
Linux环境下安装python3: https://blog.csdn.net/jeffery0207/article/details/79774567 Aspera工具的安装与使用: https: ...
Aspera 下载_SRA原始数据下载
Aspera 简介:Aspera是一款高速传输软件,不受文件大小,网络条件等影响,速度比HTP和FTTP协议快数百倍.Windows和Linux系统均可下载使用. 1.Windows下载:浏览器直接搜 ...

挫折中前行-aspera下载数据

挫折中前行-aspera下载数据相关推荐

最新文章

热门文章