直接看本文最下面下载脚本，区分SRR长度，下载fq

一、prefetch 下载

1.　打开NCBI数据库(https://www.ncbi.nlm.nih.gov/)，在搜索框输入要查询的编号。

2.在搜索结果中勾选你感兴趣的样本，选择右上角Send to – File – Accession List， 点击Create File，下载SraAccList.txt 文件

3.下载安装最新版本SRA Toolkit。(https://www.ncbi.nlm.nih.gov/sra/docs/sradownload/#ui-ncbiinpagenav-heading-4 )

4.运行命令：**prefetch --option-file SraAccList.txt**

下载完成后，文件被存储在默认目录：**/home/usrname/ncbi/public/sra/**

cat SraAccList.txt

SraAccList.txt

### Step2：perfetch 数据下载和解压

# Step2.1 perfetch 下载

$ cat down.txt | while read id; do

echo $id;

( nohup prefetch $id --max-size 200G & );

done

# Step2.2 faster-dump解压

ls *.sra | while read id;

do

echo $id; ( nohup fasterq-dump -e 16 --split-files -O ./ $id & );

done

二、 Ascp 快速下载

软件下载：

wget http://download.asperasoft.com/download/sw/connect/3.7.4/aspera-connect-3.7.4.147727-linux-64.tar.gz

tar -zxvf aspera-connect-3.7.4.147727-linux-64.tar.gz

sh aspera-connect-3.7.4.147727-linux-64.sh

添加环境变量：

vi ~/.bashrc

export PATH="/home/username/.aspera/connect/bin:$PATH" # username为你的用户名

下载单个SRA文件

ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR526/SRR5266611/SRR5266611.sra .

Aspera的用法：

$ ascp [参数] 目标文件 目的地址

Aspera的常用参数：

-T 不进行加密。若不添加此参数，可能会下载不了。

-i string

输入私钥，安装 aspera 后有在目录 ~/.aspera/connect/etc/ 下有几个私钥，使用 linux 服务器的时候一般使用 asperaweb_id_dsa.openssh 文件作为私钥。

--host=string

ftp的host名，NCBI的为ftp-private.ncbi.nlm.nih.gov；EBI的为fasp.sra.ebi.ac.uk。

--user=string

用户名，NCBI的为anonftp，EBI的为era-fasp。

--mode=string

选择模式，上传为 send，下载为 recv。

-l string

设置最大传输速度，比如设置为 200M 则表示最大传输速度为 200m/s。若不设置该参数，则一般可达到10m/s的速度，而设置了，传输速度可以更高。

批量下载 ，首先创建一个accession文件，用于保存序列号

$ head accession.txt

SRR5266611

SRR5266610

SRR5266609

SRR5266608

SRR5266607

SRR5266606

(现在下载有些问题，用EBI 正常)

写个简单的循环，进行批量下载,down_SRR_data.sh 脚本内容如下：

for i in `cat accession.txt`;do

x=$(echo $i | cut -b1-6)

y=$(echo $i | cut -b1-3)

ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/$y/$x/$i/$i.sra .

done

从EBI下载脚本

#download from EBI

#EBI

ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR621/003/SRR6213653/SRR6213653_1.fastq.gz ./

#!/bin/bash

# 双端数据

cat download_fq_paired.ascp.txt |while read id;do

ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:9:10}/$id/${id}_1.fastq.gz ./

ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:9:10}/$id/${id}_2.fastq.gz ./

done

# 单端数据

cat doenload_fq_single.ascp.txt|while read id;do

ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:9:10}/$id/${id}.fastq.gz ./

done

SRA database ftp地址规律：

/sra/sra-instant/reads/ByRun/sra/{SRR|ERR|DRR}///.sra

推荐Acsp 下载，比prefetch 更加稳定，速度可能更快

tips:

1.如果需要杀掉prefetch 批量下载程序，直接top 后kill prefetch 进程

2.如果需要杀掉Ascp 下载程序，需要首先kill 掉 sh down_SRR_data.sh 进程，再查杀掉 真正运行的Ascp下载程序，于是这个for 循环下载就会全部终止~~~

三、【检查数据是否下载完整】进行比对accession.txt 与下载的.sra文件差异

需要下载的SRA列表 但是只下载了269个，需要查明原因。

notepad++排序去重

需要下载的list

#comm之前需要进行sort ,之后comm 得到差集。即可知道哪些sra文件下载漏了

[kcao@login raw_data]$ sort SRR_Acc_List.txt >test.txt

[kcao@login raw_data]$ ls|grep "sra$"|sed "s/.sra//g"|sort|comm - test.txt -3

SRR531939

[kcao@login raw_data]$ ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l200R531939.sra .&

四、GSM转SRR

image.png

[kcao@h1-lgl test]$ for GSM in `cat downlaod.txt`;do SRR=`esearch -db sra -query $GSM | efetch -format docsum|xtract -pattern DocumentSummary -element Run@acc`;echo $SRR;done

SRR513122

SRR3055265

SRR3055266

五，注意

*纠正ascp 下载脚本【按照SRR长度，分别下载fastq文件。】

# 对于单端数据

cat down.txt |while read id;do if [ ${#id} == 9 ] ;

then

ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/$id/${id}.fastq.gz ./;

else

ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:0-1}/$id/${id}.fastq.gz ./;

fi;

done

# 对于双端数据

cat down.txt |while read id;do if [ ${#id} == 9 ] ;

then

ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/$id/${id}_1.fastq.gz ./;

ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/$id/${id}_2.fastq.gz ./;

else

ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:0-1}/$id/${id}_1.fastq.gz ./;

ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:0-1}/$id/${id}_2.fastq.gz ./;

fi;

done

ascp 添加到环境变量，prefetch下载sra,自动搜索scp

image.png

六：单细胞数据下载

由于从EBI里面来看，单细胞数据存放只有一个文件，类似单端数据一样，但是不能下载FASTQ文件，而是下载SRA文件，再进行解压。

## methods2: ascp 从EBI下载.sra 数据

cat down.txt |while read id;do if [ ${#id} == 10 ] ;

then

ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh \

era-fasp@fasp.sra.ebi.ac.uk:/vol1/srr/${id:0:6}/00${id:0-1}/$id ./;

else

echo "###### $id error ###### "

fi;

done

附：