NCBI中SRA数据下载

hs6605015 2020-08-02 14:35:34 1170 收藏 8
版权
应用场景：
如果自己没有测序数据，比如Pacbio数据，nanopore数据等，想要测试一些软件，或者想重复文章的内容，就需要从SRA数据库下载数据。

SRA数据库介绍
https://www.ncbi.nlm.nih.gov/sra/
SRA（Sequence ReadArchive）数据库是NCBI用于存储二代测序的原始数据，包括 454，Illumina，SOLiD，IonTorrent等。我们经常会看到文献中给出数据名字为SRA然后后面接一些数字。我们根据这个SRA的ID就可以进行下载了，然后进行数据的分析，重复文献的分析内容。

根据SRA数据产生的特点，将SRA数据分为四类：

Studies-- 研究课题
Experiments-- 实验设计
Samples-- 样品信息
Runs-- 测序结果集
SRA数据分类

这四种分类有一个层次关系。首先是Studies->Experiments->Samples->Runs。这也是一个研究项目正常的逻辑关系。了解这个层级关系，否则找sra数据就会感觉比较混乱。
一个study可能包含多个Experiment，Experiments包含了Sample、DNA source、测序平台、数据处理等信息。
SRA数据库用不同的前缀加以区分：

ERP或SRP表示Studies；
SRS 表示 Samples；
SRX 表示 Experiments；
SRR 表示 Runs。
SRA数据下载

sra数据的下载可以通过网页端下载，但是比较不方便。NCBI官方提供了SRA Toolkit软件包来进行下载。
https://trace.ncbi.nlm.nih.gov/Traces/sra/sra.cgi?view=software
软件的下载比较容易，都是编译好的版本，选择对应的体统，下载之后解压缩就可以使用了。也可以使用bioconda直接进行安装，需要注意的是软件的名字在bioconda中是sra-bools。

conda install sra-tools

软件的用法也比较简单，根据命名我们就可以看出来，它是一个处理sra格式文件的工具包。可以用来管理和操作sra数据库的资源，里面包含了很多工具。可以处理多种测序平台的数据，这些工具大部分根据命名就知道功能。
fastq-dump: 最常用的，讲SRA数据转换为fastq格；
prefetch: 下载sra数据
sam-dump: 将 SRA 转换为sam格式，如果原始数据是sam或bam，就需要使用这个工具；
sra-pileup: 生成 pileup统计结果，pileup是堆叠的意思，类似于samtools的pileup；
还有一些不太常用的工具。
abi-dump: 处理abi格式数据；
sff-dump: 处理454测序数据；由于abi和454测序数据越来越少，相应的工具也不是特别重要了。
illumina-dump: 将sra转换为illumina原始的qseq文件；
sra-stat: 统计sra文件
vdb-config，vdb-decrypt，vdb-dump，vdb-encrypt，vdb-validate处理vdb格式数据。
软件

案例演示
这里我们要下载PRJNA257197的数据。如果想知道数据的具体信息，比如数据是什么样品，采用哪种平台测序的，测序长度是多少，测序深度是多少，都可以到SRA网站上去查。
首先可以使用esearch 搜索sra数据库。看这个项目下都有哪些数据。esearch默认的结果是xml格式，需要使用efetch进行解析。efetch来自NCBI另一款工具edirect。

esearch -db sra -query PRJNA257197 | efetch -format runinfo > info.csv

这里面有很多数据，选择其中一个作为演示。直接使用prefetch进行下载。如果系统中安装了Asprea，prefetch会调用aspera进行下载，还是很方便的。如果不在默认路径下，可以通过-a选项指定。
我们下载一个SRA数据，SRR1972917，直接输入SRA ID即可。

prefetch SRR1972917

注意事项

1、prefetch下载的数据在home目录下的ncbi目录里。

~/ncbi/public/
2、默认下载的是sra格式数据，可以使用fastq-dump将sra转换为fastq了。

fastq-dump --gzip --split-3 SRR1972917.sra

3、其实，也可以直接使用fastq-dump下载数据，下载之后直接即使fastq格式，不过还是选择prefetch比较好，因为sra数据格式比fastq格式占用空间较小，下载速度快；另一方面，sra也方便断点续传。

#直接利用fastq-dump下载数据

fastq-dump --split-files SRR1972917

---------- END ----------

NCBI中SRA数据下载相关推荐

下载NCBI的SRA数据详细教程
SRA(Sequence ReadArchive)数据库是NCBI(National Center for Biotechnology Information)旗下用于存储高通量测序数据的子库.来自世 ...
NCBI中SRA数据库简介
NCBI中SRA数据库简介 SRA数据库简介 SRA 数据库, 为Sequence Read Archive 的缩写.主要存储高通量测序的数据,来自四个测序平台,分别为: Roche_LS454,Il ...
SRA数据下载（通过EBI-ENA数据库，使用ASpera）
SRA数据下载(通过EBI-ENA数据库,使用ASpera) 这是本人的第一篇文章,欢迎浏览提问,我会在最快时间内答复,谢谢大家. 本文主要是针对新手下载SRA数据过程,我本人已亲自实践有效.按照本文 ...
如何下载生物数据（四）：SRA数据下载
欢迎订阅WX众号:基因学苑,更多精彩内容等你发掘! 基因学苑Q群:32798724 应用场景: 如果自己没有测序数据,比如Pacbio数据,nanopore数据等,想要测试一些软件,或者想重复文章的内 ...
NCBI/BIG测序数据下载---通过Aspera下载拟南芥T2T原始数据
NCBI/BIG测序数据下载---通过Aspera下载拟南芥T2T原始数据 1. Linux下载安装Aspera软件 2. 下载NCBI中SRR数据 (`目前NCBI上不能用ascp下载sra数据,其 ...
SRA数据下载的3种方法
第一步如何找到sra? 先去看文章文章有对应的gse号,在geo里输入gse号. 翻页到最下面找到srp号 ####在sra网站搜索srp号 https://tra ...
如何linux下载sra数据,下载sra数据
今天又要开始摸鱼了.记录下下载sra数据的历程.曲折啊. 下载sra files的目的是为了获得相应的fastq或sam files,进而进行分析. 第1选择 -- Aspera Connect 如果 ...
SRA数据下载方法总结
SRA数据常用的下载方法研究生了,对以往的知识进行一个复习和总结吧. SRA数据库存储了现在主要高通量测序平台的原始测序数据和和比对信息,包括了SRA.EBI.DDBJ.JGI等数据库的信息.(这里 ...
Aspera：基因组数据高速下载利器，以NCBI和EBI数据下载为例
我们通常用wget或curl下载文件,然而由于 NCBI 和 EBI 网站都在国外,有时候下载速度非常慢,如果文件特别大,就可能非常难受甚至是不可能完全的任务了,这时可用 aspera 进行高速下载. ...

NCBI中SRA数据下载

NCBI中SRA数据下载相关推荐

最新文章

热门文章