使用enaBrowserTools和Aspera从ENA下载数据
Linux环境下安装python3: https://blog.csdn.net/jeffery0207/article/details/79774567
Aspera工具的安装与使用: https://www.jianshu.com/p/a6ac81456c01
enaBrowserTools: https://github.com/enasequence/enaBrowserTools
第1部分 Linux环境下安装python3
从python官网(https://www.python.org/ )下载最新版本的python3.x
#下载安装包
wget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz
#解压
tar zxvf Python-3.7.4.tgz
#转到该安装包目录下
cd Python-3.7.4.tgz
#对安装进行配置,并指定安装路径
./configure --prefix=/home1/jialh/local/python37
#编译
make
#安装
make install
为python3设置别名,vim ~/.bash_aliases
:
alias python='/home1/jialh/local/python37/bin/python3.7'
alias python3='/home1/jialh/local/python37/bin/python3.7'
alias pip='/home1/jialh/local/python37/bin/pip3'
更新上述设置的别名source ~/.bash_aliases
。
第2部分 Aspera工具的安装与使用
到官网 https://downloads.asperasoft.com/en/downloads/8?list 下载安装包:
#下载安装包
wget https://download.asperasoft.com/download/sw/connect/3.9.6/ibm-aspera-connect-3.9.6.173386-linux-g2.12-64.tar.gz
#解压安装包
tar -xvf ibm-aspera-connect-3.9.6.173386-linux-g2.12-64.tar.gz
解压后得到一个.sh文件,运行它:
sh ibm-aspera-connect-3.9.6.173386-linux-g2.12-64.sh
为了方便使用,我们需要进行一些准备工作,首先,需要将脚本位置加入环境变量以方便使用(不加入环境变量也可以,每次拷贝~/.aspera/connect/bin/ascp文件到需要下载的目录):
vim ~/.bashrc
在文件末尾加上:
export PATH="/home1/jialh/.aspera/connect/bin:$PATH"
注意替换你的用户名,保存之后为了使其生效:
source ~/.bashrc
然后,我们需要拷贝密匙文件,以方便我们使用:
mkdir /home1/jialh/.aspera/config/
#拷贝秘钥文件
cp ~/.aspera/connect/etc/asperaweb_id_dsa.openssh /home1/jialh/.aspera/config/
测试程序是否安装成功
/home1/jialh/.aspera/connect/bin/ascp -QT -L /home1/jialh/SRR385732/logs -l 100M -P33001 -i /home1/jialh/.aspera/config/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR385/SRR385732/SRR385732.fastq.gz ./SRR385732
结果如下:
第3部分 使用enaBrowserTools下载数据
下载最新版本的enaBrowserTools,解压到你的系统的适当位置。你将得到enaBrowserTools文件夹,包括python2和python3可供选择的脚本。如果你使用Unix/Linux或者Mac计算机,我们建议你增加下面的别名到你的.bashrc或 .bash_profile文件。其中INSTALLATION_DIR是你保存enaBrowserTools的位置,PYTHON_CHOICE取决于你用的是Python 2还是Python 3。
alias enaDataGet=INSTALLATION_DIR/enaBrowserTools/PYTHON_CHOICE/enaDataGet
alias enaGroupGet=INSTALLATION_DIR/enaBrowserTools/PYTHON_CHOICE/enaGroupGet
你可以使用enaDataGet或python INSTALLATION_DIR/enaBrowserTools/PYTHON_CHOICE/enaDataGet.py来调用该工具,下载你所需要的数据。
Aspera的使用
如果你希望使用Aspera来下载read或者分析文件,你需要aspera_settings.ini文件。请将它保存到你的本地计算机,该文件包括你的aspera二进制文件所在的位置(ASPERA_BIN)和秘钥文件(ASPERA_PRIVATE_KEY)。
[aspera]
ASPERA_BIN = /path/to/ascp
ASPERA_PRIVATE_KEY = /path/to/aspera_dsa.openssh
ASPERA_OPTIONS =
ASPERA_SPEED = 100M
测试上述流程能否正常下载数据:
cat /home1/jialh/SouthChinaSea/00_download/PRJNA77801_run_id.list | xargs -n 1 \
/home1/jialh/local/python37/bin/python3.7 /home1/jialh/software/enaBrowserTools/enaBrowserTools-1.5.4/python3/enaDataGet.py \
-f fastq -as /home1/jialh/.aspera/config/aspera_settings.ini -d /home1/jialh/SouthChinaSea/00_download/00_rawdata_test######说明:
#①/home1/jialh/SouthChinaSea/00_download/PRJNA77801_run_id.list 为ENA的run id列表。
#②/home1/jialh/local/python37/bin/python3.7为python3的路径
#③/home1/jialh/software/enaBrowserTools/enaBrowserTools-1.5.4/python3/enaDataGet.py为enaDataGet.py的路径。
#④/home1/jialh/.aspera/config/aspera_settings.ini为aspera的配置文件。
#⑤/home1/jialh/SouthChinaSea/00_download/00_rawdata_test为下载文件的存储路径。
测试结果如下:
使用enaBrowserTools和Aspera从ENA下载数据相关推荐
- 用Aspera批量下载数据
用Aspera批量下载数据 1.下载Aspera 环境:Linux 用conda直接下载 conda install -c aspera-cli 手动下载 参考: https://blog.csdn. ...
- 挫折中前行-aspera下载数据
最开始时使用wget.axel .crul,受网速的限制下载较慢.后续看到相关文章说通过此种方式下载可能会导致下载的原始数据缺失,所以不推荐以上方式下载. 一.通过aspera工具进行下载 1.1安装 ...
- 下载数据CityEngine示例数据(Tutorial)配套视频教程(英文)
最近用应开发的过程中出现了一个小问题,顺便记录一下原因和方法--下载数据 各位网友,当我们安装CityEngine当前,可以点击主菜单[Help]->[Download Tutorialsand ...
- 基于libUSB的USB设备固件更新程序(下载数据)(转)
源:基于libUSB的USB设备固件更新程序(下载数据) 本文紧接上一篇日志:基于libUSB-Win32的USB设备固件更新程序(前言),相关背景以及起因等,此处不再赘述,如感兴趣请移步. libU ...
- ASIHTTPRequest下载数据
本文为大家介绍了iOS开发ASIHTTPRequest下载数据的内容,其中包括设定将服务器响应数据直接下载到文件,处理收到的服务器响应数据,PUT请求.获取HTTP状态码,读取响应头,处理文本编码,处 ...
- php 获取文件给用户下载,php 下载文件/直接下载数据内容
思路步骤 * 定义参数 * 魔术方法 * 执行下载 * 获取设置属性函数 * 获取设置文件mime 类型 * 获取设置下载文件名 * 设置header * 下载函数 实现代码 class DownFi ...
- 重新想象 Windows 8.1 Store Apps (89) - 通信的新特性: 下载数据, 上传数据, 上传文件...
重新想象 Windows 8.1 Store Apps (89) - 通信的新特性: 下载数据, 上传数据, 上传文件 原文:重新想象 Windows 8.1 Store Apps (89) - 通信 ...
- 从ncbi下载数据_如何从NCBI下载所有细菌组件
从ncbi下载数据 One of the most important steps in genome analysis is gathering the data required for down ...
- python--从入门到实践--chapter 15 16 17 生成数据/下载数据/web API
1.随机漫步 random_walk.py from random import choice class RandomWalk():def __init__(self, num_points=500 ...
最新文章
- [深度学习] 自然语言处理 --- Huggingface-Pytorch中文语言Bert模型预训练
- caffeine 时间轮的实现
- python绘制正方形、利用turlr_《像计算机科学家一样思考Python》学习笔记(四)...
- 【论文分享】PathQG: 基于事实的神经问题生成
- 如何自己开发漏洞扫描工具
- 在线Excel:SpreadJS 15.0 中文版
- 运营级最新修复版苍穹影视(双端千月)
- win10设置任务栏全透明、免安装第三方软件
- radon变换的原理-通过直线方程式的计算来检测出直线
- 第09课:一网打尽神经序列模型之 RNN 及其变种 LSTM、GRU
- ERP电商管理系统开发实现功能
- HTML转图片或者HTML转PDF
- Matlab:FIR滤波器设计和音频信号滤波去噪
- C#/VB.NET 在Excel单元格中应用多种字体格式
- Linux怎样关闭防火墙?
- 计算机组成原理(3)-哈工大
- Android中EditText控件的Ime Options属性
- 《资讯:元宇宙》(Yanlz+VR云游戏+Unity+SteamVR+云技术+5G+AI+区块链+NFT+绿洲+头号玩家+平行宇宙+虚拟世界+Pico+Oculus+Soul+立钻哥哥++==)
- 基于AT89C51/52和DS18B20的温度传感器设计报告(后附代码)
- GPFS 之 Quorum 深入解析
热门文章
- 子序列自动机 学习笔记
- 【一篇文章带你读完《C++游戏编程入门 第4版》】
- Java计算机毕业设计单位职工房产管理源码+系统+数据库+lw文档
- 一张通往2030的“高铁票”:从无线网络到智能世界
- 计算机奥赛金牌排名,2019年第36届信息学奥赛金牌获奖名单公布!信息学竞赛中学有哪些?...
- 室外低速自动导航车的设计(2)——多线激光雷达的点云解析
- java控制vnc_VNC 抓取远程桌面
- 2013 AMC8中文
- linux下的删除文件命令,Linux下删除文件命令
- matlab通信工具comm,comm matlab上最全的通信模块,包括各种调制方式和信道特性, 编码函数 256万源代码下载- www.pudn.com...