python向服务器上传fq文件,用python-fas读取大型fastq文件

我有几个fastq文件，平均有500.000.000行(125000.000个序列)。有没有一种快速读取这些fastq文件的方法。

我想做的是，读取每个序列并使用前16个序列作为条形码。然后统计每个文件中的条形码数量。

以下是我的脚本，耗时数小时：import os, errno

from Bio import SeqIO

import gzip

files = os.listdir(".")

for file in files[:]:

if not file.endswith(".fastq.gz"):

files.remove(file)

maps = {}

for file in files:

print "Now Parsing file %s"%file

maps[file] = {}

with gzip.open(file,"r") as handle:

recs = SeqIO.parse(handle,"fastq")

for rec in recs:

tag = str(rec.seq)[0:16]

if tag not in map[file]:

maps[file][tag] = 1

else:

maps[file][tag] += 1

我有250 GB内存和20个CPU，可以用于多线程。。。

谢谢。

python向服务器上传fq文件,用python-fas读取大型fastq文件相关推荐

28. 如何使用 SAP OData 服务向 ABAP 服务器上传文本格式和 Excel,PDF 等格式的文件
文章目录 1. 创建对应的自定义数据库表和 ABAP DDIC 结构 2. 完成 SEGW 事物码里模型的增强 3. 完成必要的 ABAP 编码 2023 年 5 月 12 日更新本教程到目前为止开 ...
python qq空间上传_QQ空间的Python接口
QQ空间说说接口这是一个可以用来访问QQ空间说说详细信息的Python模块,能够为用户解析出有用的信息. 用法首先要通过传入cookies创建一个Qzone对象,其次调用它的emotion_lis ...
python运维实战--跨堡垒机连接二级服务器上传文件
python运维实战--跨堡垒机连接二级服务器上传文件 paramiko的有关概念和操作 Welcome to Paramiko! - Paramiko documentation 这个python脚 ...
python向windows服务器上传文件（夹）
python向windows服务器上传文件(夹) 本人需求分析: 需要从本地将某个指定目录下的文件夹上传至服务器的某个指定目录下. 这次思路是采用python的 paramiko 库.paramiko ...
Python使用FTP上传文件
Python使用FTP上传文件本文主要介绍如何使用Python通过FTP上传文件. FTP简介 FTP即文件传输协议(File Transfer Protocol),是用于在网络上进行文件传输的一种 ...
Python Request POST 上传文件 Multipart/form-data
项目场景: 我的第一个博客:使用python request模块向服务器接口上传图片问题描述某app上传图片接口的包原因分析: 问题的关键词:请求头 Content-Type:multipart ...
ASP.NET跨服务器上传文件的相关解决方案
ASP.NET跨服务器上传文件的相关解决方案参考文章: (1)ASP.NET跨服务器上传文件的相关解决方案 (2)https://www.cnblogs.com/zuowj/p/3999798.ht ...
windows主机用scp命令向Linux服务器上传和下载文件
windows主机用scp命令向Linux服务器上传和下载文件文章目录: 一.scp介绍二.scp上传和下载 1.上传 2.下载三.scp的更多参数一.scp介绍 scp是secure cop ...
华为云服务器大文件,云服务器上传大文件
云服务器上传大文件内容精选换一换本节操作介绍本地MacOS系统主机通过安装"Microsoft Remote Desktop for Mac"工具向Windows云服务器传输 ...

python向服务器上传fq文件,用python-fas读取大型fastq文件

python向服务器上传fq文件,用python-fas读取大型fastq文件相关推荐

最新文章

热门文章