java csv tab分隔,CSV格式与tab制表符分割的格式文件相互转换,支持管道操作
Annovar的注释结果,如果输出制表符分割的VCF格式,显得混乱。如果输出为csv格式,方便windows下的用户用excel打开,但不方便数据处理,比如某一列的注释信息中包含了逗号,这种情况就要特别注意。python中有csv模块可以方便的读取csv,推荐使用。
本文写的小脚本主要处理简单的csv格式,亮点在于支持接收标准输入和标准输出,方便生物信息多命令之间通过管道进行处理。如果没有指定输入文件,则读取管道流数据,如果没有指定输出文件,则可以用管道接收数据进行下一步处理。
比如 cat xxx.csv | python convert.py | grep "xx" > result.txt
或者 python convert.py -i input.csv | grep "xx" > result.txt
或者 python convert.py -i input.csv - o result.txt
查看用法 python convert.py --help
详细代码如下
#! /usr/bin/python
# -*- coding: utf-8 -*-
__author__ = 'Jason'
# Create: 20160114
# Modified on: 20160115
# Simple python script that convert csv to tab (-c or --csv option) or convert tab to csv (-t or --tab option).
# Support stdin and stdout
from optparse import OptionParser
import sys
def getOptions():
parser = OptionParser(usage="%prog [-i INPUT] [-csv|-tab] [-o OUT]", version="%prog 1.0")
parser.add_option("-i", "--input", type="string", dest="input", action="store", help="Input file. File should be seperated by tab or comma. If not specify, use stdin", metavar="file")
parser.add_option("-o", "--output", type="string", dest="output", action="store", help="Output file path. If not specify, use stdout.", metavar="file")
parser.add_option("-t", "--tab", default=False, dest="tab", action="store_true", help="Line field is tab splitted" )
parser.add_option("-c", "--csv", default=True, dest="csv", action="store_true", help="Line field is ',' splitted. Default True.")
(options, args) = parser.parse_args()
return options
def readLine(path):
"""
Yeild a line for processing.
:param path: Input file path. If path not specified, use stdin instead.
:return: line string
"""
if path:
for line in open(path):
yield line
else:
for line in sys.stdin.readlines():
yield line
def csv2tab(line):
"""
Just simplely convert csv to tab. Do not concert csv format with complex condition
:param line:
:return:
"""
line=line.replace(',"','"').replace('",','"')
t=line.split('"')#if , is enclosed by " , then , in odd number
newt=[]
if len(t) <=2 :
return line.replace(',','t')
else:
for i,e in enumerate(t):
if i%2==1:
newt.append(e)
else:
if e=='': continue
newt.extend(e.split(','))
return 't'.join(newt)
def tab2csv(line):
temp=[]
for t in line.split('t'):
if ',' in t:
temp.append('"%s"' % t) # if comma in field, use double quotation marks to enclose comma
else:
temp.append(t)
return ','.join(temp)
options=getOptions()
if options.output:
out=open(options.output,'w')
else: out=sys.stdout # if output path not specified, use stdout instead
for line in readLine(options.input):
if options.tab:
newLine=tab2csv(line)
else:
newLine=csv2tab(line)
out.write(newLine)
out.flush()
out.close()
java csv tab分隔,CSV格式与tab制表符分割的格式文件相互转换,支持管道操作相关推荐
- linux转换vcf格式,如何使用awk分割vCard通讯录文件(.vcf)
写这个的缘由是某人最近要从某旧山寨手机给某(更旧的)NOKIA手机同步通讯录,由于某山寨android手机输出的vCard文件是单文件里面包含多个记录数据的格式,而NOKIA的古老同步软件只支持单记录 ...
- Java实现两个csv文件的对比_Java实现CSV文件差异对比
在项目中经常会遇到使用CSV文件,比如从HR中得到的文件拿到其它地方去处理,实际会需要得到当前和上次文件中的差异,比如:添加,删除,修改, 那么如何来实现呢,可能有很的方法,在这里我说一下我的实现方法 ...
- java将数据写入csv文件,从csv文件中读取数据
全栈工程师开发手册 (作者:栾鹏) java教程全解 java将数据写入csv文件,从csv文件中读取数据 测试代码 public static void main(String[] arges){/ ...
- Spire.XLS使用教程:在Java中将 Excel 转换为 CSV或将CSV转换为Excel
Spire.XLS for Java是专业的Java Excel API,使开发人员无需使用Microsoft Office或Microsoft Excel即可创建,管理,操作,转换和打印Excel工 ...
- JAVA通过Hutool解析CSV文件【导入即用,无需封装】
JAVA通过Hutool解析CSV文件 Java解析CSV方式有很多种方式[javaCSV(未更新),openCSV(apache)],这篇文章主要是用到Hutool工具类,能快速的解析读取,不需 ...
- C++ 按行读取数据文件,每行以tab分隔
#include <iostream> #include <fstream> #include <string> #include <sstream> ...
- 把videos对应标签的.avi文件转为kinetics400的格式,其中所包含的格式有.csv和.json格式
实现功能 把videos对应标签的.avi文件转为kinetics400的格式,其中所包含的格式有.csv和.json格式 https://github.com/yanyide123/kinetics ...
- Mapinfo的TAB格式批量转GIS的SHP格式
Mapinfo的TAB格式批量转GIS的SHP格式 现在用Mapinfo软件的越来越少了,但是日常工作学习中还是会经常接触到TAB格式,现在我们来用Mapinfo软件来批量将TAB格式批量转GIS的S ...
- csv文件,不是excel格式的,不是excel格式的,不是excel格式的,其实csv就是纯文本格式即txt,可以用txt打开
csv文件,不是excel格式的,不是excel格式的,不是excel格式的,其实csv就是纯文本格式即txt,可以用txt打开 很多人认为,csv就是xls格式的,因为windows系统下,csv文 ...
- python csv使用_python CSV模块的使用
简介 CSV(comma separated values),逗号分隔值(字符分割值,字符可以不是逗号),常用的文本格式,用以存储表格数据,包括数字或者字符.kaggle就是csv格式,python有 ...
最新文章
- 【 FPGA 】常数( localparam )和参数( parameter )
- 《研磨设计模式》chap23 职责链模式chainOfResponsibility(1)模式简介
- 阿当姆斯matlab,数值计算方法与MATLAB应用
- 移动namenode、secondarynamenode和jobTracker的节点(使其成为独立节点)
- leetcode53. 最大子序和详解——pygo
- 线程池及并发编程基础总结
- hibernate 批量插入 Batch
- Java语法总结 - 线程
- Ubuntu 14.04 设置静态IP地址全攻略
- Swift 模式(Patterns)
- 计算机台式硬件排名价格,台式机电脑主板排名
- PageRank实践-博客园用户PageRank排名
- 计算机视觉面试经验汇总(一)
- CTF-MISC文件隐写总结(图片,音频,视频,压缩包等文件)
- google手机等相关产品{时间不同步}最简解决方法
- 设计表:多张表存储学生成绩及各种信息
- 前端开发相关的学习网站
- redis操作相关命令:停止、启动、查看
- 〖ChatGPT实践指南 - 零基础扫盲篇⑨〗- OpenAI API 的数据使用政策以及使用限制
- 遗传算法三种交叉算子(OX、PMX、CX)
热门文章
- Intellij IDEA--导入导出配置
- Java毕设项目航空订票系统火车票订购系统(2021最新)
- matlab寻找直线_matlab寻找直线_Matlab 霍夫变换 ( Hough Transform) 直线检测
- MATLAB通过两点画三维直线(plot3)
- 【历史上的今天】8 月 14 日:新浪微博开始内测;阿塔纳索夫完成论文;登上太空的计算机病毒
- 外包IT运维面临的问题及挑战
- Vue2.5.1+Spring支持分销、团购、秒杀、优惠券、微信商城项目,源码免费分享
- 【数学建模】算法模型(三)|模糊综合和灰色关联分析 元胞自动机模型 图论 BP神经网络算法 马尔可夫链蒙特卡罗算法(MCMC)
- 导出期刊对应格式的参考_3.2怎样按照某个期刊的格式要求生成文后的参考文献.PDF...
- 三星 9810 android 9,【极光ROM】-【三星NOTE9 N960X-9810】-【V17.0 Android-Q-TB9】