遇到问题

在jupyter notebook中使用hail进行操作，使用命令如下:

import hail as hl
mt = hl.import_vcf("s3a://test-env/tmp/zzq/20200317072357")
mt.show()

可以成功运行，并展示数据如下:

Initializing Spark and Hail with default parameters...
Running on Apache Spark version 2.4.5
SparkUI available at http://10.1.39.244:4040
Welcome to__  __     <>__/ /_/ /__  __/ // __  / _ `/ / //_/ /_/\_,_/_/_/   version 0.2.33-5d8cae649505
LOGGING: writing to /tmp/hail-20200319-0942-0.2.33-5d8cae649505.log
2020-03-19 09:42:33 Hail: WARN: expected input file 's3a://test-env/tmp/zzq/20200317072357' to end in .vcf[.bgz, .gz]
2020-03-19 09:42:38 Hail: INFO: Coerced sorted dataset
2020-03-19 09:42:39 Hail: INFO: Coerced sorted dataset
locus   alleles A01.CEL.GT  A02.CEL.GT  A03.CEL.GT  A04.CEL.GT
locus<GRCh37> array<str>    call    call    call    call
1:564936    ["T","C"]   0/0 0/0 0/0 0/0
1:565433    [

遇到问题----hadoop组件---spark实战-----spark on k8s---hail--Expected n part files but found 0相关推荐

Hadoop组件搭建-Hadoop伪分布式
该文章仅用于记录个人笔记,如果您觉得不专业或者有误导,打扰到您,请谅解. Hadoop组件搭建-前置要求 Hadoop组件搭建-jdk Hadoop组件搭建-Hadoop伪分布式 Hadoop组件搭建 ...
hadoop组件---spark----全面了解spark以及与hadoop的区别
Spark是什么 Spark (全称 Apache Spark™) 是一个专门处理大数据量分析任务的通用数据分析引擎. spark官网 Spark核心代码是用scala语言开发的,不过支持使用多种语言 ...
大数据各组件理论性总结---spark和hadoop(将持续更新)
Hadoop和spark的起源 Hadoop起源 1998年9月4日,Google公司在美国硅谷成立.正如大家所知,它是一家做搜索引擎起家的公司无独有偶,一位名叫Doug Cutting的美国工程师 ...
hadoop组件---spark理论----spark on k8s模式的三种方式全面了解
我们在之前的文章中已经了解了 spark支持的模式,其中一种就是使用k8s进行管理. hadoop组件-spark----全面了解spark以及与hadoop的区别是时候考虑让你的 Spark ...
中国Spark技术峰会（上）：Spark与生态圈中组件结合实战
5月13日-15日,由全球最大中文IT社区CSDN主办的"2016中国云计算技术大会"(Cloud Computing Technology Conference 2016,简称C ...
大数据Spark实战第一集导学
开篇词:学了就能用的 Spark? 你好,很高兴我们在<即学即用的 Spark 实战 44 讲>这个课程中相遇,我是范东来,Spark Contributor 和 Superset Con ...
spark 简单实战_大数据入门与实战-Spark上手
1 Spark简介 1.1 引言行业正在广泛使用Hadoop来分析他们的数据集.原因是Hadoop框架基于简单的编程模型(MapReduce),它使计算解决方案具有可扩展性,灵活性,容错性和成本效益 ...
Spark实战之读写HBase
1 配置 1.1 开发环境: HBase:hbase-1.0.0-cdh5.4.5.tar.gz Hadoop:hadoop-2.6.0-cdh5.4.5.tar.gz ZooKeeper:zooke ...
生产环境实战spark （5）分布式集群 5台设备之间hosts文件配置 ssh免密码登录
生产环境实战spark (5)分布式集群 5台设备之间 ssh免密码登录之前已经在master节点单台设备上配置ssh免密码的登录工作,现在要做的事情是在5台设备之间实现ssh免密码操作.我在整个大 ...

遇到问题----hadoop组件---spark实战-----spark on k8s---hail--Expected n part files but found 0

遇到问题

遇到问题----hadoop组件---spark实战-----spark on k8s---hail--Expected n part files but found 0相关推荐

最新文章

热门文章