avrorecord.java,失败,但发生异常java.io.IOException:org.apache.avro.AvroTypeException:发现的很长,期望在配置单元中实现联合...
需要帮忙!!!
我正在使用flume将Twitter提要流式传输到hdfs中,并将其加载hive进行分析。
步骤如下:
我已经avro schema在avsc文件中描述了并将其放入hadoop:
{"type":"record",
"name":"Doc",
"doc":"adoc",
"fields":[{"name":"id","type":"string"},
{"name":"user_friends_count","type":["int","null"]},
{"name":"user_location","type":["string","null"]},
{"name":"user_description","type":["string","null"]},
{"name":"user_statuses_count","type":["int","null"]},
{"name":"user_followers_count","type":["int","null"]},
{"name":"user_name","type":["string","null"]},
{"name":"user_screen_name","type":["string","null"]},
{"name":"created_at","type":["string","null"]},
{"name":"text","type":["string","null"]},
{"name":"retweet_count","type":["boolean","null"]},
{"name":"retweeted","type":["boolean","null"]},
{"name":"in_reply_to_user_id","type":["long","null"]},
{"name":"source","type":["string","null"]},
{"name":"in_reply_to_status_id","type":["long","null"]},
{"name":"media_url_https","type":["string","null"]},
{"name":"expanded_url","type":["string","null"]}]}
我写了一个.hql文件来创建表并在其中加载数据:
create table tweetsavro
row format serde
'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
stored as inputformat
'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
outputformat
'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
tblproperties ('avro.schema.url'='hdfs:///avro_schema/AvroSchemaFile.avsc');
load data inpath '/test/twitter_data/FlumeData.*' overwrite into table tweetsavro;
我已经成功运行.hql文件,但是当我select *from 在蜂巢中运行命令时,它显示以下错误:
tweetsavro的输出为:
hive> desc tweetsavro;
OK
id string
user_friends_count int
user_location string
user_description string
user_statuses_count int
user_followers_count int
user_name string
user_screen_name string
created_at string
text string
retweet_count boolean
retweeted boolean
in_reply_to_user_id bigint
source string
in_reply_to_status_id bigint
media_url_https string
expanded_url string
Time taken: 0.697 seconds, Fetched: 17 row(s)
avrorecord.java,失败,但发生异常java.io.IOException:org.apache.avro.AvroTypeException:发现的很长,期望在配置单元中实现联合...相关推荐
- 解决IntelliJ IDEA报错:调用方法[manageApp]时发生异常java.lang.IllegalStateException: 启动子级时出错
解决IntelliJ IDEA报错:调用方法[manageApp]时发生异常java.lang.IllegalStateException: 启动子级时出错 问题描述: 笔者将一个在 Tomcat ...
- 调用方法[manageApp]时发生异常 java.lang.IllegalStateException: 启动子级时出错
学习maven的初步阶段 在写第一个HelloServlet的servlet程序时,碰见了这样的错误: 严重 [RMI TCP Connection(2)-127.0.0.1] org.apache. ...
- java格式错误什么意思_java.io.IOException可能的原因是什么:“文件名,目录名或卷标语法不正确”...
我试图使用以下代码复制一个文件: File targetFile = new File(targetPath + File.separator + filename); ... targetFile. ...
- java线程带来的异常,java多线程练习之捕获子线程异常例子
本文章给大家介绍java多线程练习之捕获子线程异常一个实例,希望对大家会有所帮助. java多线程程序中,所有线程都不允许抛出未捕获的checked exception,也就是说各个线程需要自己把自己 ...
- java文件流读取异常_Java IO流的FileInputStream读取文件的问题,不同写法输出不一样...
利用FileInputStream的read()方法读取文件时,读出的数据强制转换时用不同的写法,在控制台得出不同的显示. 出问题的写法: 正确输出的写法: 以下为两种输出,错误输出是输出一串数字,正 ...
- 调用方法[manageApp]时发生异常 java.lang.IllegalStateException: 启动子级时出错
写servlet时启动遇到这样的错误: 经过仔细查找 排除了是Tomcat配置问题 最后发现问题出现在web.xml中 url-pattern的里面少了一个"/" 修改: 重新启动 ...
- android java.lang.illegalstateexception,Android异常 java.lang.IllegalStateException解决方法
Android异常详情介绍 这种异常我遇到以下两种情况: 1. java.lang.IllegalStateException: No wrapped connection. 2.java.lang. ...
- java 对象为空异常,Java空对象(null)是怎么回事?
Java 语言支持两种数据类型,分别是基本数据类型和引用数据类型,而 null 是一种特殊的引用数据类型.本节主要介绍 Java 空对象是什么及如何判断对象是否为空. 经过<Java new运算 ...
- java 连接 2008,java连接SqlServer2008R2连接异常
java连接SqlServer2008R2连接异常 java连接SqlServer2008R2连接异常 新装的sqlserver2008R2数据库,连接数据库,控制台报了下面的错误...... The ...
最新文章
- EditText和TextView出现中文、英文等string串的排版问题
- Java线程安全 关于原子性与volatile的试验
- Console Snacks[摘自Advanced Rails Recipes]
- 程序员最真实的10个瞬间
- python数据图形化—— matplotlib 基础应用
- C++:const修饰变量、形参、函数
- linux exit 流程,Shell exit流程控制语句及用法
- 如果redis没有设置expire,他是否默认永不过期?
- diskData磁盘数据分析
- Linux软件万花筒
- matconvnet在MATLAB2013配置过程中遇到的问题
- 等待线程3秒返回结果_Excel小白超级讨厌的计算,原来只用3秒就能出结果!
- java map存储格式_java HashMap HashSet的存储方式
- 分享 MSDN 下载工具(Word/PDF)
- SAP BAPI 教程 – 在 ABAP 中创建 BAPI 的分步指南-020
- MaxDEA如何计算DEA-Malmquist指数
- 利用FFT成功实现拓扑识别(五)--关于频谱泄露
- 触摸屏一体机的类型有哪些
- 【Python】如何将文件中\xe8\x85\xbe\xe8字符转成中文?
- 最短路径Floyd算法【图文详解】