需要帮忙!!!

我正在使用flume将Twitter提要流式传输到hdfs中,并将其加载hive进行分析。

步骤如下:

我已经avro schema在avsc文件中描述了并将其放入hadoop:

{"type":"record",

"name":"Doc",

"doc":"adoc",

"fields":[{"name":"id","type":"string"},

{"name":"user_friends_count","type":["int","null"]},

{"name":"user_location","type":["string","null"]},

{"name":"user_description","type":["string","null"]},

{"name":"user_statuses_count","type":["int","null"]},

{"name":"user_followers_count","type":["int","null"]},

{"name":"user_name","type":["string","null"]},

{"name":"user_screen_name","type":["string","null"]},

{"name":"created_at","type":["string","null"]},

{"name":"text","type":["string","null"]},

{"name":"retweet_count","type":["boolean","null"]},

{"name":"retweeted","type":["boolean","null"]},

{"name":"in_reply_to_user_id","type":["long","null"]},

{"name":"source","type":["string","null"]},

{"name":"in_reply_to_status_id","type":["long","null"]},

{"name":"media_url_https","type":["string","null"]},

{"name":"expanded_url","type":["string","null"]}]}

我写了一个.hql文件来创建表并在其中加载数据:

create table tweetsavro

row format serde

'org.apache.hadoop.hive.serde2.avro.AvroSerDe'

stored as inputformat

'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'

outputformat

'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'

tblproperties ('avro.schema.url'='hdfs:///avro_schema/AvroSchemaFile.avsc');

load data inpath '/test/twitter_data/FlumeData.*' overwrite into table tweetsavro;

我已经成功运行.hql文件,但是当我select *from 在蜂巢中运行命令时,它显示以下错误:

tweetsavro的输出为:

hive> desc tweetsavro;

OK

id string

user_friends_count int

user_location string

user_description string

user_statuses_count int

user_followers_count int

user_name string

user_screen_name string

created_at string

text string

retweet_count boolean

retweeted boolean

in_reply_to_user_id bigint

source string

in_reply_to_status_id bigint

media_url_https string

expanded_url string

Time taken: 0.697 seconds, Fetched: 17 row(s)

avrorecord.java,失败,但发生异常java.io.IOException:org.apache.avro.AvroTypeException:发现的很长,期望在配置单元中实现联合...相关推荐

  1. 解决IntelliJ IDEA报错:调用方法[manageApp]时发生异常java.lang.IllegalStateException: 启动子级时出错

    解决IntelliJ IDEA报错:调用方法[manageApp]时发生异常java.lang.IllegalStateException: 启动子级时出错 问题描述:   笔者将一个在 Tomcat ...

  2. 调用方法[manageApp]时发生异常 java.lang.IllegalStateException: 启动子级时出错

    学习maven的初步阶段 在写第一个HelloServlet的servlet程序时,碰见了这样的错误: 严重 [RMI TCP Connection(2)-127.0.0.1] org.apache. ...

  3. java格式错误什么意思_java.io.IOException可能的原因是什么:“文件名,目录名或卷标语法不正确”...

    我试图使用以下代码复制一个文件: File targetFile = new File(targetPath + File.separator + filename); ... targetFile. ...

  4. java线程带来的异常,java多线程练习之捕获子线程异常例子

    本文章给大家介绍java多线程练习之捕获子线程异常一个实例,希望对大家会有所帮助. java多线程程序中,所有线程都不允许抛出未捕获的checked exception,也就是说各个线程需要自己把自己 ...

  5. java文件流读取异常_Java IO流的FileInputStream读取文件的问题,不同写法输出不一样...

    利用FileInputStream的read()方法读取文件时,读出的数据强制转换时用不同的写法,在控制台得出不同的显示. 出问题的写法: 正确输出的写法: 以下为两种输出,错误输出是输出一串数字,正 ...

  6. 调用方法[manageApp]时发生异常 java.lang.IllegalStateException: 启动子级时出错

    写servlet时启动遇到这样的错误: 经过仔细查找 排除了是Tomcat配置问题 最后发现问题出现在web.xml中 url-pattern的里面少了一个"/" 修改: 重新启动 ...

  7. android java.lang.illegalstateexception,Android异常 java.lang.IllegalStateException解决方法

    Android异常详情介绍 这种异常我遇到以下两种情况: 1. java.lang.IllegalStateException: No wrapped connection. 2.java.lang. ...

  8. java 对象为空异常,Java空对象(null)是怎么回事?

    Java 语言支持两种数据类型,分别是基本数据类型和引用数据类型,而 null 是一种特殊的引用数据类型.本节主要介绍 Java 空对象是什么及如何判断对象是否为空. 经过<Java new运算 ...

  9. java 连接 2008,java连接SqlServer2008R2连接异常

    java连接SqlServer2008R2连接异常 java连接SqlServer2008R2连接异常 新装的sqlserver2008R2数据库,连接数据库,控制台报了下面的错误...... The ...

最新文章

  1. EditText和TextView出现中文、英文等string串的排版问题
  2. Java线程安全 关于原子性与volatile的试验
  3. Console Snacks[摘自Advanced Rails Recipes]
  4. 程序员最真实的10个瞬间
  5. python数据图形化—— matplotlib 基础应用
  6. C++:const修饰变量、形参、函数
  7. linux exit 流程,Shell exit流程控制语句及用法
  8. 如果redis没有设置expire,他是否默认永不过期?
  9. diskData磁盘数据分析
  10. Linux软件万花筒
  11. matconvnet在MATLAB2013配置过程中遇到的问题
  12. 等待线程3秒返回结果_Excel小白超级讨厌的计算,原来只用3秒就能出结果!
  13. java map存储格式_java HashMap HashSet的存储方式
  14. 分享 MSDN 下载工具(Word/PDF)
  15. SAP BAPI 教程 – 在 ABAP 中创建 BAPI 的分步指南-020
  16. MaxDEA如何计算DEA-Malmquist指数
  17. 利用FFT成功实现拓扑识别(五)--关于频谱泄露
  18. 触摸屏一体机的类型有哪些
  19. 【Python】如何将文件中\xe8\x85\xbe\xe8字符转成中文?
  20. 最短路径Floyd算法【图文详解】

热门文章

  1. apache开启 gzip 压缩
  2. bootstrap checkbox
  3. Lisp-1和Lisp-2
  4. OpenCV学习(19) 细化算法(7)
  5. 写得蛮好的linux学习笔记(二)
  6. linux ls命令 --time-style选项 日期时间格式控制
  7. python3 字符串 统计子字符数量 内置方法count
  8. windows cmd命令行中 查看 修改 删除与添加环境变量
  9. linux shell 执行 几种方式区别 bash source .
  10. python3 得到一个可用未绑定端口