linux hive的作用,Hive的基本应用 - Hadoop和Hive的实践应用_服务器应用

前面我已经搭好了Hadoop和hive环境，并且在hive中创建了表page,将数据load了进去。现在我想从这个表中统计每个url的流量，并放到其他关系中数据库中或者展现在页面上，怎么办？

去官网是看一下，不难发现可以用java ,Python，php都可以实现，下面就用python 简单的写了写

from hive_service import ThriftHive

from hive_service.ttypes import HiveServerException

from thrift import Thrift

from thrift.transport import TSocket

from thrift.transport import TTransport

from thrift.protocol import TBinaryProtocol

urlcount={}

def getFlowbyHive():

try:

transport = TSocket.TSocket('219.*.*.200',10000)

transport = TTransport.TBufferedTransport(transport)

protocol = TBinaryProtocol.TBinaryProtocol(transport)

client = ThriftHive.Client(protocol)

transport.open()

client.execute("select URL, count(*) from page GROUP BY URL")

while (1):

row = client.fetchOne()

sp = row.split('/t')

if (len(sp)<2):

continue

if (row == None):

break

urlcount[sp[0]]=sp[1]

print sp[0],sp[1]

transport.close()

except Thrift.TException, tx:

print '%s' % (tx.message)

需要在219.*.*.200服务器上启动hive服务，用于python,java等程序连接hive,bin/hive --service hiveserver 10001不跟端口号默认10000支持nohup后台启动执行程序，完了urlcount中现在应经存上了url:count的键值对，入库或展现由你来处理了。

HWI是Hive Web Interface的简称，是hive cli的一个web替换方案。0.7默认是自带hwi的，conf/hive-default.xml文件都是默认值，在后台启动hwi服务

nohup bin/hive --service hwi > /dev/null 2> /dev/null &

浏览器中输入：http://10.20.151.7:9999/hwi/ 就可以访问，可以查看数据仓库，执行语句了

linux hive的作用,Hive的基本应用 - Hadoop和Hive的实践应用_服务器应用_Linux公社-Linux系统门户网站...相关推荐

外网主机访问虚拟机下的Web服务器_服务器应用_Linux公社-Linux系统门户网站
外网主机访问虚拟机下的Web服务器_服务器应用_Linux公社-Linux系统门户网站之前在CentOS虚拟机上安装了LAMP,搭建起了自己的web服务器,具体流程见: http://www.lin ...
linux判断网卡是否挂载,检查网卡是否加载 - Linux服务器网卡驱动安装及故障排除_服务器应用_Linux公社-Linux系统门户网站...
2.检查网卡是否加载: 驱动硬件是操作系统最基本的功能,操作系统通过各种驱动程序来驾驭硬件设备,和Windows系统不同Linux内核目前采用可加载的模块化设计(LKMs Loadable Kerne ...
服务器ubuntu系统版本选型原则,系统集成 - 选择Ubuntu服务器版操作系统的六大理由_服务器应用_Linux公社-Linux系统门户网站...
二. 系统集成 (1)集成现有的系统 Ubuntu服务器版本用常用的身份认证方式和服务入口工具简单地集成企业现有的客户/服务器结构.我们都知道系统集成技术的重要性,这也是Ubuntu团队花费大量时间研 ...
ftp连接oracle服务器,使用SSL加密连接FTP - 架建SSL安全加密的FTP服务器(图)_服务器应用_Linux公社-Linux系统门户网站...
四.使用SSL加密连接FTP 启用Serv-U服务器的SSL功能后,就可以利用此功能安全传输数据了,但FTP客户端程序必须支持SSL功能才行. 如果我们直接使用IE浏览器进行登录则会出现图4显示的错误 ...
oracle去重差个数,多表查询 - Oracle 查询技巧与优化_数据库技术_Linux公社-Linux系统门户网站...
前言上一篇blog介绍了Oracle中的单表查询和排序的相关技巧,本篇blog继续介绍查询中用的最多的--多表查询的技巧与优化方式,下面依旧通过一次例子看一个最简单的多表查询. 多表查询上一篇中提 ...
oracle 10grac搭建,新建虚拟机 - Vmware+Linux+Oracle 10G RAC全程详细图解_数据库技术_Linux公社-Linux系统门户网站...
Vmware软件的安装过程不详述,因为很简单,只要按照提示一步步往下走就ok.在这里提醒一句,如果要配置Oracle RAC,一定不要安装vmware workstation版本,而要安装vmware ...
oracle和mysql的安装教程_客户端安装和配置（1） - Oracle 10g 安装图解教程_数据库技术_Linux公社-Linux系统门户网站...
概述 Oracle 数据库是一种网络上的数据库, 它在网络上支持多用户, 支持服务器/客户机等部署(或配置) 服务器与客户机是软件概念, 它们与计算机硬件不存在一一对应的关系. 即: 同一台计算机既可 ...
mysql双机互备linux成功的_配置MySQL双机热备 - Linux服务器MySQL双机热备份试验_数据库技术_Linux公社-Linux系统门户网站...
二.配置MySQL双机热备传统模式都是采用MySQL双机互备,至于双机热备我搜索了大量的精华帖子都没有发现安装配置文档.故我的一个想法产生了:当建立新的数据库时,默认会建立到/usr/local/m ...
红旗linux mysql_恢复 - 红旗Linux案例精选：Amanda集中备份实例详细讲解_数据库技术_Linux公社-Linux系统门户网站...
五.恢复假定我们需要恢复cp3上一些丢失的数据,首先用amandabackup帐号登录cp2机器,创建/etc/amanda/amanda-client.conf文件,内容如下: # # amand ...

linux hive的作用,Hive的基本应用 - Hadoop和Hive的实践应用_服务器应用_Linux公社-Linux系统门户网站...

linux hive的作用,Hive的基本应用 - Hadoop和Hive的实践应用_服务器应用_Linux公社-Linux系统门户网站...相关推荐

最新文章

热门文章