python用户标识符条件_使用sum（if…）或条件语句操作两个数据集，这些语句没有hivehadooppython的公共标识符...

我正在尝试对地理ip定位的准确性进行分析，并基于ip地址到ip整数或ip_number的转换，使用两个非常大的数据集。在

转换如下所示ip_number = 16777216*w + 65536*x + 256*y + z (1)

在哪里

^{pr2}$

我用Hive在Hadoop中构建了我的两个表：表1是2.9MM的行，被组织成由ip_number范围标识的地理位置。字段显示：start_ip, end_ip, zipcode, city

其中，start_ip是给定zipcode的最小值ip_number，end_ip是给定zipcode的最大值ip_number。在

这个表是一个ip_num bucket或范围以及相应位置的索引，我需要从另一个具有唯一ip_号的表中分析其使用情况。在

我的第二个表或数据集包括来自服务器的每个IP的交互和使用数据。因此，我有25毫米唯一的ip_number，其中包含我需要在第一个表中按bucket求和和和分组的使用数据。字段显示：ip_number, ip_address, usage

在配置单元中的标准联接的两个数据集之间没有公共字段，所以我卡住了。在

我尝试过使用完全的外部联接，但是我相信结果数据集太大，我们的Hadoop集群无法处理。在map/reduce期间脚本超时。在

配置单元有没有一种方法可以从第一个表中选择行，并从第二个表中为活动求和一个字段，该活动来自第一个表中每个bucket或范围内的ip_号？如果不是，那么Python或R有没有办法操纵Hadoop表来实现这一点？在

我希望生成的数据集组织起来：table_1.ip_start, table_1.ip_end, table_1.zipcode, sum(table_2.usage)

非常感谢任何帮助！在

python用户标识符条件_使用sum（if…）或条件语句操作两个数据集，这些语句没有hivehadooppython的公共标识符...相关推荐

python用户画像建模_求用户画像的详细解释、建模方法及算法模型
先给你一个传送门,目测是一个腾讯内部的培训资料:https://bbs.pinggu.org/thread-3868699-1-1.html 该文档我看了,虽然比较浅,但内容相当实在--目前大家谈起用 ...
python用户标签体系_什么是用户画像和标签？
一.先熟悉一些名词和概念 1. 标签(Tag) 对某一类特定群体或对象的某项特征进行的抽象分类和概括,其值(标签值)具备可分类性. 例:对于"人"这类群体,可将"男&qu ...
python用户登录程序_「Python」每日一练：函数的应用之注册登录程序
编程题函数的应用之注册登录程序任务内容:要求模拟系统注册及登录的情境,注册密码要求:密码是6位或以上,必须包涵大写字母.小写字母.数字.程序若未退出前,则一直循环运行. 程序编写要求:按要求完善各 ...
python中合法的布尔表达式_笔记||Python3之布尔表达式+条件判断
布尔表达式: 布尔类型:特性:只有两种情况 --- 真 / 假 1 -- True False 2 -- type(True) ------------ 布尔表达式:1 ---它的结果是 ...
二值logit模型的适用条件_一文读懂条件Logistic回归
在医学研究中,为了控制一些重要的混杂因素,经常会把病例和对照按年龄,性别等条件进行配对,形成多个匹配组.各匹配组的病例数和对照人数是任意的,比如一个病例和若干个对照匹配即1:1,在医学上称作" ...
if test 多条件_五条写好JavaScript条件语句的建议（译）
1. 多重准则时使用 Array.includes 看个栗子: function test(fruit) {if (fruit == 'apple' || fruit == 'strawberry') ...
python根据index合并_通过index和cols合并/联接/追加两个Pandas数据帧，其中包含多索引列...
为了这件事我一直把头撞在桌子上,不知道有没有办法,也许我在尝试一些不可能的事情.在我有两个带有多索引列(三级)和时间索引(单级)的数据帧.第一个是这样的:border a-b c-d from a ...
pyspark 条件_删除pyspark中特定条件下的特定行
我是火花的新手 . 我想删除一行使用spark sql.due来删除temptable中的不兼容性到目前为止我已经读过,操作删除像sql查询我需要永久保存pyspark中的表,这是hive表我猜 . ...
python中循环语句只有for和while两种_Python循环语句之while，for语句详解
下面为大家分享一篇Python 循环语句之 while,for语句详解,具有很好的参考价值,希望对大家有所帮助.一起过来看看吧 Python中有两种循环,分别为:for循环和while循环. for循 ...

python用户标识符条件_使用sum（if…）或条件语句操作两个数据集，这些语句没有hivehadooppython的公共标识符...

python用户标识符条件_使用sum（if…）或条件语句操作两个数据集，这些语句没有hivehadooppython的公共标识符...相关推荐

最新文章

热门文章