mongo数据库去重

from collections import defaultdict

async def get_hash_value(company_name):
all_list = []
data = db.find({‘company_name’: company_name}, COLLECTION_DISCUSS, BASE, pon={‘link’: True})
for url in data:
all_list.append(url[‘link’])
return all_list

def list_duplicates(all_list):
tally = defaultdict(list)
for i, item in enumerate(all_list):
tally[item].append(i)
return ((key, locs) for key, locs in tally.items()
if len(locs) > 1)

async def pop_data(company_name):
company_list = await get_company_name()
for company in company_list:
# print(company)
company_name = company[‘stock_name’]
print(company_name)
pop_list = []
all_list = await get_hash_value(company_name)
for dup in sorted(list_duplicates(all_list)):
pop_list.append(dup)
for url in pop_list:
data = await database.find({‘company_name’: company_name,‘link’:url[0]}, COLLECTION_DISCUSS, BASE)
for i in data[1::]:
print(i[‘updated_at’])
await database.delete({‘updated_at’:i[‘updated_at’],‘company_name’:company_name},COLLECTION_DISCUSS, BASE)
print(‘删除成功’)
if not company_list:
return ‘删除完成’

mongo数据库去重相关推荐

mysql 去重根据id_超详细的四类数据库去重实现方案汇总，值得收藏
概述今天主要闲聊Oracle.MySQL.sqlserver.pg数据库在删除重复数据时是怎么实现的,仅供参考. 一.Oracle数据库去重 1.环境准备可以看到"ALLEN" ...
Serverless 解惑——函数计算如何访问 Mongo 数据库
函数计算(Function Compute):函数计算是事件驱动的全托管计算服务.使用函数计算,您无需采购与管理服务器等基础设施,只需编写并上传代码.函数计算为您准备好计算资源,弹性地可靠地运行任务 ...
mongo数据库数据迁移到muysql数据库
mongo数据库导入mysql数据库最近项目做了个定时器,由于之前是python做的,最近重构成了java,感觉mysql还是比mongo符合我们的项目管理要求,重构之后需要把以前的mongo数据导 ...
python连接mongo数据库
import pymongo client=pymongo.MongoClient('10.10.21.180',port=27017)#连接mongo数据库,建立客户端对象 db=client['t ...
爬取前尘无忧python职位信息并保存到mongo数据库
1．re实现 1 import re,os 2 import requests 3 from requests.exceptions import RequestException 4 5 MAX_P ...
postgresql数据库去重方法
数据库去重有很多方法,下面列出目前理解与使用的方法第一种通过group by分组,然后将分组后的数据写入临时表然后再写入另外的表,对于没有出现再group by后面的field可以用函数max,m ...
超详细windows安装mongo数据库、注册为服务并添加环境变量
1.官网下载zip安装包官网地址https://www.mongodb.com/download-center/community?jmp=nav,现在windows系统一般都是64位的,选好版本. ...
python脚本监控mysql数据库_Python脚本监控mysql数据库，Python脚本监控mongo数据库
任务:应帅气的领导要求,需要监控生产环境mysql和mongo数据库服务.不仅要connect successful还要进行数据交互进一步确认数据库服务正常. 思路: mysql和mongo 数据库i ...
Mongo数据库安装成Windows服务
Mongo数据库安装成Windows服务每次运行mongod --dbpath D:/MongoDB/data命令行来启动MongoDB实在是不方便, 把它作为Windows服务,这样就方便多了. ...
mongo数据库插入数据_深入研究Mongo数据库
mongo数据库插入数据 More popularly known as "mongoDB". It is a no-sql based database. 俗称" mo ...

mongo数据库去重

mongo数据库去重相关推荐

最新文章

热门文章