python数据格式化后导入数据库_如何为数据库导入重新格式化这个json?
我有这些“json”文件,我想插入到我的mongodb数据库中。你知道吗
问题是,它的格式如下:{ "channelType":"TEMPGROUP", ... } # line 1
{ "channelType":"TEMPGROUP", ... } # line 2
因此,它不是将它作为一个文档插入数据库,而是将每一行作为一个条目插入。最终,数据库中3个“json”文件中的3个文档变成了数据库中的1189个文档。你知道吗
如何将“.json”的全部内容插入到一个文档中?你知道吗
我的代码是:replay_url = "http://live.ksmobile.net/live/getreplayvideos?"
userid = 969730808384462848
url2 = replay_url + urllib.parse.urlencode({'userid': userid}) + '&page_size=1000'
raw_replay_data = requests.get(url2).json()
for i in raw_replay_data['data']['video_info']:
url3 = i['msgfile']
raw_message_data = urllib.request.urlopen(url3)
for line in raw_message_data:
json_data = json.loads(line)
messages.insert_one(json_data)
print(json_data)
更新以提供更多回答信息
在消息.插入(json\ U数据)给出以下错误:Traceback (most recent call last):
File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/collection.py", line 633, in _insert
blk.execute(concern, session=session)
File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/bulk.py", line 432, in execute
return self.execute_command(generator, write_concern, session)
File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/bulk.py", line 329, in execute_command
raise BulkWriteError(full_result)
pymongo.errors.BulkWriteError: batch op errors occurred
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/import_messages_dev.py", line 43, in
messages.insert(json_data)
File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/collection.py", line 2941, in insert
check_keys, manipulate, write_concern)
File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/collection.py", line 635, in _insert
_raise_last_error(bwe.details)
File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/helpers.py", line 220, in _raise_last_error
_raise_last_write_error(write_errors)
File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/helpers.py", line 188, in _raise_last_write_error
raise DuplicateKeyError(error.get("errmsg"), 11000, error)
pymongo.errors.DuplicateKeyError: E11000 duplicate key error index: liveme.messages.$_id_ dup key: { : ObjectId('5aa2fc6f5d60126499060949') }
在消息。插入一个(json\ U数据)给了我这个错误:Traceback (most recent call last):
File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/import_messages_dev.py", line 43, in
messages.insert_one(json_data)
File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/collection.py", line 676, in insert_one
common.validate_is_document_type("document", document)
File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/common.py", line 434, in validate_is_document_type
"collections.MutableMapping" % (option,))
TypeError: document must be an instance of dict, bson.son.SON, bson.raw_bson.RawBSONDocument, or a type that inherits from collections.MutableMapping
在消息。插入\u多个(json\ U数据)给了我这个错误:Traceback (most recent call last):
File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/import_messages_dev.py", line 43, in
messages.insert_many(json_data)
File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/collection.py", line 742, in insert_many
blk.execute(self.write_concern.document, session=session)
File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/bulk.py", line 432, in execute
return self.execute_command(generator, write_concern, session)
File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/bulk.py", line 329, in execute_command
raise BulkWriteError(full_result)
pymongo.errors.BulkWriteError: batch op errors occurred
在消息.插入以及消息。插入\u多个两者都插入一行并抛出错误。你知道吗
python数据格式化后导入数据库_如何为数据库导入重新格式化这个json?相关推荐
- python 数据框按行拼接_使用python进行数据分析
Python常用的两类数据分析包:numpy.pandas 一.一维数据分析 (1)numpy数据包的导入.一维数据组的赋值与查询 (2)numpy一维数据与列表的区别 1.可以用来实现统计功能 如计 ...
- sql文件导入达梦数据库_达梦数据库备份与恢复
数据库备份还原的作用是防止误操作.天灾.设备故障.软件故障导致的数据丢失,保障数据的安全可用,本文就常用的备份恢复进行讲解. 达梦数据库备份包括有:逻辑备份.物理备份.联机备份.脱机备份.数据备份.归 ...
- mysql 导入表_如何向mysql导入数据
一.导入.sql文件 1.mysql命令导入数据 基本语法:mysql -h服务器地址 -u用户名 -p 数据库名< 要导入的数据库文件路径 例:导入G:/mydb.sql 2.source命令 ...
- python库和模块的区别_在函数中导入python库与全局导入之间有何区别?
假设我要导入一个在函数内部使用的python库.在函数中导入库还是在全局范围内导入更好? 做这个 def test_func: import pandas as pd # code implement ...
- 计算机格式化后数据恢复的基础,电脑重装,磁盘全部格式化了,想恢复原来的数据该怎么办?...
硬盘格式化后数据还能恢复吗?相信这是很多人在日常工作中经常会遇到的一个问题,并且也都希望能够通过相关方法去解决.因为在操作和使用电脑时,我们经常会不小心误删除文件,并且也会顺手把电脑回收站进行清空处理 ...
- 程序安装mysql数据库_安装Mysql数据库
1.安装Mysql数据库 ①下载Mysql数据包 wget http://mirrors.sohu.com/mysql/MySQL-5.6/mysql-5.6.35-linux-glibc2.5-x8 ...
- 数据库镜像怎么还原数据库_如何创建数据库镜像
数据库镜像怎么还原数据库 Sometimes our Database fails and we need to reestablish the Database services immediate ...
- mysql导入向导_详解 Navicat 导入向导的步骤
Navicat 导入向导可以让用户将 CSV. TXT. XML. DBF 以及更多格式数据导入到表,可以保存设置为设置文件用作设置计划.需要注意的是,Navicat Essentials 只支持导入 ...
- mysql 虚拟数据库_虚拟mysqli数据库
阿里云ECS 七天打卡 搭建门户网站 创建PolarDB数据库 使用SSH连接ECS 安装LAMP LAMP是指运行在Linux下的Apache.MySQL和PHP的环境.参考以下操作在云服务器上安装 ...
- mysql刷新当前数据库_看看MySQL数据库高级操作
免费资源网 - https://freexyz.cn/ 文章目录 数据表高级操作 准备工作:安装MySQL数据库 一.克隆表 方法一 方法二 二.清空表,删除表内的所有数据 方法一 方法二 三.创建临 ...
最新文章
- STUN响应消息中添加MAPPED_ADDRESS
- Python脚本配合Linux计划任务工作
- 初学linux,在Linux上创建c程序并运行!
- 人口问题,怎样的生育率才能保持正常的世代更替?
- Web应用——焦点图自动浏览
- 功能安全 李艳文_李艳文:智能网联全新安全问题凸显 相关自动驾驶事故逐年增加...
- MAC Terminal 用颜色区分不同类型的文件
- 【深度学习系列】PaddlePaddle可视化之VisualDL
- storm1.x支持主节点nimbus高可用 多master集群部署
- “土夅”应尽快加入汉字编码
- js实现对树深度优先遍历与广度优先遍历
- ps模糊照片变清晰步骤东方逐梦
- 请问为什么DSP需要Q格式? q31、q15、q7和f32是什么意思?
- 【Java笔记】(十):swing图形界面
- Matplotlib输出中文显示问题
- 迅捷画图怎样绘制出有创意的思维导图
- htmlUnit的读取js渲染的页面
- 基于C语言设计的小型图形软件系统
- 简单玩转ViewPager+Fragment动画效果,实现京东淘宝物流卡片效果 (附源码)
- Intune在个人设备中保护企业数据的MAM解决方案
热门文章
- 对HashMap数据结构的理解——加载因子和初始容量
- Executors源码解读——创建ExecutorService线程池
- lambda的java_一分钟搞明白java8中的lambda
- java asynchronize_Java 中synchronize函数的实例详解
- c语言取子程序地址,哪位师傅知道51单片机怎样编写子程序?C语言的。在主程序里调...
- vsftpd设置被动模式_(1)vsftpd主、被动模式iptables配置方法
- Win7系统电脑修改不了文件属性怎么办
- windows7系统屏幕一直闪屏的解决教程
- 腾讯视频app下载2019_腾讯视频主设备如何设置
- JS闭包的简单理解。优缺点以及垃圾回收机制