我有这些“json”文件,我想插入到我的mongodb数据库中。你知道吗

问题是,它的格式如下:{ "channelType":"TEMPGROUP", ... } # line 1

{ "channelType":"TEMPGROUP", ... } # line 2

因此,它不是将它作为一个文档插入数据库,而是将每一行作为一个条目插入。最终,数据库中3个“json”文件中的3个文档变成了数据库中的1189个文档。你知道吗

如何将“.json”的全部内容插入到一个文档中?你知道吗

我的代码是:replay_url = "http://live.ksmobile.net/live/getreplayvideos?"

userid = 969730808384462848

url2 = replay_url + urllib.parse.urlencode({'userid': userid}) + '&page_size=1000'

raw_replay_data = requests.get(url2).json()

for i in raw_replay_data['data']['video_info']:

url3 = i['msgfile']

raw_message_data = urllib.request.urlopen(url3)

for line in raw_message_data:

json_data = json.loads(line)

messages.insert_one(json_data)

print(json_data)

更新以提供更多回答信息

在消息.插入(json\ U数据)给出以下错误:Traceback (most recent call last):

File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/collection.py", line 633, in _insert

blk.execute(concern, session=session)

File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/bulk.py", line 432, in execute

return self.execute_command(generator, write_concern, session)

File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/bulk.py", line 329, in execute_command

raise BulkWriteError(full_result)

pymongo.errors.BulkWriteError: batch op errors occurred

During handling of the above exception, another exception occurred:

Traceback (most recent call last):

File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/import_messages_dev.py", line 43, in

messages.insert(json_data)

File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/collection.py", line 2941, in insert

check_keys, manipulate, write_concern)

File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/collection.py", line 635, in _insert

_raise_last_error(bwe.details)

File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/helpers.py", line 220, in _raise_last_error

_raise_last_write_error(write_errors)

File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/helpers.py", line 188, in _raise_last_write_error

raise DuplicateKeyError(error.get("errmsg"), 11000, error)

pymongo.errors.DuplicateKeyError: E11000 duplicate key error index: liveme.messages.$_id_ dup key: { : ObjectId('5aa2fc6f5d60126499060949') }

在消息。插入一个(json\ U数据)给了我这个错误:Traceback (most recent call last):

File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/import_messages_dev.py", line 43, in

messages.insert_one(json_data)

File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/collection.py", line 676, in insert_one

common.validate_is_document_type("document", document)

File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/common.py", line 434, in validate_is_document_type

"collections.MutableMapping" % (option,))

TypeError: document must be an instance of dict, bson.son.SON, bson.raw_bson.RawBSONDocument, or a type that inherits from collections.MutableMapping

在消息。插入\u多个(json\ U数据)给了我这个错误:Traceback (most recent call last):

File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/import_messages_dev.py", line 43, in

messages.insert_many(json_data)

File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/collection.py", line 742, in insert_many

blk.execute(self.write_concern.document, session=session)

File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/bulk.py", line 432, in execute

return self.execute_command(generator, write_concern, session)

File "/media/anon/06bcf743-8b4d-409f-addc-520fc4e19299/PycharmProjects/LiveMe/venv1/lib/python3.6/site-packages/pymongo/bulk.py", line 329, in execute_command

raise BulkWriteError(full_result)

pymongo.errors.BulkWriteError: batch op errors occurred

在消息.插入以及消息。插入\u多个两者都插入一行并抛出错误。你知道吗

python数据格式化后导入数据库_如何为数据库导入重新格式化这个json?相关推荐

  1. python 数据框按行拼接_使用python进行数据分析

    Python常用的两类数据分析包:numpy.pandas 一.一维数据分析 (1)numpy数据包的导入.一维数据组的赋值与查询 (2)numpy一维数据与列表的区别 1.可以用来实现统计功能 如计 ...

  2. sql文件导入达梦数据库_达梦数据库备份与恢复

    数据库备份还原的作用是防止误操作.天灾.设备故障.软件故障导致的数据丢失,保障数据的安全可用,本文就常用的备份恢复进行讲解. 达梦数据库备份包括有:逻辑备份.物理备份.联机备份.脱机备份.数据备份.归 ...

  3. mysql 导入表_如何向mysql导入数据

    一.导入.sql文件 1.mysql命令导入数据 基本语法:mysql -h服务器地址 -u用户名 -p 数据库名< 要导入的数据库文件路径 例:导入G:/mydb.sql 2.source命令 ...

  4. python库和模块的区别_在函数中导入python库与全局导入之间有何区别?

    假设我要导入一个在函数内部使用的python库.在函数中导入库还是在全局范围内导入更好? 做这个 def test_func: import pandas as pd # code implement ...

  5. 计算机格式化后数据恢复的基础,电脑重装,磁盘全部格式化了,想恢复原来的数据该怎么办?...

    硬盘格式化后数据还能恢复吗?相信这是很多人在日常工作中经常会遇到的一个问题,并且也都希望能够通过相关方法去解决.因为在操作和使用电脑时,我们经常会不小心误删除文件,并且也会顺手把电脑回收站进行清空处理 ...

  6. 程序安装mysql数据库_安装Mysql数据库

    1.安装Mysql数据库 ①下载Mysql数据包 wget http://mirrors.sohu.com/mysql/MySQL-5.6/mysql-5.6.35-linux-glibc2.5-x8 ...

  7. 数据库镜像怎么还原数据库_如何创建数据库镜像

    数据库镜像怎么还原数据库 Sometimes our Database fails and we need to reestablish the Database services immediate ...

  8. mysql导入向导_详解 Navicat 导入向导的步骤

    Navicat 导入向导可以让用户将 CSV. TXT. XML. DBF 以及更多格式数据导入到表,可以保存设置为设置文件用作设置计划.需要注意的是,Navicat Essentials 只支持导入 ...

  9. mysql 虚拟数据库_虚拟mysqli数据库

    阿里云ECS 七天打卡 搭建门户网站 创建PolarDB数据库 使用SSH连接ECS 安装LAMP LAMP是指运行在Linux下的Apache.MySQL和PHP的环境.参考以下操作在云服务器上安装 ...

  10. mysql刷新当前数据库_看看MySQL数据库高级操作

    免费资源网 - https://freexyz.cn/ 文章目录 数据表高级操作 准备工作:安装MySQL数据库 一.克隆表 方法一 方法二 二.清空表,删除表内的所有数据 方法一 方法二 三.创建临 ...

最新文章

  1. STUN响应消息中添加MAPPED_ADDRESS
  2. Python脚本配合Linux计划任务工作
  3. 初学linux,在Linux上创建c程序并运行!
  4. 人口问题,怎样的生育率才能保持正常的世代更替?
  5. Web应用——焦点图自动浏览
  6. 功能安全 李艳文_李艳文:智能网联全新安全问题凸显 相关自动驾驶事故逐年增加...
  7. MAC Terminal 用颜色区分不同类型的文件
  8. 【深度学习系列】PaddlePaddle可视化之VisualDL
  9. storm1.x支持主节点nimbus高可用 多master集群部署
  10. “土夅”应尽快加入汉字编码
  11. js实现对树深度优先遍历与广度优先遍历
  12. ps模糊照片变清晰步骤东方逐梦
  13. 请问为什么DSP需要Q格式? q31、q15、q7和f32是什么意思?
  14. 【Java笔记】(十):swing图形界面
  15. Matplotlib输出中文显示问题
  16. 迅捷画图怎样绘制出有创意的思维导图
  17. htmlUnit的读取js渲染的页面
  18. 基于C语言设计的小型图形软件系统
  19. 简单玩转ViewPager+Fragment动画效果,实现京东淘宝物流卡片效果 (附源码)
  20. Intune在个人设备中保护企业数据的MAM解决方案

热门文章

  1. 对HashMap数据结构的理解——加载因子和初始容量
  2. Executors源码解读——创建ExecutorService线程池
  3. lambda的java_一分钟搞明白java8中的lambda
  4. java asynchronize_Java 中synchronize函数的实例详解
  5. c语言取子程序地址,哪位师傅知道51单片机怎样编写子程序?C语言的。在主程序里调...
  6. vsftpd设置被动模式_(1)vsftpd主、被动模式iptables配置方法
  7. Win7系统电脑修改不了文件属性怎么办
  8. windows7系统屏幕一直闪屏的解决教程
  9. 腾讯视频app下载2019_腾讯视频主设备如何设置
  10. JS闭包的简单理解。优缺点以及垃圾回收机制