解决scrapy爬虫报错 pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection
scrapy爬虫报错内容
pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection: scrapy_data.qiushibaike index: id dup key: { _id: ObjectId(‘61989dfcfe585e2673d7ee1b’) }, full error: {‘index’: 0, ‘code’: 11000, ‘keyPattern’: {’_id’: 1}, ’
keyValue’: {’_id’: ObjectId(‘61989dfcfe585e2673d7ee1b’)}, ‘errmsg’: “E11000 duplicate key error collection: scrapy_data.qiushibaike index: id dup key: { _id: ObjectId(‘61989dfcfe585e2673d7ee1b’) }”}
2个步骤解决：
1.爬虫items.py加入_id字段
2.我们使用 MongoDB 只能插入字典，但是item 是类似字典所以报错。
插入数据的时候做一个字典的转化动作：
注：我的scrapy版本是2.5.1
解决scrapy爬虫报错 pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection相关推荐
- Scrapy爬虫报错AttributeError: ‘NoneType‘ object has no attribute ‘write‘
前言 一.报错 AttributeError: 'NoneType' object has no attribute 'write' 二.报错原因 1.piplines文件中的方法不能自定义的呢 开始 ...
- 解决gmpy2安装报错：# include “mpfr.h“ compilation terminated.error: command ‘gcc‘ failed with exit status 1
pip安装gmpy2报错信息如下: 解决方法: 首先需要安装java(1.8): https://www.oracle.com/java/technologies/javase/javase-jdk8 ...
- Scrapy爬虫报错HTTP status code is not handled or not allowed
爬取网页显示403 HTTP status code is not handled or not allowed 解决方法: 在settings.py里把代理关掉: DOWNLOADER_MIDDLE ...
- scrapy安装报错原因及解决方法
scrapy安装报错及解决方法 车祸现场 原因 解决方法 前尘忆梦 车祸现场 原因 在安装过程中缺少某些依赖库,所以在安装scrapy之前,需要先将依赖到的库安装好. 解决方法 先打开终端,输入pyt ...
- 快速解决Android编译报错 : Manifest merger failed with multiple errors, see logs
快速解决Android编译报错 : Manifest merger failed with multiple errors, see logs 编译项目的时候,遇到Android Manifest合并 ...
- conda install 换源_科学网—Anaconda 报错Multiple Errors Encountered和添加国内镜像以及换源和恢复默认源 - 张伟的博文...
(一)情景一 在安装完成 Anaconda 后,创建虚拟环境接连遇到报错 Multiple Errors Encountered 和 Anaconda An HTTP error occurred ...
- 创建Scrapy项目报错 UnicodeDecodeError: 'ascii' codec can't decode byte 0xa3 in position 19
刚安装好,创建Scrapy 项目报错: D:\py_workspace\test_scrapy>scrapy startobject a Traceback (most recent call ...
- python爬虫报错: ＜urlopen error [SSL: CERTIFICATE_VERIFY_FAILED]
python爬虫报错:<urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] 导入ssl 库可以解决 import ssl
- Eclipse中更改JDK版本，解决ant编译报错的问题
要改一个JDK版本 主要是为了解决ant编译报错,JDK版本不一致的问题. 1. Windows--Preferences--Java--Compiler(配置的为1.8)--Installed JR ...
最新文章
- bzoj2458: [BeiJing2011]最小三角形
- PHP通过header实现文本文件的下载
- 清北刷题冲刺 11-02 a.m
- php调取 zabbix实时数据_Linux运维必知的Zabbix故障排错实战
- MySQL 索引 ：哈希索引、B+树索引、全文索引
- 利用C++模板编写的序列化框架
- jQuery 遍历 - siblings()方法
- 如何设置任务栏和开始菜单属性中的 分组相似任务栏按钮 的个数
- npm的常用配置项---npm工作笔记004
- 2020年度“博客之星”报名开启！万元大奖等着你
- 1 linux网络诊断命令工具
- 【学习笔记】尚硅谷-AJAX
- springboot健康饮食管理系统
- 计算机无法启动print,本地计算机无法启动print spooler服务,错误1069怎么处理
- AtCoder Beginner Contest 062(CD)
- 无为WiFi正在被DD
- 电力爱陆通公专一体模块,国网加密模块,国网硬件加密模块的工作原理
- 清华计算机912考研真题解析
- Visual Studio Code介绍
- 软件需求、架构培训（一）