爬虫回响521_现在用scrapy爬一个网站始终遇到521错误,是怎么回事呢?
朋友我最近也在爬这个网站,给你点意见你可以看看吧。愿意交流下的话加下我的好友吧。
cnvd正常的情况都可以爬的到。
www.cnvd.org.cn这个东西就比较恶心了,很多的头都反521。
# -*- coding:utf-8 -*-
#coding = utf-8
import urllib
import urllib2
import re
import random
import socket
import MySQLdb as mdb
import cookielib
pagenumber=0
url = 'http://ics.cnvd.org.cn/?max=100&offset='+str(pagenumber)
# url='http://www.cnvd.org.cn/flaw/show/CNVD-2016-05694'
cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())
opener = urllib2.build_opener(cookie_support,urllib2.HTTPHandler)
urllib2.install_opener(opener)
opener2= urllib2.build_opener(cookie_support,urllib2.HTTPHandler)
urllib2.install_opener(opener2)
user_agents = [
'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11',
'Opera/9.25 (Windows NT 5.1; U; en)',
'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
'Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Kubuntu)',
'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',
'Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9',
"Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.7 (KHTML, like Gecko) Ubuntu/11.04 Chromium/16.0.912.77 Chrome/16.0.912.77 Safari/535.7",
"Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:10.0) Gecko/20100101 Firefox/10.0 ",
"Mozilla-Firefox-Spider(Wenanry)"
]
agent = random.choice(user_agents)
UserAgent = "Mozilla-Firefox-Spider(Wenanry)"
opener.addheaders = [("User-agent",UserAgent),("Accept","*/*"),('Referer','http://www.miit.gov.cn/')]
con = mdb.connect('127.0.0.1', 'root', 'root', 'test', port=3307,charset="utf8");
with con:
cur=con.cursor()
cur.execute("CREATE TABLE IF NOT EXISTS \
BUGnews(Id INT PRIMARY KEY AUTO_INCREMENT, WebUrl VARCHAR(50))")
try:
res = opener.open(url)
content= res.read()
# request = urllib2.Request(url,headers = header1)
# response = urllib2.urlopen(request)
# content= response.read().decode('utf-8')
print content
pattern= re.compile('
# res2=opener2.open(url2)
# contentnews= res2.read()
# print contentnews
sql="insert into BUGnews(WebUrl) VALUES (%s)"
params=item.encode('utf-8')
cur.execute(sql,params)
# res2 = opener2.open(url2)
# content2= res2.read()
# print content2
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason
爬虫回响521_现在用scrapy爬一个网站始终遇到521错误,是怎么回事呢?相关推荐
- Python之 - 使用Scrapy建立一个网站抓取器,网站爬取Scrapy爬虫教程
Scrapy是一个用于爬行网站以及在数据挖掘.信息处理和历史档案等大量应用范围内抽取结构化数据的应用程序框架,广泛用于工业. 在本文中我们将建立一个从Hacker News爬取数据的爬虫,并将数据按我 ...
- 如何爬一个网站的数据-免费爬取网站的任意数据软件
如何爬一个网站的数据?爬取网络数据大家称之为网络爬行 收集页面以创建索引或集合.另一方面,网络抓取下载页面以提取一组特定的数据用于分析目的,例如,产品详细信息.定价信息.SEO 数据或任何其他数据集. ...
- 【python实现网络爬虫(7)】scrapy爬取笑话大全网站全过程(505问题的解决)
确定要爬取的网站及内容 笑话大全网站中的冷笑话,如下 要采集的字段,有标题,来源.正文内容 创建scrapy项目 步骤一.启动爬虫项目 在某处(比如桌面)创建一个名称为"scrapy爬取笑话 ...
- 爬虫回响521_爬虫遇到521错误怎么办
本人最近用python开发着爬虫相关的项目,在上个月就已经把爬虫的相关代码写得差不多了,因为春节,项目停滞了十多天.最近,当我再次运行之前的爬虫项目的时候,What?怎么不行了??本来好好的,报了52 ...
- scrapy爬取网站在线播放TS视频流片段并整合为MP4格式
目标:爬取网站在线播放的视频 分析: 1.网站:天一影视 视频:天地争霸美猴王第一集 2.request请求 :'https://youku.comyouku.com/20190524/23996_8 ...
- scrapy爬取网站古诗并保存
前言: 学了scrapy想练习一下成果,于是有了下面的爬取网站的所有古诗的代码 目录结构: 创建项目: scrapy startproject mySpider main.py from scrapy ...
- Scrapy爬取图片网站——最详细的入门爬虫教程,新手入门干货,不进来看一下?
开始前准备 这次爬虫使用scrapy,所以用到的工具必然是python3.7,scrapy,pycharm这些东西, 目标网站:http://pic.netbian.com 彼岸图网,个人非常喜欢的图 ...
- yspider爬取数据导入mysql_爬虫实战四、PyCharm+Scrapy爬取数据并存入MySQL
一.创建爬虫项目 注意:不能直接使用PyCharm创建Scrapy项目,所以需要在爬虫实战三.PyCharm搭建Scrapy开发调试环境的基础(PyCharm配置完Scrapy)之上,选中mySpid ...
- python爬取内容为空怎么剔除_用scrapy爬取网站内容时,如何忽略某些内容为空的值;...
我爬取京东上所有手机信息时会碰到如下问题: 1.返回值过多,如下图片所示: 2.spider代码如下: -- coding: utf-8 -- import scrapy from scrapy.ht ...
最新文章
- Unable to inject views for 包名.activity
- springmvc接收前台(可以是ajax)传来的数组list,map,set等集合,复杂对象集合等图文详解...
- php抓取搜狗图片,动手抓取搜狗搜索引擎壁纸API接口
- 心系农业心系农民-农民丰收节·林裕豪:企业在实践当中参与
- 技术的想象力:云栖大会第一天发布了什么?
- 好书推荐 -《国富论》-15-09
- 渗透测试入门14之渗透测试工具1
- 排序数字英文字母交错,由小到大
- 加密Spring加载的Properties文件
- sprd camera 帧率设置_UnityPlayerSetting-Android 打包设置介绍
- 机器学习相关数学知识梳理
- Java关键字this详解
- 等保测评--网络安全等级保护定级指南
- 在云测平台对手机进行兼容性测试
- 阿塞拜疆对加密货币收入及利润征税
- php调用和风天气api,推荐一个免费7天天气预报API服务:和风天气
- matlab 高级绘图函数
- 用例图中的包含关系(include)与拓展关系(extend)的区别
- 头牌知产介绍燃气灶商标注册类别属哪一类?
- Kafka consumer多线程下not safe for multi-threaded access问题
热门文章
- 网络层次模型及各层对应协议
- 弘辽科技:拼多多关键词怎么添加?店铺没转化咋办?
- Kafka之Fetch offset xxx is out of range for partition xxx,resetting offset情况总结
- python简易时钟,显示到毫秒
- centos7中kubeadm方式搭建k8s集群(crio+calico)(k8s v1.21.0)
- centos7下安装mycat2
- Ubuntu 22.04 LTS root登录、修改当前用户名和主机名
- 绩效(不同部门)修正
- WPF datagrid数据导出到Excel表格
- Mn掺杂CdS量子点|锰掺杂硫化镉量子点|MnS/ZnS/CdS量子点的制备方法图示