Python爬虫知网

听说Python爬虫知网很火，我今天就做一个。
上代码：

import requests
import re
import time
import xlrd
from xlrd import open_workbook
from xlutils.copy import copyclass BeautifulPicture():def get_pic(self):data = xlrd.open_workbook(r'C:\\flim\library_my\new.xls')  # 打开xls文件，自己新建这个文件在运行路径，不然不行的哦table = data.sheets()[0]  # 打开第一张表table2 = data.sheets()[1]  # 打开第一张表i = table.nrows #上一次爬到的表1的行数i1 = 0i2 = table2.nrows #上一次爬到的表2的行数told = 0rb = open_workbook(r'C:\\flim\library_my\new.xls','utf-8')wb = copy(rb) # 将上一次爬到的复制到新表里，并在新表里继续添加纪录# 通过get_sheet()获取的sheet有write()方法ws = wb.get_sheet(0)ws1 = wb.get_sheet(1)p = 1  # 这里是页数for num in range(p, p + 100):# 这里的num是页码web_url ='http://kns.cnki.net/kns/brief/brief.aspx?curpage=%s&Reco' \'rdsPerPage=50&QueryID=8&ID=&turnpage=1&tpagemode=L&dbPref' \'ix=SCDB&Fields=&DisplayMode=listmode&PageName=ASP.brief_' \'default_result_aspx#J_ORDER&' % num #这里的URL实现了二次加载print('搜素页的URL=',web_url)# 这里开始是时间控制t = int(time.clock())print(t / 60, '分钟')useTime = t - told# 如果一个周期的时间使用太短，则等待一段时间# 主要用于防止被禁if (useTime < 120 and useTime > 10):print("useTime=%s" % useTime)whiteTime = 120 - useTimeprint("等待%s秒" % whiteTime)time.sleep(whiteTime)told = int(time.clock())print(t)print('开始网页get请求')r = self.request(web_url)# 这里是报错的解释，能知道到底是因为什么不能继续爬了# 一开始会看爬到的源代码，但是之后正式开始爬的时候，打印页面源代码会拉低爬虫效率yan = re.search(r'参数错误', r.text)if yan != None:print("参数")breakyan = re.search(r'验证码', r.text)if yan != None:print("验证")break#这里开始抓列表里每一个文献的urlsoup = re.findall(r'<TR([.$\s\S]*?)</TR>', r.text)#print(soup)#测试打印for a in soup:print("-", i1)#print(a)#测试代码i1 += 1name = re.search(r'_blank.*<', a)#print('初次取的=',name)#测试代码name = name.group()[8:-1]#print('第二次=',name)#测试代码name = re.sub(r'<font class=Mark>', '', name)#print('第三次=', name)  # 测试代码name = re.sub(r'</font>', '', name)#print('第四次=', name)  # 测试代码url = re.search(r'href=.*? ', a)#将’‘看做一个子表达式，惰性匹配一次就可以了url = url.group()#print('爬取的详情页的URL=',url)#测试代码# 将爬来的相对地址，补充为绝对地址url = "http://kns.cnki.net/KCMS/" + url[11:-2]#数字是自己数的。。。#print("url:%s" % url) # 这里是写代码时测试留下的print记录#下面是参考文献详情的URLFN = re.search(r'FileName.*?&', url)#.group()#出现错误 没有匹配！！！if FN !=None:#测试代码FN = re.search(r'FileName.*?&', url).group()#print(FN)#测试代码DN = re.search(r'DbName.*?&', url)#.group()if DN !=None:#测试代码DN=re.search(r'DbName.*?&', url).group()#print(DN) #测试代码DC = re.search(r'DbCode.*?&', url).group()DUrl = "http://kns.cnki.net/KCMS/detail/frame/list.aspx?%s%s%sRefType=1" % (FN, DN, DC)#print('DUrl=',DUrl)#测试代码# 这里打开文献详情页R = self.request(DUrl)#如果没有参考文献，则认为是劣质文献，不爬，转爬下一篇isR = re.search(r'参考文献', R.text)if i1 == 1:print("没有参考文献的文章:%s" % name)if isR == None:continue# 详情页print(i)print("文章名字:%s" % name)d = self.request(url).text#print('d=',d)#测试代码# 这里是文献摘要，summary = re.search(r'(?<=name="ChDivSummary">).+?(?=</span>)', d)summary=summary.group()#print('摘要=',summary)type = re.search(r'"\).html\(".*?"', d)type = type.group()[9:-1]ins = re.search(r'TurnPageToKnet\(\'in\',\'.*?\'', d)if ins == None:continueins = ins.group()[21:-1]wt = re.findall(r'TurnPageToKnet\(\'au\',\'.*?\'', d)writer = ""for w in wt:writer = writer + "," + w[21:-1]writer = writer[1:]ws.write(i, 0, name)    #文献名ws.write(i, 1, writer)  #作者名ws.write(i, 2, type)    #文献类别ws.write(i, 15, num)    #列表的页码ws.write(i, 3, summary)  # 摘要ws.write(i, 16, time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))) #记录的时间# 这里是文献的关键词，最多可以记录8个关键词kw = re.findall(r'TurnPageToKnet\(\'kw\',\'.*?\'', d)tnum = 0for tkw in kw:tnum += 1tkw = tkw[21:-1]if tnum > 8:breakws.write(i, 3 + tnum, tkw)# 这里是文献的来源基金fund = re.search(r'TurnPageToKnet\(\'fu\',\'.*?\'', d)if fund != None:fund = fund.group()[21:-1]ws.write(i, 11, fund)# 分类号cn = re.search(r'ZTCLS.*?</p', d)if cn != None:cn = cn.group()[19:-3]ws.write(i, 12, cn)# 这是机构jg = re.search(r'TurnPageToKnet\(\'in\',\'.*?\'', d)if jg != None:jg = jg.group()[21:-1]#print(jg)ws.write(i, 17, jg)# 是否为核心期刊sourinfo = re.search(r'sourinfo([.$\s\S]*?)</div', d)if sourinfo != None:sourinfo = sourinfo.group()# print(sourinfo)from_ = re.search(r'title.*</a', sourinfo).group()from_ = re.sub(r'title">.*?>', '', from_)from_ = re.sub(r'</a', '', from_)ws.write(i, 13, from_)core = re.search(r'中文核心期刊', sourinfo)if core != None:print(core.group())ws.write(i, 14, "中文核心期刊")# ws.write(i, 0, a)i += 1 # 增加页码的计数wb.save('new.xls') # 保存表格*******有改变 有问题def request(self, url):  # 返回网页的response# print(url)# 这里是伪造浏览器信息，和伪造来源user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Ch' \'rome/58.0.3029.81 Safari/537.36'referer = "http://kns.cnki.net/kns/brief/result.aspx"# 这里是伪造cookie，你要从浏览器里复制出来，粘贴在这里# 可以把里面的时间不断更新，这样能爬久一点cookie = 'cnkiUserKey=e0b40271-cdc0-fd83-36fa-9d4c5f8f2a86; RsPerPage=5' \'0; KNS_DisplayModel=custommode@CJFQ; UM_distinctid=161275ba757a' \'16-0ed232d4ab2da2-6010107f-15f900-161275ba75895e; Ecp_Cli' \'entId=3170915092701569567; ASP.NET_SessionId=3dnqvlsxovsla4' \'ywvr2ykp4c; SID_kns=123106; SID_crrs=125131; SID_klogin=12514' \'3; SID_krsnew=125132; SID_kcms=124113; SID_knsdelivery=125124;' \' CNZZDATA3258975=cnzz_eid%3D995934993-1516843818-http%253A%252' \'F%252Fkns.cnki.net%252F%26ntime%3D1517383256; Ecp_session=1; ' \'c_m_LinID=LinID=WEEvREcwSlJHSldRa1FhdkJkVWI2VUJNODFzUHlUaC9LN' \'XZrUDkrcXhYbz0=$9A4hF_YAuvQ5obgVAqNKPCYcEjKensW4ggI8Fm4gTkoU' \'KaID8j8gFw!!&ot=02/01/2018 18:13:09; LID=WEEvREcwSlJHSldRa1F' \'hdkJkVWI2VUJNODFzUHlUaC9LNXZrUDkrcXhYbz0=$9A4hF_YAuvQ5obgVAqN' \'KPCYcEjKensW4ggI8Fm4gTkoUKaID8j8gFw!!; c_m_expire=2018-02-01 ' \'18:13:09; Ecp_LoginStuts=%7B%22IsAutoLogin%22%3Afalse%2C%22U' \'serName%22%3A%22KT1008%22%2C%22ShowName%22%3A%22%25E8%25A5%2' \'5BF%25E5%258D%2597%25E7%259F%25B3%25E6%25B2%25B9%25E5%25A4%' \'25A7%25E5%25AD%25A6%22%2C%22UserType%22%3A%22bk%22%2C%22r%2' \'2%3A%22RrMW7A%22%7D'headers = {'User-Agent': user_agent,"Referer": referer,"cookie": cookie}r = requests.get(url, headers=headers, timeout=30)return rprint(time.clock())
beauty = BeautifulPicture()  # 创建类的实例
beauty.get_pic()  # 执行类中的方法

就那么少，一键3连点上。

Python爬虫知网相关推荐

python爬虫知网实例-python爬取知网
广告关闭腾讯云双11爆品提前享,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高满返5000元! https:github.comgnemougdistribute_crawler ...
python爬虫知网实例-33个Python爬虫项目实战(推荐)
今天为大家整理了32个Python爬虫项目. 整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快~O(∩_∩)O WechatSogou [1] ...
python爬虫知网实例-python爬虫实例项目大全
WechatSogou [1]- 微信公众号爬虫.基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典. DouBanSpider [2]- ...
Python爬虫实践-网易云音乐
1.前言最近,网易的音乐很多听不到了,刚好也看到很多教程,跟进学习了一下,也集大全了吧,本来想优化一下的,但是发现问题还是有点复杂,最后另辟捷径,提供了简单的方法啊! 本文主要参考 python编写 ...
Python爬虫之网易云音乐下载
Python爬虫之网易云音乐下载目标用Python根据网易云音乐的ID,下载音乐,保存到本地MP3格式可以下载歌曲的范围:所有能够听的歌曲配置基础 Python 3.5 模块 pycrypto ...
Python中国知网（cnki）爬虫及数据可视化分析设计
开发环境: Pycharm + Python3.6 + Django2.0 + mysql数据库,redis数据库毕业设计-中国知网(cnki)爬虫及数据可视化,采用Django和Celery将爬虫 ...
如何利用python爬虫获取网易云音乐某个歌手简介_Python 爬虫获取网易云音乐歌手信息...
今天就先带大家爬取网易云音乐下的歌手信息并把数据保存下来. 爬取结果环境语言:Python 工具:Pycharm 导包 BeautifulSoup:用来解析源码,提取需要的元素. selenium ...
python爬虫知乎图片_python爬虫（爬取知乎答案图片）
python爬虫(爬取知乎答案图片) 1.⾸先,你要在电脑⾥安装 python 的环境我会提供2.7和3.6两个版本的代码,但是本⽂只以python3.6版本为例. 安装完成后,打开你电脑的终端(T ...
python爬虫知乎点赞_Python爬虫爬取知乎小结
最近学习了一点网络爬虫,并实现了使用Python来爬取知乎的一些功能,这里做一个小的总结.网络爬虫是指通过一定的规则自动的从网上抓取一些信息的程序或脚本.我们知道机器学习和数据挖掘等都是从大量的数据出 ...

Python爬虫知网

Python爬虫知网相关推荐

最新文章

热门文章