python爬虫代码示例分享

这篇文章主要介绍了三个python爬虫项目实例代码，使用了urllib2库，文中示例代码非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友可以参考下。

python爬虫代码示例分享

一、爬取故事段子：推荐学习：Python视频教程

注：部分代码无法正常运行，但仍有一定的参考价值。

#encoding=utf-8
import urllib2import reclass neihanba():def spider(self):'''爬虫的主调度器'''isflow=True#判断是否进行下一页page=1while isflow:url="http://www.neihanpa.com/article/list_5_"+str(page)+".html"html=self.load(url)self.deal(html,page)panduan=raw_input("是否继续(y/n)!")if panduan=="y":isflow=Truepage+=1else:isflow=Falsedef load(self,url):'''针对url地址进行全部爬去:param url: url地址:return: 返回爬去的内容'''header = {"User-Agent": " Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"}request = urllib2.Request(url, headers=header)response = urllib2.urlopen(request)html = response.read()return htmldef deal(self,html,page):'''对之前爬去的内容进行正则匹配，匹配出标题和正文内容:param html:之前爬去的内容:param page: 正在爬去的页码'''parrten=re.compile('<li class="piclist\d+">(.*?)</li>',re.S)titleList=parrten.findall(html)for title in titleList:parrten1=re.compile('<a href="/article/\d+.html" rel="external nofollow" >(.*)</a>')ti1=parrten1.findall(title)parrten2=re.compile('<div class="f18 mb20">(.*?)</div>',re.S)til2=parrten2.findall(title)for t in ti1:tr=t.replace("<b>","").replace("</b>","")self.writeData(tr,page)for t in til2:tr=t.replace("<p>","").replace("</p>","").replace("<br>","").replace("<br />","").replace("&ldquo","\"").replace("&rdquo","\"")self.writeData(tr,page)def writeData(self,context,page):'''将最终爬去的内容写入文件中:param context: 匹配好的内容:param page: 当前爬去的页码数'''fileName = "di" + str(page) + "yehtml.txt"with open(fileName, "a") as file:file.writelines(context + "\n")
if __name__ == '__main__':n=neihanba()n.spider()

**二、爬取智联：

#encoding=utf-8
import urllib
import urllib2import reclass zhiLian():def spider(self,position,workPlace):'''爬虫的主调度器:param position: 职位:param workPlace: 工作地点'''url="http://sou.zhaopin.com/jobs/searchresult.ashx?"url+=urllib.urlencode({"jl":workPlace})url+="&"url+=urllib.urlencode({"kw":position})isflow=True#是否进行下一页的爬去page=1while isflow:url+="&"+str(page)html=self.load(url)self.deal1(html,page)panduan = raw_input("是否继续爬虫下一页(y/n)!")if panduan == "y":isflow = Truepage += 1else:isflow = Falsedef load(self,url):'''针对url地址进行全部爬去:param url: url地址:return: 返回爬去的内容'''header = {"User-Agent": " Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"}request = urllib2.Request(url, headers=header)response = urllib2.urlopen(request)html = response.read()return htmldef deal1(self,html,page):'''对之前爬去的内容进行正则匹配，匹配职位所对应的链接:param html:之前爬去的内容:param page: 正在爬去的页码'''parrten=re.compile('<a\s+style="font-weight:\s+bold"\s+par="ssidkey=y&ss=\d+&ff=\d+&sg=\w+&so=\d+"\s+href="(.*?)" rel="external nofollow" target="_blank">.*?</a>',re.S)til=parrten.findall(html)#爬去链接for t in til:self.deal2(t,page)def deal2(self,t,page):'''进行二次爬虫，然后在新的页面中对公司、薪资、工作经验进行匹配:param t: url地址:param page: 当前匹配的页数'''html=self.load(t)#返回二次爬虫的内容parrten1=re.compile('<a\s+οnclick=".*?"\s+href=".*?" rel="external nofollow" \s+target="_blank">(.*?)\s+.*?<img\s+class=".*?"\s+src=".*?"\s+border="\d+"\s+vinfo=".*?"></a>',re.S)parrten2=re.compile('<li><span>职位月薪：</span><strong>(.*?) <a.*?>.*?</a></strong></li>',re.S)parrent3=re.compile('<li><span>工作经验：</span><strong>(.*?)</strong></li>',re.S)til1=parrten1.findall(html)til2=parrten2.findall(html)til3=parrent3.findall(html)str=""for t in til1:t=t.replace('<img title="专属页面" src="//img03.zhaopin.cn/2012/img/jobs/icon.png" border="0" />',"")str+=tstr+="\t"for t in til2:str+=tstr += "\t"for t in til3:str+=tself.writeData(str,page)def writeData(self,context,page):'''将最终爬去的内容写入文件中:param context: 匹配好的内容:param page: 当前爬去的页码数'''fileName = "di" + str(page) + "yehtml.txt"with open(fileName, "a") as file:file.writelines(context + "\n")
if __name__ == '__main__':position=raw_input("请输入职位：")workPlace=raw_input("请输入工作地点：")z=zhiLian()z.spider(position,workPlace)

三、爬取贴吧：

#encoding=utf-8
import urllib
import urllib2import reclass teiba():def spider(self,name,startPage,endPage):url="http://tieba.baidu.com/f?ie=utf-8&"url+=urllib.urlencode({"kw":name})for page in range(startPage,endPage+1):pn=50*(page-1)urlFull=url+"&"+urllib.urlencode({"pn":pn})html=self.loadPage(url)self.dealPage(html,page)def loadPage(self,url):header={"User-Agent":" Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"}request=urllib2.Request(url,headers=header)response=urllib2.urlopen(request)html=response.read()return htmldef dealPage(self,html,page):partten=re.compile(r'<a\s+rel="noreferrer"\s+href="/p/\d+" rel="external nofollow" \s+title=".*?"\s+target="_blank" class="j_th_tit\s+">(.*?)</a>',re.S)titleList=partten.findall(html)rstr=r'<span\s+class="topic-tag"\s+data-name=".*?">#(.*?)#</span>'for title in titleList:title=re.sub(rstr,"",title)self.writePage(title,page)def writePage(self,context,page):fileName="di"+str(page)+"yehtml.txt"with open(fileName,"a") as file:file.writelines(context+"\n")
if __name__ == '__main__':name=raw_input("请输入贴吧名：")startPage=raw_input("请输入起始页：")endPage=raw_input("请输入终止页：")t=teiba()t.spider(name,int(startPage),int(endPage))

142244252 学习资料交流群，想要和志同道合的朋友一起学习，大家互相分享自己的学习资料和作品，欢迎感兴趣的朋友共同学习，共同进步，每天还会有免费的公开课程！！

python爬虫代码示例分享相关推荐

python爬虫代码实例源码_python爬虫代码示例分享
这篇文章主要介绍了三个python爬虫项目实例代码,使用了urllib2库,文中示例代码非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下. python爬虫代码示例分享一. ...
python爬虫代码示例动态_python动态爬虫的实例分享
本文主要和大家分享python动态爬虫的实例分享,用Python实现常规的静态网页抓取时,往往是用urllib2来获取整个HTML页面,然后从HTML文件中逐字查找对应的关键字.如下所示:#encod ...
python爬虫入门实例-终于领会python爬虫入门示例
随着人工智能大数据的火热 Python成为了广大科学家和普通大众的学习语言.在学习Python的过程中有很多人感到迷茫不知道自己该从什么地方入手,今天我们就来说一些新手该如何学习Python编程 ...
学会python爬虫怎么赚钱-学会Python爬虫能赚大钱吗？Python爬虫赚钱渠道分享
学会Python爬虫能赚大钱吗?首先大家要明白这个只是作为一个技术兼职,赚点外快,肯定不比程序员全职工作的工资高.其次赚的多少还要看大家赚钱的渠道.下面小编就和大家分享一下,Python爬虫赚钱渠道, ...
python爬虫代码-python网络爬虫源代码（可直接抓取图片）
在开始制作爬虫前,我们应该做好前期准备工作,找到要爬的网站,然后查看它的源代码我们这次爬豆瓣美女网站,网址为:用到的工具:pycharm,这是它的图标 ...博文来自:zhang740000的博客 P ...
学会Python爬虫能赚大钱吗？Python爬虫赚钱渠道分享
学会Python爬虫能赚大钱吗?首先大家要明白这个只是作为一个技术兼职,赚点外快,肯定不比程序员全职工作的工资高.其次赚的多少还要看大家赚钱的渠道.下面小编就和大家分享一下,Python爬虫赚钱渠道, ...
python入门代码示例-总算知道python入门代码示例
Python是一种解释型.面向对象.动态数据类型的高级程序设计语言.作为今年来越来越流行的语言,我们该如何学习或者转行学习Python呢,这里小迹为大家介绍如何入门学习Python.以下是小编为你整理 ...
python怎么反转单链表_单链表反转python实现代码示例
单链表的反转可以使用循环,也可以使用递归的方式 1.循环反转单链表循环的方法中,使用pre指向前一个结点,cur指向当前结点,每次把cur->next指向pre即可. 代码: class Li ...
python代码示例-总算知道python入门代码示例
Python是一种解释型.面向对象.动态数据类型的高级程序设计语言.作为今年来越来越流行的语言,我们该如何学习或者转行学习Python呢,这里小迹为大家介绍如何入门学习Python.以下是小编为你整理 ...

python爬虫代码示例分享

python爬虫代码示例分享相关推荐

最新文章

热门文章