手把手带你爬虫 | 爬取语录大全
目标
爬取语录,批量下载到本地。
项目准备
软件:Pycharm
第三方库:requests,fake_useragent,re,lxml
网站地址:http://www.yuluju.com
网站分析
打开网站。
有很多分类,不同类型的语录。
点击爱情语录,发现上方网址变化为http://www.yuluju.com/aiqingyulu/
点击搞笑语录,也会发生类似的变化。
判断是否为静态网页。
有页码跳转一般为静态网页。Ctrl+U查看源代码,Ctrl+F调出搜索框,输入一些网页上出现的文字。
反爬分析
同一个ip地址去多次访问会面临被封掉的风险,这里采用fake_useragent,产生随机的User-Agent请求头进行访问。
每一页的链接分析
第一页:http://www.yuluju.com/aiqingyulu/list_18_1.html
第二页:http://www.yuluju.com/aiqingyulu/list_18_2.html
第三页:http://www.yuluju.com/aiqingyulu/list_18_3.html
可以发现,每页的变化会随着数字变化。当然这里分析的是爱情语录这一栏目,其它的也类似。
代码实现
1.导入相对应的第三方库,定义一个class类继承object,定义init方法继承self,主函数main继承self。
import requests
from fake_useragent import UserAgent
from lxml import etree
class yulu(object):def __init__(self):self.url = 'http://www.yuluju.com'ua = UserAgent(verify_ssl=False)#随机产生user-agentfor i in range(1, 100):self.headers = {'User-Agent': ua.random}def mian(self):pass
if __name__ == '__main__':spider = yulu()spider.main()
2.交互界面
print(' 1.励志语录\n''2.爱情语录\n''3.搞笑语录\n''4.人生语录\n''5.情感语录\n''6.经典语录\n''7.伤感语录\n''8.名人语录\n''9.心情语录\n')select=int(input('请输入您的选择:'))if (select==1):url=self.url+'lizhimingyan/list_1_{}.html'elif (select==2):url = self.url + 'aiqingyulu/list_18_{}.html'elif (select==3):url = self.url + 'gaoxiaoyulu/list_19_{}.html'elif (select==4):url=self.url+'renshenggeyan/list_14_{}.html'elif (select==5):url=self.url+'qingganyulu/list_23_{}.html'elif (select==6):url=self.url+'jingdianyulu/list_12_{}.html'elif (select==7):url=self.url+'shangganyulu/list_21_{}.html'elif (select==8):url=self.url+'mingrenmingyan/list_2_{}.html'else:url=self.url+'xinqingyulu/list_22_{}.html'
3.发送请求,获取网页。
def get_html(self,url):response=requests.get(url,headers=self.headers)html=response.content.decode('gb2312')#经过测试这里是'gb2312'return html
4.解析网页,获取文本信息。
def parse_html(self,html):#获取每页中的链接地址和标题datas=re.compile('<a href="(.*?)" class="title" target="_blank">(.*?)</a>').findall(html)for data in datas:host='http://www.yuluju.com'+data[0]res=requests.get(host,headers=self.headers)con=res.content.decode('gb2312')target=etree.HTML(con)#获取文本内容results=target.xpath('//div[@class="content"]/div/div/span/text()')filename=data[1]#保存本地with open('F:/pycharm文件/document/'+filename+'.txt','a',encoding='utf-8')as f:for result in results:f.write(result+'\n')
5.获取多页及主函数调用。
def main(self):print('1.励志语录\n''2.爱情语录\n''3.搞笑语录\n''4.人生语录\n''5.情感语录\n''6.经典语录\n''7.伤感语录\n''8.名人语录\n''9.心情语录\n')select=int(input('请输入您的选择:'))if (select==1):url=self.url+'lizhimingyan/list_1_{}.html'elif (select==2):url = self.url + 'aiqingyulu/list_18_{}.html'elif (select==3):url = self.url + 'gaoxiaoyulu/list_19_{}.html'elif (select==4):url=self.url+'renshenggeyan/list_14_{}.html'elif (select==5):url=self.url+'qingganyulu/list_23_{}.html'elif (select==6):url=self.url+'jingdianyulu/list_12_{}.html'elif (select==7):url=self.url+'shangganyulu/list_21_{}.html'elif (select==8):url=self.url+'mingrenmingyan/list_2_{}.html'else:url=self.url+'xinqingyulu/list_22_{}.html'start = int(input('输入开始:'))end = int(input('输入结束页:'))for page in range(start, end + 1):print('第%s页开始:...' % page)newUrl=url.format(page)html=self.get_html(newUrl)self.parse_html(html)print('第%s页爬取完成!'%page)
效果显示
打开文件目录:
爬取其它栏目也是可以的,就不做演示了,都一样。
完整代码
import requests
from fake_useragent import UserAgent
import re
from lxml import etree
class yulu(object):def __init__(self):self.url='http://www.yuluju.com/'ua = UserAgent(verify_ssl=False)for i in range(1, 100):self.headers = {'User-Agent': ua.random}def get_html(self,url):response=requests.get(url,headers=self.headers)html=response.content.decode('gb2312')return htmldef parse_html(self,html):datas=re.compile('<a href="(.*?)" class="title" target="_blank">(.*?)</a>').findall(html)for data in datas:host='http://www.yuluju.com'+data[0]res=requests.get(host,headers=self.headers)con=res.content.decode('gb2312')target=etree.HTML(con)results=target.xpath('//div[@class="content"]/div/div/span/text()')filename=data[1]with open('F:/pycharm文件/document/'+filename+'.txt','a',encoding='utf-8')as f:for result in results:f.write(result+'\n')def main(self):print('1.励志语录\n''2.爱情语录\n''3.搞笑语录\n''4.人生语录\n''5.情感语录\n''6.经典语录\n''7.伤感语录\n''8.名人语录\n''9.心情语录\n')select=int(input('请输入您的选择:'))if (select==1):url=self.url+'lizhimingyan/list_1_{}.html'elif (select==2):url = self.url + 'aiqingyulu/list_18_{}.html'elif (select==3):url = self.url + 'gaoxiaoyulu/list_19_{}.html'elif (select==4):url=self.url+'renshenggeyan/list_14_{}.html'elif (select==5):url=self.url+'qingganyulu/list_23_{}.html'elif (select==6):url=self.url+'jingdianyulu/list_12_{}.html'elif (select==7):url=self.url+'shangganyulu/list_21_{}.html'elif (select==8):url=self.url+'mingrenmingyan/list_2_{}.html'else:url=self.url+'xinqingyulu/list_22_{}.html'start = int(input('输入开始:'))end = int(input('输入结束页:'))for page in range(start, end + 1):print('第%s页开始:...' % page)newUrl=url.format(page)html=self.get_html(newUrl)self.parse_html(html)print('第%s页爬取完成!'%page)
if __name__ == '__main__':spider = yulu()spider.main()
推荐阅读
平时都逛哪些技术网站?(程序员必备58个网站汇总)
肝!精心整理了 50 个数据源网站!
3种Python数据结构,13种创建方法,这个总结,超赞!
手把手带你爬虫 | 爬取语录大全相关推荐
- 爬虫项目实战四:爬取语录大全
爬取语录大全 目标 项目准备 网站分析 反爬分析 每一页的链接分析 代码实现 效果显示 目标 爬取语录,批量下载到本地. 项目准备 软件:Pycharm 第三方库:requests,fake_user ...
- 爬虫爬取音乐url大全
爬虫爬取音乐url大全 今天无聊,想做个公众号点播歌曲功能,所以去某网站爬了303222首音乐,音乐有效率较高,爬了8个小时还没爬完,我就不爬了. 两个方法小功能有点不一样,所以写的有的显得多余,不管 ...
- 【selenium爬虫】用selenium自动化爬虫爬取海贼王动漫图片
以下内容为本人原创,欢迎大家观看学习,禁止用于商业用途,转载请说明出处,谢谢合作! ·作者:@Yhen ·原文网站:CSDN ·原文链接:https://blog.csdn.net/Yhen1/art ...
- MATLAB爬虫爬取股票数据
近年来,大数据盛行,有关爬虫的教程层次不穷.那么,爬虫到底是什么呢? 什么是爬虫? 百度百科是这样定义的: 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种 ...
- python如何爬虫网页数据-python网络爬虫爬取网页内容
1.什么是网络爬虫? 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自 ...
- 如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py ...
- Scrapy爬取姓名大全,看看那个名字最受父母青睐
点击上方"AI搞事情"关注我们 最近在做的项目需要用到名字的数据,可哪儿有这么多名字给我用呢?经一通搜索,不仅找到一个神奇的网站姓名大全,还有人开源了爬虫的代码.让我一番修改,得到 ...
- mysql scrapy 重复数据_大数据python(scrapy)爬虫爬取招聘网站数据并存入mysql后分析...
基于Scrapy的爬虫爬取腾讯招聘网站岗位数据视频(见本头条号视频) 根据TIOBE语言排行榜更新的最新程序语言使用排行榜显示,python位居第三,同比增加2.39%,为什么会越来越火,越来越受欢迎 ...
- python爬虫开发数据库设计入门经典_Python3实现的爬虫爬取数据并存入mysql数据库操作示例...
本文实例讲述了Python3实现的爬虫爬取数据并存入mysql数据库操作.分享给大家供大家参考,具体如下: 爬一个电脑客户端的订单.罗总推荐,抓包工具用的是HttpAnalyzerStdV7,与chr ...
最新文章
- List数组,string数组,Dictionary字典三种contain方法的查询速度
- 帧中继中配EIGRP(hub-spoke)
- sepFilter2D函数
- golang函数:命名返回值代码示例
- 复旦计算机测试,复旦大学计算机用能力水平测试(Fudan Computer Skills.doc
- jdk 1.8 java.policy,JDK1.8 导致系统报错:java.security.InvalidKeyException:illegal Key Size
- Python 条件推导式 - Python零基础入门教程
- 【今日CV 计算机视觉论文速览 第127期】Fri, 7 Jun 2019
- must override a superclass method
- python字符画太小_python小项目(-)图片转字符画
- matlab里面的if跟几个end,在编程中写两个end if 是什么意思
- c++ sort排序函数
- iOS12.4完整越狱来了,附手机端一键越狱教程!
- Vue电影网站构建实战教程
- Java游戏吉他英雄_《吉他英雄:现场》《摇滚乐队4》横向对比:各有所长!
- Vue 短信验证码组件
- Robot Framework(三):RIDE工具简介
- 和互联网公司服务器有关的一些情况
- mac系统按Esc键无法切换vim编辑模式
- 小程序轮播图组件跳转到自定义页面
热门文章
- rabbitmq管理界面的使用
- 关于在centos下安装python3.7.0以上版本时报错ModuleNotFoundError No module named _ctypes 的解决办法
- Failed to download You must enable the openssl extension to download files via https
- 第一章	安装OpenResty(Nginx+Lua)开发环境
- crontab wget命令定时执行thinkphp的控制器实现定时任务
- Linux的find grep
- mysql ndb_mysql8 参考手册--MySQL NDB群集8.0
- 简易HTTP协议解析
- sql limit不接具体数字_SQL别再秀操作了,这么写吧还是。
- springmvc面试题2021