菜鸟python爬虫scrapy_Python爬虫(Scrapy)爬取秀人网
最近睡了午觉之后,感觉一点精神都没有,我觉得需要刺激一下。
爬取的网站长这个样子:
爬取的网站.png
运行
默认16个并发,我放公司不知道跑了多久,周末公司停电了,不知道这个网站有没有反爬虫,我现在还没遇到。
有代理,代理都是各大代理网站的免费代理:
没有代理:
noproxy.gif
有代理就像蜗牛一样,代理失败率还高的吓人,免费的代理就是不靠谱。
结果
大小.png
目录.png
结果.png
pycharm 如何使用anaconda里面的环境
File->Default settings->Default project->project interpreter
接着点击 project interpreter 的右边的小齿轮,选择 add local ,选择anaconda文件路径下的python.exe。接着pycharm会更新解释器,导入模块等,要稍等一点时间。
安装scrapypip install scrapy
windos安装这个会出错,因为有两个依赖模块twisted pywin32安装不上,所以只有进行本地安装。
到这个网站--https://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的版本安装,然后在使用上面的那个命令。Linux类的电脑,不会出现这个问题的。
本地安装命令,例如安装Twistedpin install Twisted‑17.9.0‑cp36‑cp36m‑win_amd64.whl
还有安装一个pillow,用来处理图片。pip install pillow
运行scrapy可能出现问题,应该是pywin32出错,出错的原因就是没有加入环境变量。可以把pywin32_system32里面的文件放到系统中的system32 或者虚拟环境中的scripts中。
新建项目
我们先来看下scrapy中的命令:Scrapy 1.4.0 - no active project
Usage:
scrapy [options] [args]
Available commands:
bench Run quick benchmark test
fetch Fetch a URL using the Scrapy downloader
genspider Generate new spider using pre-defined templates
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy
[ more ] More commands available when run from project directory
Use "scrapy -h" to see more info about a command
用scrapy命令来创建项目:scrapy startproject gallery
用pycharm打开项目,开始coding,代码来袭##### 爬取规则(Spider)#gallery_spider.pyimport scrapyfrom scrapy import Requestfrom gallery.items import GalleryItemclass GallerySpider(scrapy.Spider):
# Spider 的唯一标识 ,必不可少
name = "gallery_spider"
# 爬取开始连接 是一个列表
start_urls = ['http://www.55156.com/weimeiyijing/fengjingtupian'] # 默认的解析方法
def parse(self, response):
# 取当前页所有的图片索引url
urls = response.xpath('//ul[@class="liL"]/li/a/@href').extract()
self.logger.info('当前父图片urls----->{}'.format(urls)) for url in urls: # 丢给调度器 加入请求队列
yield Request(url=url, callback=self.img_parse) # yield Request(url='http://www.55156.com/weimeiyijing/fengjingtupian/146515.html', callback=self.img_parse)
# 下一页的url
next_page = response.css('.pages ul li ::attr(href)')[-2].extract() # 判断是否存在下一页 和 不最后一页
if next_page and not next_page == '#':
self.logger.info('存在列表下一页------>{}'.format(next_page)) yield Request(url=response.urljoin(next_page), callback=self.parse)
def img_parse(self, respose):
'''
详细图片页的解析
'''
# 定义提取数据结构
item = GalleryItem() #取图片url
img_url = respose.css('.articleBody p a img ::attr(src)').extract_first() # 取图片的标题
img_dir = respose.css('.articleTitle h1 ::text').extract_first() # 赋值给item
item['image_url'] = img_url
item['image_dir'] = img_dir
# 取所有页数
next_page = respose.css('.pages ul li a ::attr(href)').extract() # 判断页数不为空
if next_page: #取下一页url
next_page = next_page[-1] # 判断是否存在下一页 和 不最后一页 实际上这个地方不用判断是否存在 因为在之前已经做了一次判断
if next_page and not next_page == '#':
self.logger.info('开始爬取图片下一页-------->{}'.format(next_page)) # 丢给调度器 加入请求队列
yield Request(url=respose.urljoin(next_page), callback=self.img_parse) yield item
items#items.pyimport scrapyclass GalleryItem(scrapy.Item):
'''
定义提取数据的结构
'''
image_url= scrapy.Field()
image_dir= scrapy.Field()
中间件#middlewares.pyfrom scrapy.downloadermiddlewares.useragent import UserAgentMiddlewareimport randomclass GallerySpiderMiddleware(UserAgentMiddleware):
'''
设置请求头 User-Agent
'''
user_agent_list = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)", "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)", "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)", "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)", "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)", "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)", "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6", "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1", "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0", "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5", "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20", "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER", "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 LBBROWSER", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)", "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)", "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1", "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5", "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0b13pre) Gecko/20110307 Firefox/4.0b13pre", "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:16.0) Gecko/20100101 Firefox/16.0", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11", "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10"
] def process_request(self, request, spider):
'''
请求之前的回调
'''
# 随机取一个user-agent
ua = random.choice(self.user_agent_list)
spider.logger.info("当前UA----->" + ua) # 给请求头设置User-Agent
request.headers.setdefault('User-Agent', ua)
管道#pipelines.pyimport osimport scrapyfrom scrapy.exceptions import DropItemfrom scrapy.pipelines.images import ImagesPipelineclass GalleryPipeline(ImagesPipeline):
'''
用来图片的存储
'''
def get_media_requests(self, item, info):
'''
图片请求
'''
yield scrapy.Request(item['image_url'], meta={'item': item}) def item_completed(self, results, item, info):
'''
下载后的回调
'''
image_paths = [x['path'] for ok,x in results if ok] # for ok, x in results:
# if ok:
# print(x['path'])
if not image_paths:
print('{}/{}------文件保存失败'.format(item['image_dir'], item['image_url'])) raise DropItem("Item contains no images") else:
print('{}/{}------文件保存成功'.format(item['image_dir'], item['image_url'])) return item def file_path(self, request, response=None, info=None):
'''
图片路径设置
'''
item = request.meta['item']
img_name = os.path.basename(item['image_url'])
index = item['image_dir'].find('(') if index == -1:
index = item['image_dir'].find('(') if not index == -1:
item['image_dir'] = item['image_dir'][:index]
filename = u'{}/{}'.format(item['image_dir'], img_name) return filename
配置文件#settings.pyBOT_NAME = 'gallery'SPIDER_MODULES = ['gallery.spiders']
NEWSPIDER_MODULE = 'gallery.spiders'# Obey robots.txt rules 是否遵守robots规则ROBOTSTXT_OBEY = False# Configure maximum concurrent requests performed by Scrapy (default: 16)#CONCURRENT_REQUESTS = 32#DOWNLOAD_DELAY = 3# Disable cookies (enabled by default) cookeie是否禁用#COOKIES_ENABLED = False# Disable Telnet Console (enabled by default)#TELNETCONSOLE_ENABLED = False# Override the default request headers: 默认请求头DEFAULT_REQUEST_HEADERS = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Encoding:': 'gzip, deflate', 'Accept-Language': 'en_US,en;q=0.8', 'Connection': 'keep-alive', 'Content-Type': 'application/x-www-form-urlencoded'}# Enable or disable downloader middlewares 下载中间件# See http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.htmlDOWNLOADER_MIDDLEWARES = { 'gallery.middlewares.GallerySpiderMiddleware': 543,
}# 文件保存的地址IMAGES_STORE = 'F:\\gallery'# 管道ITEM_PIPELINES = { 'gallery.pipelines.GalleryPipeline': 300,
}
运行入口#run.pyfrom scrapy.cmdline import executeimport os, sysdef func():
sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))
execute('scrapy crawl gallery_spider'.split(' '))if __name__ == '__main__':
func()
源代码
这个实际比较简单的,我就不贴代码了,我就写了高清套图那个模块。
github地址
似乎上班有点精神了。。。
作者:素笺淡墨染流年
链接:https://www.jianshu.com/p/eb2e5efb7a87
菜鸟python爬虫scrapy_Python爬虫(Scrapy)爬取秀人网相关推荐
- Python+scrapy爬取36氪网
Python+Scrapy爬取36氪网新闻 一.准备工作: ①安装python3 ②安装scrapy ③安装docker,用来运行splash,splash是用来提供js渲染服务(pyth ...
- Scrapy爬取1908电影网电影数据
Scrapy爬取1908电影网电影数据 最初是打算直接从豆瓣上爬电影数据的,但编写完一直出现403错误,查了查是豆瓣反爬虫导致了,加了headers也还是一直出现错误,无奈只能转战1908电影网了. ...
- scrapy 爬取校花网
原文链接: scrapy 爬取校花网 上一篇: scrapy 安装和简单命令 下一篇: scrapy 腾讯 招聘信息爬取 网址,爬取名称和对应的图片链接,并保存为json格式 http://www.x ...
- python爬取豆瓣电影top250_【Python3爬虫教程】Scrapy爬取豆瓣电影TOP250
今天要实现的就是使用是scrapy爬取豆瓣电影TOP250榜单上的电影信息. 步骤如下: 一.爬取单页信息 首先是建立一个scrapy项目,在文件夹中按住shift然后点击鼠标右键,选择在此处打开命令 ...
- 网络爬虫之scrapy爬取某招聘网手机APP发布信息
1 引言 过段时间要开始找新工作了,爬取一些岗位信息来分析一下吧.目前主流的招聘网站包括前程无忧.智联.BOSS直聘.拉勾等等.有段时间时间没爬取手机APP了,这次写一个爬虫爬取前程无忧手机APP岗位 ...
- 【爬虫实战】Python 自制天气预报程序!爬取全国天气网
学会了爬虫,让我们自制一个天气预报的爬虫吧! 需求分析 1.用 requests 爬取 全国天气网 的网页源代码: 2.用 pyquery 解析网页源代码,取得天气情况信息的节点: 3.用 xlwt ...
- 【爬虫】Scrapy爬取古风漫画网
目录 须知 分析 A.\mathcal{A}.A.目标 B.\mathcal{B}.B.子目标 C.\mathcal{C}.C.子目标分析 manhua.py items.py pipelines.p ...
- 基于python多线程和Scrapy爬取链家网房价成交信息
文章目录 知识背景 Scrapy- spider 爬虫框架 SQLite数据库 python多线程 爬取流程详解 爬取房价信息 封装数据库类,方便多线程操作 数据库插入操作 构建爬虫爬取数据 基于百度 ...
- Python Scrapy 爬取煎蛋网妹子图实例(一)
前面介绍了爬虫框架的一个实例,那个比较简单,这里在介绍一个实例 爬取 煎蛋网 妹子图,遗憾的是 上周煎蛋网还有妹子图了,但是这周妹子图变成了 随手拍, 不过没关系,我们爬图的目的是为了加强实战应用,管 ...
- 爬虫实战| 1宅男女神(秀人网专区)---让人心情愉悦的图片爬取 !
目标是宅男女神的美女图片板块下的秀人板块, 页面上全部是该网站收录的美女图片分类, 大概浏览了一下, 发现各个杂志社的图片(妹子) 质量最高, 其中以秀人为首, 所以决定爬取所有秀人板块下的图片. 目 ...
最新文章
- Python Tkinter 常用控件空间位置摆放
- 第三届Apache Flink比赛榜单
- 一个页面是否应该全部组件化
- U盘的挂载和卸载(也可以查看指令篇)
- Linux系统编程---11(会话,守护进程,创建守护进程)
- dubbo注册中心的细节
- 聊天室显示在线人数和已上线人数
- IDEA 新建junit单元测试
- 中国移动短信MISC割接
- aspectjweaver.jar包下载
- 心灵终结不显示服务器,红色警戒2心灵终结3.0常见问题及解决方法
- 12306自动抢票软件代码实现
- 获取天气预报ajax,Ajax 通过城市名获取数据(全国天气预报API)
- java emoji表情 乱码_java 微信昵称带有emoji 表情乱码
- (程序员必备技能)基于Python的鼠标与键盘控制实战扩展与源码
- c语言任何一个大于6的偶数均可表示为两个素数之和,C语言:验证哥德巴赫猜想:任何一个大于6的偶数均可表示为2个素数之和...
- Android 实现企业微信自动打卡任务同时支持钉钉急速打卡模式
- html盒子移动动画代码,详解盒子端CSS动画性能提升
- python小猴子摘桃子的故事_小猴子摘桃子
- 读毛姆《人性的枷锁》
热门文章
- Code::Blocks安装和汉化包配置
- Xshell6和Xftp6的使用
- 无毒健康软件下载地址 http://www.downcc.com/ 绿色资源网
- jtopo 实现一键布局
- Matlab中CVX工具箱使用
- Ubunut 下安装teamview
- TAOCP_READING 1.1完
- 从“星空”主题绘画系统出发寻求绘画的可能性
- EduCoder_web实训作业--JavaScript学习手册八:JS函数
- Qt之QTableView的简单使用(含源码+注释)