python爬虫面试遇到的问题
文章目录
- 1python基础
- 1.1 列表生成式和生成器的区别 ?
- 1.2 如何不用任何循环快速筛掉列表中的奇数元素 ?
- 1.3 map和reduce的用法
- 1.4 装饰器的作用
- 1.5 Python中__new__与__init方法的区别
- 1.6 python中的设计模式
- 1.7 lambda函数,以及它有什么好处
- 2 反爬问题
- 2.1 如何处理封IP的反爬
- 2.2 如何处理验证码
- 2.3 代理问题
- 2.4 验证码处理
- 2.5 模拟登陆问题
- 3 数据库问题
- 3.1 说几个redis中的数据类型和命令
- 3.2 MySQL中的inner join和left join的区别 ?
- 4 爬虫问题
- 4.1 常用的网络数据爬取方法
- 4.2 设计一个基于session登录验证的爬虫方案
- 5 框架问题
- 5.1 scrapy的基本结构(五个部分都是什么,请求发出去的整个流程)
- 5.2 scrapy的去重原理 (指纹去重到底是什么原理)
- 5.4 scrapy中间件有几类,分别在哪里起的作用(面向切面编程)
- 6 分布式
- 6.1 分布式原理
- 6.2 分布式如何判断爬虫已经停止了
- 6.3 分布式去重原理
- 6.4 分布式爬虫的实现:
- 例子1
- 例子2
- 7 模拟登录
- 7.1 selenium模拟登录,遇到验证码:
- 7.2 tesseract-OCR的在验证码识别中的重训练与使用
- 7.3 搭建IP代理池
1python基础
1.1 列表生成式和生成器的区别 ?
- 列表生成式和生成器都可以来生成一个列表。
- 列表生成式生成的列表,所有元素对象被立即创建在内存中,当元素过多时,势必会占用过多内存,
- 要用到生成器,它即时创建一个生成器对象,未创建任何元素。生成器来生成一个列表,它不会立即创建大量的对象在内存中。
- 生成器的缺点,没有列表的方法,如append、len、index等等
- 通过next方法来访问其元素,可通过循环打印出所有的元素
1.2 如何不用任何循环快速筛掉列表中的奇数元素 ?
用内置函数filter配合匿名函数过滤掉数组中不符合条件的元素
print (filter(lambda x:x%2 ==0, [1,2,3,4,5]))
#[2,4]
1.3 map和reduce的用法
map
map()函数接收两个参数,一个是函数,一个是Iterable。
例子1:
def f(x):
return x * x
r = map(f, [1, 2, 3, 4, 5, 6, 7, 8, 9])
print(list®)
# [1, 4, 9, 16, 25, 36, 49, 64, 81]
reduce
reduce:把一个函数作用在一个序列[x1, x2, x3, …]上,这个函数必须接收两个参数,reduce把结果继续和序列的下一个元素做累积计算,其效果就是:
reduce(f, [x1, x2, x3, x4]) = f(f(f(x1, x2), x3), x4)
例子1:
from functools import reduce
def add(x, y):return x + y
print(reduce(add, [1, 3, 5, 7, 9]))
#25
1.4 装饰器的作用
装饰器本质上是一个Python函数,它可以让其他函数在不需要做任何代码变动的前提下增加额外功能,提高了代码的复用性。比如,在函数调用前后自动打印日志,但又不希望修改now()函数的定义,这种在代码运行期间动态增加功能的方式,称之为“装饰器”(Decorator)。
1.5 Python中__new__与__init方法的区别
_new_:它是创建对象时调用,会返回当前对象的一个实例,可以用_new_来实现单例
_init_:它是创建对象后调用,对当前对象的一些实例初始化,无返回值。
1.6 python中的设计模式
1.7 lambda函数,以及它有什么好处
lambda 表达式,通常是在需要一个函数,但是又不想费神去命名一个函数的场合下使用,也就是指匿名函数
lambda函数:首要用途是指点短小的回调函数
lambda [arguments]:expression
>>> a=lambdax,y:x+y
>>> a(3,11)
2 反爬问题
2.1 如何处理封IP的反爬
因为网络上的免费代理平台可用的IP数量太少,所以自己写一个模块去抓取平台的IP来维护是没有什么意义的。我选择的是付费代理,通过使用平台的api在本地动态维护一个IP缓存池来供给分布式架构的爬虫节点使用。这个缓存池不需要做IP有效性验证,因为我的爬虫若下载某个Request彻底失败后会把这个Request重新放回Request队列,而且选择一个好的代理平台可以大大提高代理IP质量。我常用的是快代理。缓存池的IP被取走一个,池中的数量就减少一个,当数量少于M时,再从平台获取N个。
2.2 如何处理验证码
答:简单的验证码可以通过预处理(灰度、二值化、去除干燥点)验证码图片再使用tesseract库来识别;
复杂一点的则接入付费平台识别。当然,如果这个目标网站的app端没有验证码的话,会优先通过app端爬取。
2.3 代理问题
(1)为什么会用到代理
(2)代理怎么使用(具体代码,请求在什么时候添加的代理)
(3)代理失效了怎么处理
2.4 验证码处理
(1)登陆验证码处理
使用tesseract来识别,不过tesseract你要自行去训练它,不然识别率出奇的低。
(2)爬取速度过快出现的验证码处理
(3)如何用机器识别验证码
2.5 模拟登陆问题
(1)模拟登陆流程
(2)cookie如何处理
(3)如何处理网站传参加密的情况
3 数据库问题
3.1 说几个redis中的数据类型和命令
3.2 MySQL中的inner join和left join的区别 ?
INNER JOIN(内连接,或等值连接):取得两个表中存在连接匹配关系的记录。
LEFT JOIN(左连接):取得左表(table1)完全记录,即使右表(table2)并无对应匹配记录。
- 扩展:RIGHT JOIN(右连接):与 LEFT JOIN 相反,取得右表(table2)完全记录,即使左表(table1)并无匹配对应记录。
4 爬虫问题
4.1 常用的网络数据爬取方法
正则表达式,Beautiful Soup, lxml
4.2 设计一个基于session登录验证的爬虫方案
5 框架问题
5.1 scrapy的基本结构(五个部分都是什么,请求发出去的整个流程)
5.2 scrapy的去重原理 (指纹去重到底是什么原理)
(1)scrapy本身自带有一个中间件
(2)scrapy源码中可以找到一个dupefilters.py去重器
(3)需要将dont_filter设置为False开启去重,默认是True,没有开启去重
(4) 对于每一个url的请求,调度器都会根据请求得相关信息加密得到一个指纹信息,并且将指纹信息和set()集合中的指纹信息进行比对,如果set()集合中已经存在这个数据,就不在将这个Request放入队列中
(5)如果set()集合中没有存在这个加密后的数据,就将这个Request对象放入队列中,等待被调度
5.4 scrapy中间件有几类,分别在哪里起的作用(面向切面编程)
(1)、scrapy的中间件理论上有三种(Schduler Middleware,Spider Middleware,Downloader Middleware),在应用上一般有以下两种:
1.爬虫中间件Spider Middleware
主要功能是在爬虫运行过程中进行一些处理.
2.下载器中间件Downloader Middleware
主要功能在请求到网页后,页面被下载时进行一些处理.
(2)、使用
1.Spider Middleware有以下几个函数被管理:- process_spider_input 接收一个response对象并处理,位置是Downloader-->process_spider_input-->Spiders(Downloader和Spiders是scrapy官方结构图中的组件)- process_spider_exception spider出现的异常时被调用- process_spider_output 当Spider处理response返回result时,该方法被调用- process_start_requests 当spider发出请求时,被调用
位置是Spiders–>process_start_requests–>Scrapy Engine(Scrapy Engine是scrapy官方结构图中的组件)
2.Downloader Middleware有以下几个函数被管理
- process_request request通过下载中间件时,该方法被调用
- process_response 下载结果经过中间件时被此方法处理
- process_exception 下载过程中出现异常时被调用
编写中间件时,需要思考要实现的功能最适合在那个过程处理,就编写哪个方法.中间件可以用来处理请求,处理结果或者结合信号协调一些方法的使用等.也可以在原有的爬虫上添加适应项目的其他功能,这一点在扩展中编写也可以达到目的,实际上扩展更加去耦合化,推荐使用扩展.
6 分布式
6.1 分布式原理
这里重要的就是我的队列通过什么维护?
这里一般我们通过Redis为维护,Redis,非关系型数据库,Key-Value形式存储,结构灵活。
并且redis是内存中的数据结构存储系统,处理速度快,提供队列集合等多种存储结构,方便队列维护
如何去重?
这里借助redis的集合,redis提供集合数据结构,在redis集合中存储每个request的指纹
在向request队列中加入Request前先验证这个Request的指纹是否已经加入集合中。如果已经存在则不添加到request队列中,如果不存在,则将request加入到队列并将指纹加入集合
如何防止中断?如果某个slave因为特殊原因宕机,如何解决?
这里是做了启动判断,在每台slave的Scrapy启动的时候都会判断当前redis request队列是否为空
如果不为空,则从队列中获取下一个request执行爬取。如果为空则重新开始爬取,第一台丛集执行爬取向队列中添加request
如何实现上述这种架构?
这里有一个scrapy-redis的库,为我们提供了上述的这些功能
scrapy-redis改写了Scrapy的调度器,队列等组件,利用他可以方便的实现Scrapy分布式架构
6.2 分布式如何判断爬虫已经停止了
查一下爬虫的状态:
spider.getStatus();//获取爬虫状态
6.3 分布式去重原理
6.4 分布式爬虫的实现:
例子1
(1).使用两台机器,一台是win10,一台是ubuntu16.04,分别在两台机器上部署scrapy来进行分布式抓取一个网站.
(2).ubuntu16.04的ip地址为39.106.155.194,用来作为redis的master端,win10的机器作为slave.
(3).master的爬虫运行时会把提取到的url封装成request放到redis中的数据库:“dmoz:requests”,并且从该数据库中提取request后下载网页,再把网页的内容存放到redis的另一个数据库中“dmoz:items”.
(4).slave从master的redis中取出待抓取的request,下载完网页之后就把网页的内容发送回master的redis.
(5).重复上面的3和4,直到master的redis中的“dmoz:requests”数据库为空,再把master的redis中的“dmoz:items”数据库写入到mongodb中.
(6).master里的reids还有一个数据“dmoz:dupefilter”是用来存储抓取过的url的指纹(使用哈希函数将url运算后的结果),是防止重复抓取的.
例子2
参考:https://juejin.im/post/5b0ba020f265da09151f56c7#heading-12
7 模拟登录
7.1 selenium模拟登录,遇到验证码:
截图,找到验证码的位置,进行识别
#因为验证码不能一次就正确识别,我加了循环,一直识别,直到登录成功
while True:
#清空验证码输入框,因为可能已经识别过一次了,里面有之前识别的错的验证码
driver.find_element_by_name(“verificationCode”).clear()
# 截图或验证码图片保存地址
screenImg = “H:\screenImg.png”
# 浏览器页面截屏
driver.get_screenshot_as_file(screenImg)
# 定位验证码位置及大小
location = driver.find_element_by_name(‘authImage’).location
size = driver.find_element_by_name(‘authImage’).size
#下面四行我都在后面加了数字,理论上是不用加的,但是不加我这截的不是验证码那一块的图,可以看保存的截图,根据截图修改截图位置
left = location[‘x’]+530
top = location[‘y’]+175
right = location[‘x’] + size[‘width’]+553
bottom = location[‘y’] + size[‘height’]+200
# 从文件读取截图,截取验证码位置再次保存
img = Image.open(screenImg).crop((left, top, right, bottom))
#下面对图片做了一些处理,能更好识别一些,相关处理再百度看吧
img = img.convert(‘RGBA’) # 转换模式:L | RGB
img = img.convert(‘L’) # 转换模式:L | RGB
img = ImageEnhance.Contrast(img) # 增强对比度
img = img.enhance(2.0) # 增加饱和度
img.save(screenImg)
# 再次读取识别验证码
img = Image.open(screenImg)
code = pytesseract.image_to_string(img)
#打印识别的验证码
#print(code.strip())
7.2 tesseract-OCR的在验证码识别中的重训练与使用
参考:
https://zhuanlan.zhihu.com/p/40178190
7.3 搭建IP代理池
python爬虫面试遇到的问题相关推荐
- python爬虫面试问题_Python爬虫面试总结
## Python爬虫面试总结 1. 写一个邮箱地址的正则表达式? [A-Za-z0-9\u4e00-\u9fa5]+@[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+$ 2. 谈 ...
- python爬虫面试自我介绍范文_走过路过不容错过,Python爬虫面试总结
Python爬虫面试总结 1. 写一个邮箱地址的正则表达式?[A-Za-z0-9\u4e00-\u9fa5]+@[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+$ 2. 谈一谈你对 ...
- 最全python爬虫面试笔试题及答案汇总,三万多字,持续更新,适合新手,应届生
目录 一些经典的Python爬虫和网络编程面试题... 1 1.动态加载又对及时性要求很高怎么处理?... 1 2.分布式爬虫主要解决什么问题?... 1 3.什么是 URL?... 1 4.pyth ...
- Python爬虫面试简历 经验分析
分享之前的爬虫简历,仅供参考,因为技术有限,简历技能点逼格不是很高,但提到的很多爬虫常用技术,都已经写入简历,靠这份简历之前找工作时候2天预约了8家面试,面的第二天,在第4家公司通过拿到offer,后 ...
- python爬虫面试经验_Python爬虫面试简历 经验分析
分享之前的爬虫简历,仅供参考,因为技术有限,简历技能点逼格不是很高,但提到的很多爬虫常用技术,都已经写入简历,靠这份简历之前找工作时候2天预约了8家面试,面的第二天,在第4家公司通过拿到offer,后 ...
- python爬虫面试简历_Python爬虫面试简历
分享之前的爬虫简历,仅供参考,因为技术有限,简历技能点逼格不是很高,但提到的很多爬虫常用技术,都已经写入简历,靠这份简历之前找工作时候2天预约了8家面试,面的第二天,在第4家公司通过拿到offer,后 ...
- python爬虫面试代理池_python - 如何为爬虫构建代理池
问 题 为了避免爬虫被封 IP ,网上搜索教程说需要建立代理池.但是付费代理都好贵...不过好在网上已经有不少免费提供代理的网站了.因此,我打算写个爬虫去获取这些免费 IP - 策略步骤 用种子关键词 ...
- python爬虫面试自我介绍范文_一分钟面试自我介绍范文15篇
一分钟面试自我介绍范文 15 篇 2016-08-22 编辑: 1033 浏览 :101484 手机版 优秀的一分钟自我介绍[篇一] 尊敬的领导: 挚地向您推荐自己 ! 我叫李连青, 是莆田学院小学教 ...
- python爬虫面试问题及答案_关于Python爬虫面试50道题
语言特性 1.谈谈对 Python 和其他语言的区别 答:Python属于比较"自由"的语言,首先变量使用前不需要声明类型,其次语句结束不需要使用分号作为结尾,同时不需要大括号进行 ...
最新文章
- Oracle中PL/SQL的循环语句
- 编写多线程Java应用程序常见问题
- JeecgUniapp移动框架 2.0版本发布,一份代码多终端适配
- 决策树ID3算法[分类算法]
- 高岭土吸附阳离子_水分子在高岭土中吸附特性的蒙特卡罗模拟研究
- 使用tSQLt创建SQL单元测试实用程序过程
- 数据库和 MIDP,第二部分:数据映射
- Linux之lastb命令
- convolutional pose machines
- windows虚拟机下 安装docker 踩过的坑
- 省会城市房价地图,这9座新星城市正在悄然崛起
- Arduino相关语法和函数
- TCP协议之《ACK pingpong交互模式详解》
- 中国大学MOOC-陈越、何钦铭-数据结构
- C/C++ fstream
- 手机一个2k屏60hz,一个1080p屏90hz,哪个好呀?
- 黑色沙漠 无法使用未完成的文字
- 基于MT6261行车记录仪
- day01 与MySQL的第一次亲密接触基础查询条件查询
- 【ps-course 网页设计】抠图
热门文章
- C++:getenv setenv -- 获取设置系统环境变量
- mysql 主从优点_MySql主从配置实践及其优势浅谈
- python之33个关键字详解_Python解析、提取url关键字的实例详解
- MessagePack Java Jackson Dataformat 在 Map 中不使用 String 为 Key 的序列化
- 【Xamarin挖墙脚系列:最重要的布局ListView】
- 网络视频贴片广告全面推行第三方监测
- OpenSolaris北京用户组的第一次活动
- java servlet异步_厉害了,Servlet3的异步处理机制
- 安卓APP_ Fragment(3)—— Fragment的生命周期
- mpu 配置内存空间_ARM存储器之:存储保护单元MPU