scrapy常用问题

1、动态加载又对及时性要求很高怎么处理？
1，selenium+Phantomjs
2，尽量不适用sleep而是用WebDriverWait

2、分布式爬虫主要解决什么问题？
1，ip 2，宽带 3，cpu 4，io

3、什么是URL？
URL，即统一资源定位符，也就是常见的网址，统一资源定位符是对可以从互联网是得到的资源的位置和访问方法的一种简介的表示
是互联网上标准资源的地址。互联网是的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。

4、python爬虫有那些常用技术？
Scrapy Beautiful Soup urllib urllib2 requests

5、简单说一下你对scrapy的了解？
   scrapy是一个快速(fast)，高层次(high-leve)的基于python 的web爬虫框架，
   用来下载，并解析web页面，其parse->yield item->pipeline流程是所有爬虫的固有模式，
   构造形式主要分 spider pypipeline.py itme.py decorator.py middlewares.py setting.py

6、scrapy的优缺点？
   1，优点：scrapy是异步的
       采取可读性更强的xpath代替正则强大的统计和log系统(日志文件)，同事在不同的url上爬行支持shell方式，方便独立调试写middleware(中间件)，
       方便写一些同意的过滤器，通过管道的方式存入数据库
           log系统：
           log是日志文件，通常是系统或者某些软件对已完成的某种处理的记录，以便将来做为参考，

2、缺点：基于python 的爬虫框架，扩展性比较差
       基于twisted框架，运行中的exception( 异常处理机制)是不会干掉reactor(异步应用基础库)，并且一步框架出错后是不会停掉其他任务的，数据出错后难以察觉，
           twisted框架:
           twisted是一个封装好的网络通信的库，可以帮助我们快速进行网络编程
           注意，python3中，字符串必须转码成utf8的格式，否则无法发送。比如str(“test”).encode(“utf8”)即可

7、scrapy和request？
   1，scrapy是封装起来的框架，它包含了下载器，解析器，日志异常处理，基于多线程，twisted的方式处理，
   对于单个固定的网站爬取开发，有优势，但是对于多网站爬取100个网站，并发及分布式处理方面，不够灵活，不便调整与扩展，
   2，request是一个HTTP库，它只是用来，进行请求，对于HTTP请求，他是一个强大的库，下载，解析全部自己处理，灵活性更高，
   高并发与分布式部署也非常灵活，对于功能可以更好实现，

8、五层网络模型？
   应用层—http ftp dns nfs
   传输层—tcp --udp
   网络成—ip icmp igmp
   链路层—data link
   物理层—media
   设置ip和掩码
       ifconfig eth0 102.168.13.225 netmash 255.255.255.0
   设置网关
       route add default gw 192.168.5.1

9、常用反爬措施？
   1、添加代理
   2、降低访问频率
   3、User-Agent动态 HTML数据加载验证码处理Cookie

10、git和post请求有什么区别？
   区别：
       GET：
           从指定的服务器中获取数据，GET请求能够被缓存，会保存在浏览器的浏览记录中，
           以GET请求的URL能够保存为浏览器书签，GET请求有长度限制，GET请求主要用以获取数据
       POST：
           POST请求不能被缓存，不会呗保存在浏览器记录中，请求的URL无法村委浏览器书签，
           POST请求没有长度限制，POST请求会把请求的数据防止在HTTP请求包的包体中
           POST的安全性比GET的高，可能修改变服务器上的资源请求
   应用场合：
       POST：
           请求的结果有持续性的副作用(数据库内添加新的数据行)，
           若使用GET方法，则表单上的数据肯能让URL过长，
           要传送的数据不是采用7位的ASCLL编码，
       GET：
           请求是为了查找资源，HTML表单数据仅用来帮助搜索，
           请求结果无持续性的副作用，
           收集的数据及HTML表单内的输入字段的名称总长不能超过1024个字符
       HTTP请求会有那些信息发送到后台服务器：
           请求行(请求方式，资源路径和HTTP协议版本)POST/demo/login HTTP/1.1
           请求消息头
           消息正问(也叫实体内容) username=xxxx&password=1234

11、描述下scrapy框架运行的机制？
   1，从start_url里获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器
   去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理：如果提取所需要的数据，则交给管道文件处理，
   2，如果提取出url，则继续执行之前的步骤(发送url请求，并由引擎将请求交给调度器加入队列)，知道请求队列里没有请求，程序结束，

12、实现登录的方式有那些？
   1，使用一个具有登录状态的cookie，结合请求头一起发送，可以直接发送get请求，访问登录后才能访问的页面，
   2，先发送登录解密的get请求，在登录页面HTML里获取登录需要的数据，然后结合账号密码，在发送post请求，即可登录成功
   然后根据获取的cookie信息，继续访问之后的页面，

13、简单介绍下scrapy的异步处理
scrapy框架的异步机制是基于twisted异步网络框架处理的，在settings.py文件里可以设置具体的并发数量值-默认值16

scrapy常用问题相关推荐

python常用命令汇总-Python爬虫框架Scrapy常用命令总结
本文实例讲述了Python爬虫框架Scrapy常用命令.分享给大家供大家参考,具体如下: 在Scrapy中,工具命令分为两种,一种为全局命令,一种为项目命令. 全局命令不需要依靠Scrapy项目就可以 ...
scrapy常用设置参考手册
内置设置参考以下是所有可用Scrapy设置的列表,按字母顺序排列,以及它们的默认值和适用范围. 范围(如果可用)显示设置的使用位置,如果它与任何特定组件相关联.在那种情况下,将显示该组件的模块,通常 ...
scrapy常用设置参考手册 1
内置设置参考以下是所有可用Scrapy设置的列表,按字母顺序排列,以及它们的默认值和适用范围. 范围(如果可用)显示设置的使用位置,如果它与任何特定组件相关联.在那种情况下,将显示该组件的模块,通常 ...
scrapy常用命令
创建项目 D:\tmp\scrapy>scrapy startproject testproject New Scrapy project 'testproject', using templa ...
Python爬虫框架Scrapy学习笔记
scrapy.png 本文主要内容针对Scrapy有初步了解的同学.结合作者的实际项目中遇到的一些问题,汇成本文. 之后会写一些具体的爬虫demo, 放到 https://github.com/han ...
scrapy常用工具备忘
scrapy常用的命令分为全局和项目两种命令,全局命令就是不需要依靠scrapy项目,可以在全局环境下运行,而项目命令需要在scrapy项目里才能运行. 一.全局命令 ##使用scrapy -h可以看 ...
Scrapy爬虫框架入门
一.scrapy框架简介 scrapy和前面学的BeautifulSoup库.Re库其实都是函数功能库,但是scrapy由于有着一些固定的结构,更像是一个框架,所以称之为爬虫框架,所谓爬虫框架,指的是 ...
爬虫之scrapy框架的数据持久化存储/保存为scv,json文件
文章目录前情回顾 selenium+phantomjs/chrome/firefox execjs模块使用今日笔记 scrapy框架小试牛刀猫眼电影案例知识点汇总数据持久化存储(MySQL ...
常用的python标准库有哪些?
常用的python标准库,个人认为分为三类: 7大编程常用,第三方库以及常用的科学计算库. 常用的7大库有: os 操作系统 time 时间 random 随机 pymysql 连接数据库 threa ...

scrapy常用问题

scrapy常用问题相关推荐

最新文章

热门文章