Python爬虫必备技术点【续】

一、非爬虫框架

1.1 爬虫的认知

数据请求(网络请求库)

数据解析(re/xpath/bs4)

数据存储(csv/pymysql/json??)

反反爬的策略

ip代理

ua池

cookie池： 收集手动登录之后的响应的Cookie信息

请求间隔(2~5秒)

验证码处理(打码平台、机器学习？？？)

1.2 网络请求库

urllib

request

urlopen()

urlretrieve(fullurl, filename)

Request(url, data=None, headers)

build_opener(*handlers)

HTTPHandler

HTTPCookieProcessor(http.cookiejar.CookieJar())

ProxyHandler(proxies={})

parse

quote()

urlencode()

http.client.HTTPResponse

code

getheaders()

getheader(name, default)

read() 读取的响应字节数据

requests (第三方)

request(method, url, params, data, json, files, headers, cookies, proxies, auth)

get(url, params, **kwargs)

post(url, data, json, **kwargs)

put(url, data, json, **kwargs)

delete(url, **kwargs)

Response

status_code

encoding

headers

content 字节数据

text 文本数据

json() json文本反序列化为Python的dict/list的对象

1.3 数据解析

re 正则表达式

xpath (pip install lxml)

lxml.etree.HTML(‘html内容’) 返回Element对象

xpath(‘path路径’) 返回Element或List[,…]

text 标签文本

get(‘标签属性’)

bs4 (pip install bs4)

from bs4 import BeautifulSoup

root = BeautifulSoup(html, ‘lxml’) bs4.element.Tag

查询元素标签的方法

find(‘标签名’, class_, id_) 查找第一个

find_all(‘标签名’, class_, id_, limit=N) 查找前N个

select(‘css选择器’)

#id

.classname

标签名

后代标签

兄弟标签 (查找多个标签)

属性标签

伪类

Tag属性

string/text

get_text()

attrs: dict 标签中所有属性的字典

contents 子标签的文本列表

descendants 子标签的Tag列表

1.4 多任务爬虫

多线程

threading

Thread

queue.Queue 线程队列

多进程

multiprocessing

Process

Queue 进程队列

协程

asyncio

coroutine 协程装饰器

get_event_loop()

wait()

sleep()

yield from

async / await

1.5 selenium框架

以driver程序驱动浏览器，对目标(网站或网页)进行操作(请求网页、提取数据、截图、切换或关闭页签-window)。

chrome.get() 打开目标(发起请求)

chrome.quit() 退出浏览器

chrome.close() 关闭当前的窗口

chrome.find_element(By, value)

selenium.webdriver.common.by.By

ID

CLASS_NAME

NAME

XPATH

CSS_SELECTOR

LINK_TEXT

WebElement 查到的标签对象

get_attribute(‘属性名’, default)

text 标签文本

click()

send_keys()

rect 当前元素的位置(left, top, width, height)

chrome.find_elements(By, value)

execute_script()

save_screenshot(filename) 截图

等待某一个标签元素出现

selenium.webdriver.support

ui

WebDriverWait

expected_conditions

visibility_of_all_elements_located((By, value))

ui.WebDriverWait(dirver, timeout) \

.until(expected_conditions, error_msg )

1.6 docker

容器技术，将远程的docker仓库中的镜像下拉到本地， 再将镜像运行成为一个容器(进程)。

- 镜像操作

- 基本信息

- 名称

- 版本

- ID

- 描述

- docker images 查看所有镜像

- docker rmi 名称:版本号 / ID 删除镜像

- docker run 名称:版本号 / ID 启动镜像

- -dit 后台启动镜像，启动后可进入容器并打开新的terminal(终端)

- -p 宿主机端口: 容器端口

- 容器操作

- docker ps 查看正运行的容器

- -a 查看所有的容器

- -l 查看最后一个启动的容器

- docker logs 容器名或ID  查看容器运行的日志

- docker exec 容器名或ID Linux命令 在容器中执行Linux命令

- docker exec -it 容器名或ID bash 进入容器

- docker stop 容器名或ID

- docker start 容器名或ID

- docker restart 容器名或ID

- docker rm -f 容器名或ID 删除容器， -f强制删除正运行的容器

二、日志模块进阶

2.1 日志格式

格式     说明

%(name)s     记录器的名称, 默认为root

%(levelno)s     数字形式的日志记录级别

%(levelname)s     日志记录级别的文本名称

%(filename)s     执行日志记录调用的源文件的文件名称

%(pathname)s     执行日志记录调用的源文件的路径名称

%(funcName)s     执行日志记录调用的函数名称

%(module)s     执行日志记录调用的模块名称

%(lineno)s     执行日志记录调用的行号

%(created)s     执行日志记录的时间

%(asctime)s     日期和时间

%(msecs)s     毫秒部分

%(thread)d     线程ID

%(threadName)s     线程名称

%(process)d     进程ID

%(message)s     记录的消息

2.2 日志模块应用

import logging

from logging import StreamHandler, FileHandler

四个核心部分

日志记录器logger: 记录日志信息

日志处理器 handler： 记录信息之后，由handler去处理

日志过滤器 filter： 对记录信息进行过滤。

日志格式化 formatter： 由处理器对记录的信息按formatter格式进行处理(除HTTPHandler和SMTPHandler之外)。

核心方法或函数

logging.getLogger(name) # 默认没有name时，返回root

logging.baseConfig() 配置root记录器的格式、处理器等。

logging.info()/debug()/warning()/error()/critical() 由root记录器记录日志信息。

logger记录器的核心方法

setLevel(logging.DEBUG|INFO|WARNING|ERROR|FATAL)

addHandler(handler)

addFilter(Filter)

debug()|info()….

handler处理器的核心方法

setLevel(logging.DEBUG|INFO|WARNING|ERROR|FATAL)

setFormatter(fmt)

Formatter初始化参数

format 格式化的字符串， 使用%(日志变量)s 相关日志变量占位符组成的字符串

'hi, %(name)s, age is %(age)s' % {'age': 20, 'name': 'jack'}

'hi, %s, age is %s' % ('disen', 30)

datefmt 指定 %(asctime)s 日志时间的格式， 通常使用 %Y-%m-%d %H:%M:%S 即年月日 时分秒格式。

三、scrapy框架

3.1 scrapy架构组成

五个核心组件

engine 引擎， 协调其它四个组件之间的联系，即与其它四个组件进行通信，也是scrapy框架的核心。

spider 爬虫类， 爬虫程序的编写代码所在， 也是发起请求的开始的位置。spider发起的请求，经过engine转入到scheduler中。

scheduler 调度器， 调度所有的请求(优先级高，则会先执行)。当执行某一个请求时，由engine转入到downloader中。

donwloader 下载器, 实现请求任务的执行，从网络上请求数据，将请求到的数据封装成响应对象，并将响应的对象返回给engine。engine将数据响应的数据对象(以回调接口方式)回传给它的爬虫类对象进行解析。

itempipeline 数据管道， 当spider解析完成后，将数据经engine转入到此(数据管道)。再根据数据类型，进行数据处理(图片、文本)

二个中间件

爬虫中间件， 介于Spider和Engine之间的，可以拦截Spider的发起的请求及数据。

下载中间件，介于Engine和Downloader之间的，可以拦截下载和响应。当然在下载处理之前，可以设置代理 、请求头、Cookie等操作(反反爬设置)，还可以基于Splash或Selenium实现特定的操作。

3.2 scrapy指令

创建项目命令

scrapy startproject 项目名称

创建爬虫命令

scrapy genspider 爬虫名 域名

启动爬虫命令

scrapy crawl 爬虫名

调试爬虫命令

scrapy shell url

scrapy shell

fetch(url)

view(response)

response.xpath()

3.3 Response类

属性相关【重点】

body 响应的字节数据

text 响应的编码之后文本数据

headers 响应头信息， 是字节数据

encoding 响应数据的编码字符集

status 响应的状态码

url 请求的url

request 请求对象

meta 元数据，用于request和callback回调函数之间传值

解析相关【重点】

selector()

css() 样式选择器 , 返回Selector选择器的可迭代(列表)对象

scrapy.selector.SelectorList 选择器列表

x()/xpath()

scrapy.selector.Selector 选择器

样式选择器提取属性或文本

::text 提取文本

::attr(“属性名”) 提取属性

xpath() xpath路径

xpath路径，同lxml的xpath()写法

选择器常用方法

css()/xpath()

extract() 提取选择中所有内容，返回是list

extract_first()/get() 提取每个选择器中的内容, 返回是文本

3.4 Request类

scrapy.http.Request

请求对象的属性

url

callback 解释数据的回调函数对象

headers 请求头

priority 请求的优先级， 值越高，优先级越高(优先下载)

四、扩展练习

写出selenium向下和向右滚动的脚本

document.documentElement.scrollTop 向下

document.documentElement.scrollLeft 向右

1

2

写出restful接口设计规范(四个)

- 每个资源都有唯一标识 URI

- 每个资源具有四个动作， GET|POST|PUT|DELETE

- 每次请求都是无状态

- 接口交互的数据是json或xml

写出常见的反爬虫和反反爬虫

- 访问次数 - IP代理

- Cookie验证- Cookie池

- UA验证  - UA池

- 验证码 - 打码平台

- 动态js渲染 - Selenium/Splash

————————————————

版权声明：本文为CSDN博主「Python-Disen」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/ahhqdyh/article/details/104832423