路飞学院python官网-路飞学院-Python爬虫实战密训班-第1章

学习笔记：

通过本章的学习，学习到了requests和BeautifulSoup模块的安装及使用方法。以及爬取给类网站的方法和知识点。

1、requests和BeautifulSoup 安装 pip install requests......

2、使用

import requests

from bs4 import BeautifulSoup

GET请求

r = requests.get("http://")

r.text 返回headers中的编码解析的结果，可以通过r.encoding = "gbk"来变更解码方式

r.content返回二进制结果

r.json()返回JSON格式，可能抛出异常

r.status_code

r.raw返回原始socket respons，需要加参数stream=True

传递headers

headers ={

"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36",

"Host":"github.com"

}

传递cookies

提交data

data = {

"commit":"Sign in",

"utf8":"✓",

}

req_submit = requests.post(url=url,data=data,headers=headers1,cookies=cookies)

获取页面信息

req_submit.content.decode()

####################

加载要解析的文本内容

soup = BeautifulSoup("data","html.parser")

查找相应的标签

soup_html = soup.find(name="html")

取出文本

soup_html.text

路飞学院python官网-路飞学院-Python爬虫实战密训班-第1章相关推荐

路飞学城—Python爬虫实战密训班第三章
路飞学城-Python爬虫实战密训班第三章一.scrapy-redis插件实现简单分布式爬虫 scrapy-redis插件用于将scrapy和redis结合实现简单分布式爬虫:- 定义调度器- 定 ...
路飞学院-Python爬虫实战密训班-第2章
通过架设flask或django web服务器,同时后台采用requests和bs4模块来爬取web微信程序相关信息. 在代码过程中遇到一些问题,1.需要认真分析网络请求包. 2.cookies 在获 ...
路飞学院 python_路飞学院-Python爬虫实战密训班-第1章
学习笔记: import requests from bs4 import BeautifulSoup GET请求 r = requests.get('http://') r.text 返回heade ...
路飞学城—Python—爬虫实战密训班第二章
请求库之requests模块总结 request: # 必须背会 method url params data json headers cookies :param proxies: 如果被封IP ...
python官网下载速度慢-python 官网慢
广告关闭腾讯云双11爆品提前享,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高满返5000元! python是一门语言,有语法等规范. 但是落实到具体实现上,就不一样了. 用c实 ...
python官网怎么下载-python下载官网
广告关闭腾讯云双11爆品提前享,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高满返5000元! 1.下载pythonpython下载步骤:(1). 进入python下载官网:ht ...
python官网怎么下载python,苹果电脑怎么下载python
python下载安装教程 python下载安装教程:自定义安装目录,点击install进行安装,打开cmd窗口,输入python,显示python的版本,安装成功. Python语言更适合初学者,Py ...
如何在python官网下载pip_[Python]Pip的安装以及简单的使用
Pip的安装安装python以后(我的python版本是32位,版本号2.7.10),如果需要安装一些其他的库,一般有两种办法,一种是自己手动去各个库的官网下载,自己安装:另一种方法是安装pip,使 ...
python官网的软件-python软件怎么用
从官网下载安装好的python软件,即python解释器.启动python解释器的方法如下启动Python有两种方法.一种方法是从IDLE启动:python学习网,大量的免费python视频教程,欢 ...

路飞学院python官网-路飞学院-Python爬虫实战密训班-第1章

路飞学院python官网-路飞学院-Python爬虫实战密训班-第1章相关推荐

最新文章

热门文章