路飞学院 python_路飞学院-Python爬虫实战密训班-第1章

学习笔记：

import requests

from bs4 import BeautifulSoup

GET请求

r = requests.get(‘http://‘)

r.text 返回headers中的编码解析的结果，可以通过r.encoding = ‘gbk‘来变更解码方式

r.content返回二进制结果

r.json()返回JSON格式，可能抛出异常

r.status_code

r.raw返回原始socket respons，需要加参数stream=True

传递headers

headers ={

‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36‘,

‘Host‘:‘github.com‘

}

传递cookies

提交data

data = {

‘commit‘:‘Sign in‘,

‘utf8‘:‘?‘,

}

req_submit = requests.post(url=url,data=data,headers=headers1,cookies=cookies)

获取页面信息

req_submit.content.decode()

####################

加载要解析的文本内容

soup = BeautifulSoup("data",‘html.parser‘)

查找相应的标签

soup_html = soup.find(name=‘html‘)

取出文本

soup_html.text

原文：https://www.cnblogs.com/aili10000/p/9263005.html

路飞学院 python_路飞学院-Python爬虫实战密训班-第1章相关推荐

路飞学城—Python爬虫实战密训班第三章
路飞学城-Python爬虫实战密训班第三章一.scrapy-redis插件实现简单分布式爬虫 scrapy-redis插件用于将scrapy和redis结合实现简单分布式爬虫:- 定义调度器- 定 ...
路飞学院-Python爬虫实战密训班-第2章
通过架设flask或django web服务器,同时后台采用requests和bs4模块来爬取web微信程序相关信息. 在代码过程中遇到一些问题,1.需要认真分析网络请求包. 2.cookies 在获 ...
路飞学院python官网-路飞学院-Python爬虫实战密训班-第1章
学习笔记: 通过本章的学习,学习到了requests和BeautifulSoup模块的安装及使用方法.以及爬取给类网站的方法和知识点. 1.requests和BeautifulSoup 安装 pip ...
路飞学城—Python—爬虫实战密训班第二章
请求库之requests模块总结 request: # 必须背会 method url params data json headers cookies :param proxies: 如果被封IP ...
路飞学城-Python爬虫实战密训-第1章
正式的开始学习爬虫知识,Python是一门接触就会爱上的语言.路飞的课真的很棒,课程讲解不是告诉你结论,而是在告诉你思考的方法和过程. 第一章,学习了如何爬取汽车之家以及抽屉登录并点赞. 1 impo ...
路飞学城-Python 爬虫实战密训-第 1 章
本节学习体会: 鸡汤心得: 1.时代发展太快,要不断学习新东西,武装自己,才能跟得上时代的潮流,不然就是面临被pass的命运 2.要看清楚趋势,不要闭门造车 3.学习编程语言就跟学英语一样,方法很重要 ...
路飞学成-Python爬虫实战密训-第3章
1,本节学习体会.心得 : 本章的内容非常多,scrapy框架的使用.对于学过django的人来说.可能要更好理解一些把.个人感觉还是挺简单的.所有的知识点一听就懂,唯一不好的就是时间太紧迫了,不的不 ...
路飞学城python电子书_路飞学城-Python爬虫实战密训-第1章
7 8 The Dormouse's story总共9 f 10 11 12
python爬虫实战之旅（第三章：数据解析（bs4法））
上接:第三章:数据解析(正则法) 下接:第三章:数据解析(xpath法) 1.数据解析步骤标签定位提取标签,标签属性中存储的数据值 2.bs4数据解析的原理实例化一个BeautifulSoup对 ...

路飞学院 python_路飞学院-Python爬虫实战密训班-第1章

路飞学院 python_路飞学院-Python爬虫实战密训班-第1章相关推荐

最新文章

热门文章