1. 下载第一个网页的源代码

需要安装 requests库

import requestsurl = 'http://www.tuke88.com/soexcel/qingdan/__zonghe_0_1.shtml'
headers= {'User Agent': 'replace with your own header'}
response = requests.get(url, headers)
if response.status_code == 200: #检查状态是否正常，只有“200”代码表示正常状态print(response.text) #如果状态不正常，需要进一步考虑怎样处理

找目标：找到一个符合爬虫小白的网页好难

Python爬虫学习笔记 (2) [初级] 初识 requests + bs4 + re相关推荐

Python爬虫学习笔记 (9) [初级] 小练习爬取慕课网课程清单
更新日期: 2021.03.28 本节学习内容 : 练习使用 bs4 和 xlwings - 爬取慕课网免费课程清单并存为 Excel 文件. 目录 1. 目标信息 2. 爬取步骤 3. 代码 5. ...
python爬虫学习笔记 1.9 （Handler处理器和自定义Opener）
python爬虫学习笔记 1.1(通用爬虫和聚焦爬虫) python爬虫学习笔记 1.2 ( HTTP和HTTPS ) python爬虫学习笔记 1.3 str和bytes的区别 python爬虫学习 ...
Python爬虫学习笔记 -- 爬取糗事百科
Python爬虫学习笔记 -- 爬取糗事百科代码存放地址: https://github.com/xyls2011/python/tree/master/qiushibaike 爬取网址:https ...
python爬虫学习笔记3.2-urllib和request练习
python爬虫学习笔记3.2-urllib和request练习一.urllib练习 1.百度贴吧案例需求分析手动测试查询流程观察页面分析特殊部分 https://tieba.baidu. ...
python爬虫学习笔记 3.9 （了解参考：训练Tesseract）
python爬虫学习笔记 3.9 (了解参考:训练Tesseract) 参考阅读:训练Tesseract 要使用 Tesseract 的功能,比如后面的示例中训练程序识别字母,要先在系统中设置一个新 ...
python爬虫学习笔记2模拟登录与数据库
前言为了加入学校里面一个技术小组,我接受了写一个爬取学校网站通知公告的任务.这个任务比以前写的爬虫更难的地方在于,需要模拟登录才能获得页面,以及将得到的数据存入数据库. 本文按照日期来记录我完成任务 ...
Python爬虫学习笔记：概念、知识和简单应用
Python爬虫:概念.知识和简单应用什么是爬虫? 使用的开发工具一个简单的爬虫实例 Web请求过程分析 HTTP协议请求头中的重要内容响应头中的重要内容请求方式 requests 安装 G ...
python爬虫学习笔记一：网络爬虫入门
参考书目 <python网络爬虫从入门到实践>唐松第一章网络爬虫入门 1.1 robots协议举例:查看京东的robots协议京东robots协议地址 User-agent: * ...
Python爬虫学习笔记总结(一)
〇. python 基础先放上python 3 的官方文档:https://docs.python.org/3/ (看文档是个好习惯) 关于python 3 基础语法方面的东西,网上有很多,大家可以 ...

Python爬虫学习笔记 (2) [初级] 初识 requests + bs4 + re

目录

1. 下载第一个网页的源代码

Python爬虫学习笔记 (2) [初级] 初识 requests + bs4 + re相关推荐

最新文章

热门文章