python3爬虫实例-python3.7简单的爬虫实例详解
python3.7简单的爬虫,具体代码如下所示:
#https://www.runoob.com/w3cnote/python-spider-intro.html
#Python 爬虫介绍
import urllib.parse
import urllib.request
from http import cookiejar
url = "http://www.baidu.com"
response1 = urllib.request.urlopen(url)
print("第一种方法")
#获取状态码,200表示成功
print(response1.getcode())
#获取网页内容的长度
print(str(response1.read()))
print(len(response1.read()))
print("第二种方法")
request = urllib.request.Request(url)
#模拟Mozilla浏览器进行爬虫
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(request)
print(response2.getcode())
print(len(response2.read()))
print("第三种方法")
cookie = cookiejar.CookieJar()
#加入urllib2处理cookie的能力#
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(len(response3.read()))
print(cookie)
code: https://github.com/pascal19821003/python
path: python/study/tutorial/pachong/1.py
总结
以上所述是小编给大家介绍的python3.7简单的爬虫实例详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对我们网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
本文标题: python3.7简单的爬虫实例详解
本文地址: http://www.cppcns.com/jiaoben/python/264892.html
python3爬虫实例-python3.7简单的爬虫实例详解相关推荐
- 对python3中pathlib库的Path类的使用详解
原文连接 https://www.jb51.net/article/148789.htm 1.调用库 ? 1 from pathlib import 2.创建Path对象 ? 1 2 3 4 5 ...
- python3库_对python3中pathlib库的Path类的使用详解
用了很久的os.path,今天发现竟然还有这么好用的库,记录下来以便使用. 1.调用库 from pathlib import 2.创建Path对象 p = Path('D:/python/1.py' ...
- python3.6安装教程-python3.6环境安装+pip环境配置教程图文详解
1.python安装可以跨平台 2.有两个版本2.7和3.6,第三方库适用2.7版,两个版本不兼容 windows安装: 第一种方法官网安装: 在官网下载安装包如图: 图下点击是默认下载32位所以我们 ...
- python详细安装教程环境配置-python3.6环境安装+pip环境配置教程图文详解
1.python安装可以跨平台 2.有两个版本2.7和3.6,第三方库适用2.7版,两个版本不兼容 windows安装: 第一种方法官网安装: 在官网下载安装包如图: 图下点击是默认下载32位所以我们 ...
- Oracle11g安装教程、配置实例、监听、客户端程序详解_Windows篇
Oracle11g安装教程.配置实例.监听.客户端程序详解_Windows篇 文章目录 Oracle11g安装教程.配置实例.监听.客户端程序详解_Windows篇 前言 一.数据库的安装前准备,前提 ...
- linux .pc文件make,简单的驱动makefile详解
简单的驱动makefile详解 一个工程中的源文件不计数,其按类型.功能.模块分别放在若干个目录中,makefile定义了一系列的规则来指定,哪些文件需要先编译,哪些文件需要后编译,哪些文件需要重新编 ...
- linux怎么读其实很简单 微星为你详解Z77主板BIOS设置
近期,微星科技发布了大量的7系主板,它们全部配备厂商最新的军规三代组件技术,并且同时配备了PCI-E3.0,USB3.0还有SATA3.0技术,所以我们可以称呼它们为微星3.0主板.随着微星Z77主板 ...
- java爬虫自动识别验证码_简单Java爬虫(一)爬取手机号码
原创 野狗菌 希望你能喜欢 今天 关于本文: 本文介绍一个简单Java爬虫,获取网页源码,爬取电话号码. 本篇教程用我的博客一个测试网页演示. --野狗菌[希望你能喜欢] 测试页面: https:// ...
- 网络爬虫笔记 :一个简单的爬虫框架
学了两节课的 Python 爬虫,也算是入门了吧.敲了两天的案例代码之后,我突然发现,这些代码虽然功能不同,写法各异,但是终归是有章可循的,整体框架是一致的.所以我自己整理了一个简单的爬虫框架,适合初 ...
- python3.8安装pygame_Python3.8安装Pygame教程步骤详解
注:因为最近想用一下Python做一些简单小游戏的开发作为项目练手之用,而Pygame模块里面提供了大量的有用的方法和属性.今天我们就在之前安装过PyCharm的基础上,安装Pygame,下面是安装的 ...
最新文章
- gitee 拉取其他分支_如何使用 Gitee 快速搭建 ESP-IDF 开发环境(Windows 版)
- 运维中的MySQL数据库管理方式
- leetcode 【 Find Peak Element 】python 实现
- asp.net MVC3 无法打开项目文件“E:\我们的项目\Project\HeatingMIS.Web\HeatingMIS.Web.csproj”。此安装不支持该项目类型。...
- Android应用开发—setResult()的调用时机
- javascript进阶课程--第三章--匿名函数和闭包
- 搞懂Vision Transformer 原理和代码,看这篇技术综述就够了(三)
- 完整计算器java代码_计算器java代码
- 采样定理的证明与推导
- 0/1背包问题 - 如何理解 解空间
- vue结合elementui实现输入框输入关键词显示下拉列表点击列表中关键字页面滚动到关键字所在位置
- 网络安全认证与加密协议算法整合
- 解决APP抓包问题【网络安全】
- 2022最新最全的pytest配置文件pytest.ini
- docker 中文乱码解决
- unique去重函数
- fedora dnf 命令
- web小作业——图书选购列表框
- python语言程序设计课后习题(嵩天老师)
- 云计算机的三层模式阅读题,云计算服务的类型信息系统项目管理师教程第3版真题习题与考点...
热门文章
- ios8 Xcode6 设置Launch Image 启动图片
- SQLServer 2005 数据库定阅复制实现双机热备(主要是sharepoint 内容数据库)
- Silverlight4.0教程之使用CompositeTransform复合变形特效实现倒影
- 网页实时聊天之PHP如何实现websocket
- C#面向对象_抽象类
- Java 递归解决 quot;仅仅能两数相乘的计算器计算x^yquot; 问题
- 我的java开发规范
- 设计模式-2-代理模式
- java017.Set集合
- 夺命雷公狗-----tp中遇到数据乘积的问题的遇见