python 获取帮助页_Python-爬取页面内容（涉及urllib、requests、UserAgent、Json等）

1. 我们采用Python3.x的urllib，然后你会发现如果爬取简书的链接，直接访问会被403，这个主要是涉及因为我们请求Header里面没有User-Agent字段。此时可以配合三方的fake_useragent来生成'User-Agent'代理字段，添加到请求头里面，伪装是浏览器访问，即可继续爬取；当前你要爬取一些别的反爬虫的网页，可能需要其他规则和策略了....

2. 案例里面还涉及到认证相关的处理，比如urllib.request.HTTPBasicAuthHandler，可以自己跟着敲一下，有个大概的了解，当你真正从事这个的时候，肯定要深入很多东西。最后，我用urllib请求了一下公司的登录接口，顺便练习了下Json处理 dataDic = json.loads(jsonStr)

直接上练习 - 最后请求登录，你替换为自己公司的去做个练习就好！

net_test.py

#!/usr/bin/python3

# -*- coding: UTF-8 -*-

# 文件名：net_test.py

from urllib import request as urlRequest

import requests

from fake_useragent import UserAgent

# 0.可以开始了，从官方入手还是可以滴

# https://docs.python.org/3/library/urllib.request.html#examples

# 1.获取git项目的一个readme吧

try:

# with确保使用过程中不管是否发生异常都会执行必须的’ 清理 ‘操作，并释放资源

with urlRequest.urlopen("https://heyclock.gitee.io/doc/Share/README.md") as jianshu:

while True:

data = jianshu.read(1024)

if not data:

break;

print(len(data))

print(data.decode('utf-8'))

except Exception as err:

print(err)

# 2.获取简书一篇文章页面内容【简书爬取需要一些参数认证，猜想可能有cookie, user-agent之类的吧...】

# 伪装一个代理

ua = UserAgent()

headers = {

'User-Agent': ua.random

}

# 方式一、 requests + fake_useragent - 伪装浏览器

if True:

url = 'https://www.jianshu.com/p/2e190438bd9c'

response = requests.get(url, headers=headers)

print(response.content.decode('utf-8'))

print(response.status_code)

# 方式二、python3.x的urllib+user-agent(从浏览器开发者工具Network/XHR/下找到的user-agent作为浏览器标识)

if False:

url_jianshu = 'https://www.jianshu.com/p/85a3004b5c06'

try:

# with确保使用过程中不管是否发生异常都会执行必须的’ 清理 ‘操作，并释放资源

# python爬虫中带上Cookie，Referer，User-Agent -> https://blog.csdn.net/qq_40187062/article/details/86356955

# python爬虫之伪装User-Agent -> https://www.jianshu.com/p/74bce9140934

headers_fromWeb_devloptool = {

# 'Accept': '*/*',

# 'Accept-Language': 'zh-CN,zh;q=0.9',

# 'Accept-Encoding': 'gzip, deflate, br',

# 'Connection': 'keep-alive',

# 'Cookie': 'BIDUPSID=8640A1C37FE0690CCFD0ADC95CDD0614; PSTM=1573012288; BAIDUID=8640A1C37FE0690C2FF67C0B307E1236:FG=1; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; HMACCOUNT=67BE1EE84C6E8606; H_PS_PSSID=1427_21089_18560_29568_29220_28702; delPer=0; PSINO=7; HMVT=6bcd52f51e9b3dce32bec4a3997715ac|1573106717|',

# 'Referer': 'https://www.jianshu.com/p/2e190438bd9c',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36',

}

req = urlRequest.Request(url_jianshu, None, headers_fromWeb_devloptool)

# req.add_header("xxx", "xxxx") 还可以继续添加header参数

with urlRequest.urlopen(req) as jianshu:

while True:

data = jianshu.read(1024)

if not data:

break;

print(len(data))

print(data.decode('utf-8', 'ignore')) # "ignore"解决 'utf-8' codec can't decode byte..

except Exception as err:

print(err)

# 请求带参数 - 来自官方案例

import urllib.parse

params = urllib.parse.urlencode({'wd': "皮皮虾", 'ie': "UTF-8"}) # 字典提供https://www.baidu.com/s?wd=皮皮虾&ie=UTF-8

# post方法

# params = params.encode('utf-8')

# with urlRequest.urlopen("https://www.baidu.com/s", params) as f:

# print(f.read().decode('utf-8'))

# get方法

urlBds = "http://www.baidu.com/s?%s" % params # 如果用https的话，爬到的是一个重定向的页面

with urlRequest.urlopen(urlBds) as f:

print(f.read().decode('utf-8'))

# other1. 了解一下：认证简单实践HTTP Authentication - 来自官方案例。如果搞这个行业，有天你可能会去研究更深的用法，如何应对反爬虫等等

# Create an OpenerDirector with support for Basic HTTP Authentication...

if False:

urlAuthent = 'http://pythonscraping.com/pages/auth/login.php' # 目前没有搞服务器那头，也不知道哪里有这种url，写法就是这么个写法

author_handler = urlRequest.HTTPBasicAuthHandler()

author_handler.add_password(None, urlAuthent, user='ryan', passwd='password')

opener = urlRequest.build_opener(author_handler)

# ...and install it globally so it can be used with urlopen.

urlRequest.install_opener(opener)

with urlRequest.urlopen(urlAuthent) as f:

print(f.read().decode('utf-8'))

# other2. 请求下公司的登录方法 - 今天基本就差不了，回头就去开始去xPath做分析实践

urlCompany = "https://www.xxxxx.com/" # xxx/xxx/xxxx - 这个具体方法就不公布了

params = urllib.parse.urlencode({"login_name":"151xxxxxxx", "password": "123456"})

urlCompany = urlCompany + "?" + params

print("公司登录方法:" + urlCompany)

with urlRequest.urlopen(urlCompany) as f:

jsonStr = f.read().decode('utf-8')

print(jsonStr)

# other3. 顺便解析下Json

import json

dataDic = json.loads(jsonStr)

print(type(dataDic), dataDic)

print("dataDic['code']: ", dataDic['code'])

print("dataDic['data']: ", dataDic['data'])

print(type(dataDic['data']))

print(dataDic["data"]["display_name"])

print(dataDic["data"]["user_phone"])

说明：里面我分别去爬取了gitee上的readme，爬取了简书的网页，请求了一下百度搜索页面，get/post，手动去网页开发者工具粘贴了一个'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'来添加到Header伪装浏览器访问...同时里面有一些链接参考，可以帮助学习。。。老规矩，别人的是别人的，我们需要有自己的想法和拓展，虽然当前没办法一下子很可以，但是可以慢慢积累 - 共勉！

结果没啥吧：

附录：

# with确保使用过程中不管是否发生异常都会执行必须的’ 清理 ‘操作，并释放资源

# python爬虫之伪装User-Agent -> python爬虫之伪装User-Agent

python 获取帮助页_Python-爬取页面内容（涉及urllib、requests、UserAgent、Json等）相关推荐

python获取游戏数据_Python 爬取 3 万条游戏评分数据，原来程序员最爱玩的游戏竟然是.........
原标题:Python 爬取 3 万条游戏评分数据,原来程序员最爱玩的游戏竟然是...... 作者 |量化小白H 责编 | 胡巍巍本文爬取了豆瓣游戏网站上所有可见的游戏评分数据进行分析,全文包括以下几 ...
python获取天气分析_Python爬取南京市往年天气预报，使用pyecharts进行分析
上一次分享了使用matplotlib对爬取的豆瓣书籍排行榜进行分析,但是发现python本身自带的这个绘图分析库还是有一些局限,绘图不够美观等,在网上搜索了一波,发现现在有很多的支持python的绘图 ...
python获取虎牙弹幕_python爬取虎牙弹幕礼物数据
python爬取虎牙弹幕礼物数据查看官方文档找到弹幕传输的方式生成websocket对应的参数第一步: 第二步: 调通websocket 建立链接获取数据和保持心跳附上完整代码注: 查看 ...
python爬取网页内容requests_[转][实战演练]python3使用requests模块爬取页面内容
本文摘要: 1.安装pip 2.安装requests模块 3.安装beautifulsoup4 4.requests模块浅析 + 发送请求 + 传递URL参数 + 响应内容 + 获取网页编码 + 获取 ...
用python进行多页数据爬取_Python Scrapy如何实现多页数据爬取？
Python Scrapy如何实现多页数据爬取? 发布时间:2020-06-23 11:47:46 来源:亿速云阅读:112 作者:清晨这篇文章将为大家详细讲解有关Python Scrapy如何实 ...
python多页网站目录_python 爬取页面所有的url
原博文 2020-08-07 21:01 − 1.使用request爬取有效的URL # -*- coding: GBK -*- from urllib import request import r ...
python爬取微博评论超100页_python爬取新浪微博评论-Go语言中文社区
简介爬取微博m站评论.由于api限制只能爬取前100页,如果想要更全数据需爬pc端. 工具 python 3.5 requests库 re库步骤 1. 登陆保存cookie 首先,打开m.weib ...
python大规模获取豆瓣影评_python爬取豆瓣电影排行榜(requests)
''' 爬取豆瓣电影排行榜设计思路: 1.先获取电影类型的名字以及特有的编号 2.将编号向ajax发送get请求获取想要的数据 3.将数据存放进excel表格中 ''' 环境部署: 软件安装: 模块 ...
python爬取页面内容由京东提_python制作爬虫爬取京东商品评论教程
本篇文章是python爬虫系列的第三篇,介绍如何抓取京东商城商品评论信息,并对这些评论信息进行分析和可视化.下面是要抓取的商品信息,一款女士文胸.这个商品共有红色,黑色和肤色三种颜色, 70B到90D ...
python微博爬虫分析_python爬取和分析新浪微博（一）：scrapy构建新浪微博榜单、博主及微博信息爬虫...
1. 爬虫项目介绍爬虫首先基于python scrapy 框架,使用了随机用户代理和IP代理等反爬技巧,将爬取到的微博领域数据,各领域榜单博主信息和博主的微博信息分别存入的mysql数据库对应的表格 ...

python 获取帮助页_Python-爬取页面内容（涉及urllib、requests、UserAgent、Json等）

python 获取帮助页_Python-爬取页面内容（涉及urllib、requests、UserAgent、Json等）相关推荐

最新文章

热门文章