python网页请求_python用post请求网页

# -*-coding:utf-8-*-

from bs4 import BeautifulSoup

import requests, time

url = 'https://knewone.com/discover?page='

def get_page(url, data=None): # 获取页面

wb_data = requests.get(url)

soup = BeautifulSoup(wb_data.text, 'html.parser')

imgs = soup.select('a.cover-inner > img')

titles = soup.select('section.content > h4 >a')

links = soup.select('section.content > h4 > a')

# 数据打印

if data is None:

for img, title, link in zip(imgs, titles, links):

data = {

'img': img.get('src'),

'title': title.get('title'),

'link': link.get('href')

}

print data

def get_more_pages(start, end):

for one in range(start, end):

get_page(url + str(one))

time.sleep(2) # 获取链接

get_more_pages(1, 10) # 调用函数

python网页请求_python用post请求网页相关推荐

python解析网页数据_python爬虫——爬取网页数据和解析数据
1.网络爬虫的基本概念网络爬虫(又称网络蜘蛛,机器人),就是模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序. 只要浏览器能够做的事情,原则上,爬虫都能够做到. ...
python selenium 保存网页_python selenium+pywin32 实现网页另存为
对网页进行爬取并另存时,遇到一个问题:selenium中键盘或是鼠标的操作都是以网页内的某个元素为对象,当遇到windows窗体时就无法继续操作,如下图. 我想点击另存为,并输入路径再点击保存按钮.. ...
python token发送请求_python发送requests请求时，使用登录的token值，作为下一个接口的请求头信息...
python发送requests请求时,使用登录的token值,作为下一个接口的请求头信息登录接口代码: 在这里插入图片描述登陆后返回的结果是: 在这里插入图片描述新增渠道接口: 新增渠道接口需 ...
python网页结构分析_Python爬虫基础之网页组成解析
当我们用浏览器访问网站时,每个网页的大不相同,你是否想过它为什么会呈现多种不同的样式呢?就让我们一起了解一下网页的基本组成.结构和节点等内容吧! 网页的组成网页可以分为三大部分--HTML.CSS和 ...
python访问网页被拒_Python Requests.get访问网页403错误
Pycharm 2018.1, Python 3.6, 通过Pycharm的File->Settings->Plugins搜索Requests安装上去. import requests r ...
python http请求_python模拟http请求
#!coding:utf-8 相信这句大家都懂的,不解释 #导入需要的python模块httplib,用来模拟提交http请求,详细的用法可见python帮助手册 importhttplib#导入需要 ...
python怎么做https请求_Python使用https请求的方法
Python使用https请求的方法发布时间:2020-07-17 11:13:34 来源:亿速云阅读:139 作者:清晨这篇文章主要介绍Python使用https请求的方法,文中介绍的非常详细 ...
python带cookies发送post请求_Python: 模拟post请求时的相关问题：cookie，json
需求:模拟客户端进行post请求,除业务参数外,还需带有sign参数在实现该需求时,使用了 requests.request()方法: requests.request('POST',url,dat ...
python点击网页坐标_Python+selenium点击网页上指定坐标
from selenium import webdriver from selenium.webdriver.common.action_chains import ActionChains dr = ...

python网页请求_python用post请求网页

python网页请求_python用post请求网页相关推荐

最新文章

热门文章