python爬虫Day1（requests基本使用）

import time
import requests
# 爬虫三部曲
# 1.发送请求
def get_page(url):response = requests.get(url)return response
# 2.解析数据
import re
def parse_index(html):
#     findall匹配所有
#     re.findall('正则匹配规则','匹配文本','匹配模式')
#     re.S:对全部文本进行搜索匹配detail_urls = re.findall('<div class="items"><a class="imglink" href="(.*?)"',html, re.S )return detail_urls
# for detail_url in detail_urls:
#     print(detail_url)# 解析详情页
def parse_detail(html):movie_url = re.findall('<source src="(.*?)">',html,re.S)# print(movie_url)if movie_url:return  movie_url[0] #只返回视频的详细网址# 3.保存数据
import uuid
# uuid.uuid4() 根据时间
def save_video(content):with open('{}.mp4'.format(uuid.uuid4()),'wb') as f:f.write(content)print('视频下载完毕')
# main + 回车键
if __name__ == '__main__':for line in range(6):url = 'http://www.xiaohuar.com/list-3-{}.html'.format(line)# 发送请求response = get_page(url)# print(response)#返回响应状态码# print(response.status_code)# 返回响应文本#print(response.text)#解析主页页面detail_urls = parse_index(response.text)#循环遍历详情页urlfor detail_url in detail_urls:print(detail_url)# 往每一个详情页发送请求detail_response = get_page(detail_url)#print(response.text)#解析详情页获取视频urlmovie_url = parse_detail(detail_response.text)#判断视频url存在则打印if movie_url:print(movie_url)#往视频url发送请求获取视频二进制流movie_response = get_page(movie_url)#把视频的二进制流传给save_video函数去保存到本地save_video(movie_response.content)

转载于:https://www.cnblogs.com/Auraro997/p/11114973.html

python爬虫Day1（requests基本使用）相关推荐

爬虫day1 requests基本用法和网页基础
爬虫day1 requests基本用法和网页基础 1.requests基本用法 # 1. 认识爬虫 """ 1)爬虫 - 用程序自动获取网页数据(可以让数据采集的过程变得 ...
python爬虫基础-requests库
python爬虫基础-requests库 python爬虫 1.什么是爬虫? 通过编写程序,模拟浏览器上网,然后让其去互联网上抓取数据的过程. 注意:浏览器抓取的数据对应的页面是一个完整的页面. 为什 ...
关于python爬虫（requests）设置http代理的源码demo
科技不断发展,网络给我们带来了便利,但有时候也会遇到问题,当我们在网络中畅游时,很可能遇到IP受限导致的访问不了这种事情,这个时候我们就需要使用到http代理IP. 那么如何判断自己遇到的是访问受限呢 ...
python怎么安装requests库-Python爬虫入门requests库的安装与使用
Requests库的详细安装过程对于初学Python爬虫小白,认识和使用requests库是第一步,requests库包含了网页爬取的常用方法.下面开始安装requests库. 1.检查是否安装过 ...
【Python爬虫】requests与urllib库的区别
我们在使用python爬虫时,需要模拟发起网络请求,主要用到的库有requests库和python内置的urllib库,一般建议使用requests,它是对urllib的再次封装,它们使用的主要区别: ...
python爬虫之requests模块2
python网络爬虫之requests模块 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取一获取验证码步骤: 1 注册云大码 http://www. ...
python爬虫系列—— requests和BeautifulSoup库的基本用法
本文主要介绍python爬虫的两大利器:requests和BeautifulSoup库的基本用法. 1. 安装requests和BeautifulSoup库可以通过3种方式安装: easy_inst ...
Python爬虫之Requests模块巩固深入案例
爬虫之Requests模块巩固深入案例 requests实战之网页采集器 requests实战之破解百度翻译 requests实战之豆瓣电影爬取 requests实战之肯德基餐厅位置爬取 reques ...
Python爬虫之requests
爬虫之requests 库的基本用法基本请求: requests库提供了http所有的基本请求方式.例如 r = requests.post("http://httpbin.org/pos ...

python爬虫Day1（requests基本使用）

python爬虫Day1（requests基本使用）相关推荐

最新文章

热门文章