正则表达式爬取电影天堂

# 1. 定位到2021必看片
# 2. 从2021必看片中提取到子页面的链接地址
# 3. 请求子页面的链接地址. 拿到我们想要的下载地址....
import requests
import redomain = "https://www.dytt89.com/"
requests.packages.urllib3.disable_warnings()#这里是Python3访问HTTPS时移除SSL认证，但移除认证后控制台总是抛出警告，根据提示路径https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings可找到方法一些解决办法，简单的办法可用移除警告：disable_warnings()在请求代码前添加如如上代码即可。
resp = requests.get(domain, verify=False)  # verify=False 去掉安全验证
resp.encoding = 'gb2312'  # 指定字符集
# print(resp.text)# 拿到ul里面的li
obj1 = re.compile(r"2021必看热片.*?<ul>(?P<ul>.*?)</ul>", re.S)
obj2 = re.compile(r"<a href='(?P<href>.*?)'", re.S)
obj3 = re.compile(r'◎片　　名(?P<movie>.*?)<br />.*?<td 'r'style="WORD-WRAP: break-word" bgcolor="#fdfddf"><a href="(?P<download>.*?)">', re.S)result1 = obj1.finditer(resp.text)
child_href_list = []
for it in result1:ul = it.group('ul')# 提取子页面链接:result2 = obj2.finditer(ul)for itt in result2:# 拼接子页面的url地址:  域名 + 子页面地址child_href = domain + itt.group('href').strip("/")child_href_list.append(child_href)  # 把子页面链接保存起来# 提取子页面内容
for href in child_href_list:child_resp = requests.get(href, verify=False)child_resp.encoding = 'gb2312'result3 = obj3.search(child_resp.text)print(result3.group("movie"))print(result3.group("download"))# break  # 测试用

正则表达式爬取电影天堂相关推荐

python爬电影_使用Python多线程爬虫爬取电影天堂资源
最近花些时间学习了一下Python,并写了一个多线程的爬虫程序来获取电影天堂上资源的迅雷下载地址,代码已经上传到GitHub上了,需要的同学可以自行下载.刚开始学习python希望可以获得宝贵的意见. ...
#爬取电影天堂的磁力链接#
#爬取电影天堂的磁力链接百度百科对网络爬虫的定义:网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外 ...
爬取电影天堂最新电影的名称和下载链接
此次的目标是爬取电影天堂最新200页的最新电影的电影名称和下载链接,电影的下载链接在二级页面,所以需要先匹配一级页面的所有链接,然后逐个请求二级页面,代码如下: """爬 ...
python爬电影天堂_python爬虫爬取电影天堂电影
python爬虫爬取电影天堂电影?本项目实现一个简单的爬虫,通过requests和BeautifulSoup爬取电影天堂电影信息,包括片名.年代.产地.类别.语言.海报链接和视频链接等内容.pytho ...
scrapy初步-简单静态爬虫(爬取电影天堂所有电影)
之前用java写过一个简单的爬取电影天堂信息的爬虫,后来发现用python写这种简单的爬虫程序更简单,异步网络框架在不使用多线程和多进程的情况下也能增加爬取的速度,目前刚开始学scrapy,用这个写了 ...
使用 beautifulsoup4 爬取电影天堂IMB 评分8.0以上的欧美电影
一.目的: 个人比较喜欢看欧美电影,最近刚学了爬虫,所以敲了这个程序来爬取电影天堂IMB 评分8.0以上的欧美电影跟大家分享一下. 二.爬取电影天堂需要掌握的基本技能: 1.熟悉python ...
python软件安装链接电视_Python爬取电影天堂指定电视剧或者电影
1.分析搜索请求一位高人曾经说过,想爬取数据,要先分析网站今天我们爬取电影天堂,有好看的美剧我在上面都能找到,算是很全了. 这个网站的广告出奇的多,用过都知道,点一下搜索就会弹出个窗口,伴随着滑稽 ...
python爬取电影天堂新片精品模块电影列表，并用迅雷下载
python版本是3.6.5,上代码: # 爬取电影天堂 from selenium import webdriver import requests from bs4 import Beautifu ...
爬取电影天堂最新电影（xpath结合lxml）
完整代码 import requests from lxml import etree from openpyxl import WorkbookBASEURL='https://www.dytt8. ...

正则表达式爬取电影天堂

正则表达式爬取电影天堂相关推荐

最新文章

热门文章