image.png

前提

安装 python, 版本 3.5 以上

安装 pip (有些 python 安装包里面已经自带了)

然后用 pip 安装 requests，在命令行输入命令：pip install requests

用 pip 安装 requests_cache: pip install requests_cache

初步尝试

好了，我们新建个脚本文件叫 t.py:

import requests

import requests_cache

requests_cache.install_cache('demo_cache') # 为 requests 建立缓存，避免每次执行都去请求一次网页，造成时间浪费

# 把我们的爬虫伪装成浏览器，否则服务器会拒绝你的请求

headers = {

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',

}

response = requests.get("http://www.dy2018.com/html/gndy/dyzz/index.html", headers=headers)

html_doc = response.content.decode('gbk') # 由于此网页是 gb2312 编码的，需要转码成 utf8，但 python 貌似不支持 gb2312，所以用 gbk

print(html_doc)

在命令行运行一次 python t.py，我们就可以看到它输出了网页源码，第一步算是完成了。

提取列表页URL

打开刚才的网页，因为一开始会有广告，所以我们先在任意位置点击一下这个页面，让广告弹出来就可以了。

然后鼠标移向电影标题 --> 右键点击 --> 点击【检查元素】或【Inspect】(如果你的游览器没有这个功能，请下载基于 Chrome 的浏览器，如 360浏览器等)

然后我们会看到这样的界面：

image.png

红箭头所指就是本页所有电影标题都有的类名，待会我们就可以根据这个类名一次性提取出所有电影标题了，见代码：

import requests

import os

import requests_cache

from bs4 import BeautifulSoup

requests_cache.install_cache('demo_cache')

headers = {

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',

}

response = requests.get("http://www.dy2018.com/html/gndy/dyzz/index.html", headers=headers)

html_doc = response.content.decode('gbk')

# print(html_doc)

soup = BeautifulSoup(html_doc, 'lxml')

links = []

for a in soup.select('.ulink'):

href = 'http://www.dy2018.com' + a['href']

title = a.string

links.append(href)

print(href, title)

要想正确运行这段代码，你还得先安装一些 python 库：

pip install lxml

pip install beautifulsoup4

然后再次执行 python t.py 就会看到如下输出：

http://www.dy2018.com/i/98372.html 2017年国产喜剧片《父子雄兵》HD国语中字

http://www.dy2018.com/i/98369.html 2017年国产奇幻片《鲛珠传》HD高清国语中英双字

http://www.dy2018.com/i/98364.html 2017年欧美科幻片《变形金刚5最后的骑士》HD韩版中英双字

......更多的就不列出来了

从列表页进入电影页，并提取下载链接

我们先鼠标点进电影页，然后通过检查元素(上一步有介绍)，得到下载链接的元素选择器，当然这次的有点复杂，不像上一步那么直观，还需要自己推导，具体过程就不说了，直接给出结果：#Zoom table a

这一次在代码中，我们需要通过上一步获得的 links 数组分别进入每个电影页，然后拿到下载链接，部分代码如下：

for link in links:

response = requests.get(link, headers=headers)

html_doc = response.content.decode('gbk')

soup = BeautifulSoup(html_doc, 'lxml')

ftp_element = soup.select('#Zoom table a')[0] ### 注释1

download_link = ftp_element['href']

print(download_link)

time.sleep(random.randint(1, 2)) ### 注释2

注意：

注释1，由于 select() 的结果是一个数组，所以我们需要选择第一个元素

注释2，每次请求一次就让程序睡眠1~2秒，是为了不给对方服务器造成太大压力

再次执行 python t.py 就可以看到我们要的下载链接了：

ftp://d:d@dygodj8.com:12311/[电影天堂www.dy2018.com]父子雄兵HD国语中字.mkv

ftp://d:d@dygodj8.com:12311/[电影天堂www.dy2018.com]鲛珠传HD高清国语中英双字.mkv

ftp://d:d@dygodj8.com:12311/[电影天堂www.dy2018.com]变形金刚5最后的骑士HD韩版中英双字.mkv

ftp://y:y@dygod18.com:15132/[电影天堂www.dy2018.com]加勒比海盗5：死无对证HD高清中英双字.rmvb

......更多的就不贴出来了

当然上面那段代码直接拿去是执行不了的，

完整代码如下：

import requests

import os

import random

import time

import requests_cache

from bs4 import BeautifulSoup

requests_cache.install_cache('demo_cache')

headers = {

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',

}

response = requests.get("http://www.dy2018.com/html/gndy/dyzz/index.html", headers=headers)

html_doc = response.content.decode('gbk')

# print(html_doc)

soup = BeautifulSoup(html_doc, 'lxml')

links = []

for a in soup.select('.ulink'):

href = 'http://www.dy2018.com' + a['href']

title = a.string

links.append(href)

# print(href, title)

for link in links:

response = requests.get(link, headers=headers)

html_doc = response.content.decode('gbk')

soup = BeautifulSoup(html_doc, 'lxml')

ftp_element = soup.select('#Zoom table a')[0]

download_link = ftp_element['href']

print(download_link)

time.sleep(random.randint(1, 2))