【Python成长之路】python 从零学爬虫 -- 没时间看《长安十二时辰》电视剧怎么办？直接爬取所有剧情吧！

【写在前面】

最近大火的《长安十二时辰》真的是好看，算的是良心网剧了。但是由于平时工作时间较长，经常无法准时追剧，并且又因为不想见到元裁那对挨千刀的（作为演员，演技是值得肯定的，角色演绎的让人看的心烦）。因此就写个程序，直接爬取《长安》的剧情呗！

【示例代码】

# coding=utf-8
# @Auther :　鹏哥贼优秀
# @Date : 2019/8/7from bs4 import BeautifulSoup
import requests
import getheader# 获取每一集对应的标题及对应的界面URL关键地址
def get_title():url = "https://www.tvsou.com/storys/0d884ba0dd/"headers = getheader.getheaders()r = requests.get(url, headers=headers)r.encoding = "utf-8"soup = BeautifulSoup(r.text,"lxml")temps = soup.find("ul",class_="m-l14 clearfix episodes-list teleplay-lists").find_all("li")tempurllist = []titlelist = []for temp in temps:tempurl = temp.a.get("href")title = temp.a.get("title")tempurllist.append(tempurl)titlelist.append(title)return tempurllist,titlelist# 下载长安十二时辰的第x集之后所有剧情，默认从第一集开始下载。
def Changan(episode=1):tempurllist_b,titlelist_b = get_title()tempurllist = tempurllist_b[(episode-1):]titlelist = titlelist_b[(episode-1):]baseurl = "https://www.tvsou.com"for i,tempurl in enumerate(tempurllist):print("正在下载第{0}篇".format(str(i+episode)))url = baseurl + tempurlr = requests.get(url, headers=getheader.getheaders())r.encoding = "utf-8"soup = BeautifulSoup(r.text, "lxml")result = soup.find("pre", class_="font-16 color-3 mt-20 pre-content").find_all("p")content = []for temp in result:if temp.string:content.append(temp.string)with open("test.txt", "a") as f:f.write(titlelist[i] + "\n")f.writelines(content)f.write("\n")if __name__ == "__main__":Changan(43)

【知识点】

1、怎么自动获取每一集对应的URL地址？

先查看第一集的爬取内容，发现在响应中有一段各剧集的信息，如下图：

从这段响应消息中可以看到，每一集对应了一个href，然后第一集的URL地址中“https://www.tvsou.com/storys/0d884ba0dd/”刚好有部分URL地址与href一致。然后再验证了下第二集URL，发现的确就是对应的href。因此就得到了如何自动获取各集URL地址的方式。

2、如何爬取每一集的剧情内容呢？

以第一集为例，在响应中可以看到这样一段内容。

在class_="font-16 color-3 mt-20 pre-content"标签内，就有剧情内容。但是由于这段响应中有多个p标签，每个p标签对应一段内容。因此需要要对每个p标签进行text提取。并且由于第一个p标签是<p></p>，因此需要进行非空判断。

【Python成长之路】python 从零学爬虫 -- 没时间看《长安十二时辰》电视剧怎么办？直接爬取所有剧情吧！相关推荐

url 里面等号_【Python成长之路】从零学爬虫给微信公众号阅读量作个弊：刷阅读量...
[写在前面] 小燕同学:鹏哥,我在微信公众号上写的一些美妆博客,都没什么阅读量,老板要求我在这个月底至少让几篇博客阅读量达到10W+,你说我要不要每天自己去刷或者找水军呀? 鹏哥:博客刷阅读量?这不是 ...
python黑客库长安十二时辰更新_【Python成长之路】python 从零学爬虫 -- 没时间看《长安十二时辰》电视剧怎么办？直接爬取所有剧情吧！...
[写在前面] 最近大火的<长安十二时辰>真的是好看,算的是良心网剧了.但是由于平时工作时间较长,经常无法准时追剧,并且又因为不想见到元裁那对挨千刀的(作为演员,演技是值得肯定的,角色演绎的 ...
python槽怎么用_【Python成长之路】从零学GUI -- 多窗口跳转（信号与槽函数用法）...
[写在前面] 自学python,不同于工作上的代码编程,主要是为了好玩或者满足自己的需求.因此,我一直想自己做些APP,未来可以给小朋友做做练习,比如让她学习算术.学习成语接龙之类的.总不能让她看这样 ...
好想学python机器人_【Python成长之路】从零学GUI -- 制作智能聊天机器人
[写在前面] 鹏哥:最近老惹小燕同学不开心,结果都没人陪我聊天了.哎,好无聊呀! 肥宅男:女朋友什么的最无聊了,还没我的图灵机器人好玩. 鹏哥:图灵?好巧,和我部门同名. [效果如下] [实现过程] ...
【Python成长之路】从零学GUI -- 制作智能聊天机器人
[写在前面] 鹏哥:最近老惹小燕同学不开心,结果都没人陪我聊天了.哎,好无聊呀! 肥宅男:女朋友什么的最无聊了,还没我的图灵机器人好玩. 鹏哥:图灵?好巧,和我部门同名. [效果如下] [实现过程] ...
【Python成长之路】从零做网站开发 -- 基于Flask和JQuery，实现表格管理平台
[写在前面] 你要开发网站? 嗯.. 会Flask吗? 什么东西,没听过... 会JQuery吗? 是python的库吗 ? 那你会什么? 我会F12打开网站好吧,那我们来写 ...
python做网站开发_【Python成长之路】从零做网站开发 -- 基于Flask和JQuery，实现表格管理平台...
[写在前面] 你要开发网站? 嗯.. 会Flask吗? 什么东西,没听过... 会JQuery吗? 是python的库吗 ? 那你会什么? 我会F12打开网站好吧,那我们来写 ...
【Python成长之路】从零做网站开发 -- 下拉选择项的实现
上次的搜索功能,有粉丝提到,能不能设置成可选的搜索条件.答案自然是可以的,所以我就又在上上周的基础上添加了下拉选效果展示这里我基于select标签和a标签的两种方式,实现了下拉项的功能. 知识串讲 ...
【Python成长之路】Python爬虫 --requests库爬取网站乱码（\xe4\xb8\xb0\xe5\xa）的解决方法【华为云分享】
[写在前面] 在用requests库对自己的CSDN个人博客(https://blog.csdn.net/yuzipeng)进行爬取时,发现乱码报错(\xe4\xb8\xb0\xe5\xaf\x8c\ ...

【Python成长之路】python 从零学爬虫 -- 没时间看《长安十二时辰》电视剧怎么办？直接爬取所有剧情吧！

【Python成长之路】python 从零学爬虫 -- 没时间看《长安十二时辰》电视剧怎么办？直接爬取所有剧情吧！相关推荐

最新文章

热门文章