前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

开发工具

  • python 3.6.5
  • pycharm
import requests
import re

相关模块可pip安装

确定网页目标

有个白狐儿脸,佩双刀绣冬春雷,要做那天下第一。湖底有白发老魁爱吃荤。缺门牙老仆背剑匣。山上有个骑青牛的年轻师叔祖,不敢下山。有个骑熊猫扛向日葵不太冷的少女杀手。 这个江湖,高人出行要注重出尘装扮,女侠行走江湖要注意培养人气,宗派要跟庙堂打好关系。 而主角,则潇洒带刀,把江湖捅了一个通透…

模拟浏览器请求网页

  • 获取网页数据
import requests
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
url = 'https://www.ximalaya.com/youshengshu/2684034/p1/'
response = requests.get(url=url, headers=headers)

解析网页数据

  • 获取章节名字、ID
import re
lis = re.findall('<a title="(.*?)" href="(.*?)">', response.text, re.S)[4:-1]
for i in lis:title = i[0]num_id = i[1].split('/')[-1]mp3_url = 'https://www.ximalaya.com/revision/play/v1/audio?id={}&ptype=1'.format(num_id)

保存音频文件

def download(url, title):filename = 'D:\\python\\demo\\喜马拉雅\\FM\\' + title + '.mp3'response = requests.get(url=url, headers=headers)with open(filename, mode='wb') as f:f.write(response.content)

你学会了吗?完整项目代码获取点这

python爬取喜马拉雅FM雪中悍刀行整本有声小说!下次教你们爬付费!相关推荐

  1. Python爬取了《雪中悍刀行》数据,数据可视化分析

    Python爬取了<雪中悍刀行>数据,数据可视化分析 如何查找视频id 项目结构 制作词云图 制作最近评论数条形图与折线图 制作每小时评论条形图与折线图 制作最近评论数饼图 制作每小时评论 ...

  2. 用 Python 爬取了《雪中悍刀行》数据,终于知道它为什么这么火了

    转载来源/志斌的python笔记 绪论 大家好,我是J哥. 本期是对腾讯热播剧--雪中悍刀行的一次爬虫与数据分析,耗时一个小时,总爬取条数1W条评论,很适合新人练手. 爬虫方面:由于腾讯的评论数据是封 ...

  3. 烽火戏诸侯用460万字写出最好的小说江湖,《雪中悍刀行》你服吗

    最近有人问我,还有没有像<雪中悍刀行>那样的小说?这个问题一下把我问住了. <雪中悍刀行>那样的是指什么样的呢?肯定不是说的点击量,不是说的人气,也不是说的盟主数,不是说的玄幻 ...

  4. 为什么这么火?用 Python 爬取并分析了《雪中悍刀行》数据,发现了其中的秘密

    大家好,今天本文我们对腾讯热播剧<雪中悍刀行>的一次爬虫与数据分析,总爬取条数1W条评论并对数据进行可视化分析,喜欢本文记得收藏,点赞.关注.需要进交流群可以文末进来. 干货推荐 Pyth ...

  5. 通过学习Python+request,爬取《雪中悍刀行》小说

    @TOC获取雪中悍刀行的小说章节 1.获取雪中悍刀行的小说网址:https://www.37zw.net/0/761/ 先获取需要爬取小说的网址,然后再在当前页面中解析,它每一章的具体后缀网址信息和章 ...

  6. 爬取《雪中悍刀行》小说txt

    电视剧日更一集看不够,那就爬原著看看 主要使用requests和BeautifulSoup模块 import requests from bs4 import BeautifulSoup 准备工作,解 ...

  7. Python分析《雪中悍刀行》danmu,看看网友们观看时有什么吐槽

    1. 数据说明 这里只是为了学习,利用python爬取它的第1,2和3集danmu评论数据,具体的过程就不细述了,下面我们来细说,处理和分析<雪中悍刀行>的danmu评论. 2. 数据处理 ...

  8. 《雪中悍刀行》到底行不行?我爬了1w条评论来告诉你

    本期是对热播网剧<雪中悍刀行>的一次爬虫与数据分析,总爬取条数1W条评论,很适合新人练手.案例中还特别加入了对评论的情绪文本分析处理,供大家参考. 爬虫方面:由于腾讯的评论数据是封装在js ...

  9. Python可视化分析《雪中悍刀行》,看看它为什么这么火?

    本期是对热播网剧<雪中悍刀行>的一次爬虫与数据分析,总爬取条数1W条评论,很适合新人练手.案例中还特别加入了对评论的情绪文本分析处理,供大家参考. 爬虫方面:由于腾讯的评论数据是封装在js ...

最新文章

  1. sql count用法_SQL常用知识点解析
  2. 085_Document对象
  3. C++演示std :: sort(),std :: reverse()的函数(附完整源码)
  4. 转载:使用sklearn进行数据挖掘
  5. java 参数 string_java(String和StringBuffer分别作为参数传递)
  6. WebSocket介绍
  7. 开放计算架构:蚂蚁金服是如何用一套架构容纳所有计算的?
  8. 解决win10使用GPU跑程序遇到的一系列报错
  9. Linux内核同步方法(一)
  10. HashMap底层实现(源码分析)
  11. 在记录异常日志的时候包含源代码文件名和行号等信息
  12. 使用 spire.xls 免费版 excel 转换成 pdf
  13. php如何显示默认图片,图片不存在就显示默认图片
  14. 苹果开发者中心密保问题忘了。
  15. GPS定位基本原理浅析
  16. 江南大学 超级计算机,2012年暑期学校22-过程之旅--江南大学 李婷
  17. 耳朵后神经疼是怎么回事,耳朵引起的神经疼痛
  18. 阿里云漏洞敏捷管理自动化报告
  19. github大文件上传:使用LFS (以及如何将lfs从仓库中移除!)
  20. 三国论(11-15章)

热门文章

  1. *args 和 **kwargs的用法
  2. 强大!不懂html也来学网抓(xmlhttp/winhttp+fiddler)
  3. easyExcel动态复杂表头导出
  4. web3js脚本编写
  5. IIS,URL重写和重定向
  6. 详解jar包的启动命令
  7. 《Linux运维实战:Nginx服务报错unknown directive stream》
  8. suse linux添加用户,手动为linux系统添加新用户——过程详解
  9. 把两个C++项目编译成wasm
  10. 【矩阵论】矩阵的相似标准型(5)