前言

根据基本的爬虫知识，爬取快看漫画每日更新模块的漫画名，对应漫画的描述和对应的封面图片。

一、爬虫是什么？

爬虫是通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。

二、使用步骤

1.引入库

代码如下：

import itertools
import requests

2.文件夹准备

在该程序下创建一个同级的image文件夹，用来存放下载的每日更新漫画封面图片。

3.将列表存储为txt格式文件

代码如下：

def listTxt(list, path):file = open(path, 'w', encoding='utf-8')for l in list:l = str(l) # 强制转换if l[-1] != '\n':l = l + '\n'file.write(l)flie.colse()print(f"{path}文件存储成功")

4.爬取每日更新页面具体代码：

代码如下：

# @ClassName 快看
# @Description TODO:(爬取《快看》漫画每日更新模块，每天按时爬取并保存到kkmh.txt文件中,并将爬取的图片保存到image文件夹中)
import itertools
import requests# 将列表存储为txt格式文件
def listTxt(list, path):file = open(path, 'w', encoding="utf-8")for l in list:l = str(l)  # 强制转换if l[-1] != '\n':l = l + '\n'file.write(l)file.close()print(f"{path}文件存储成功")# 图片下载
def download_img(url_info):num = 1# 遍历匹配成功的链接for img in url_info:print(img)response = requests.get(img)image = response.content# 将下载的图片保存到对应的文件夹中with open('./image/%s.jpg' % num, 'wb') as fb:fb.write(image)print("正在下载第%s张图片" % num)num = num + 1print("下载完成！")# 接口
url = 'https://www.kuaikanmanhua.com/v2/pweb/daily/topics?pos=0'
# 常用请求头信息：
#     User-Agent：请求载体的身份标识
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36 Edg/111.0.1661.44"
}# 获取页面的源码
response = requests.get(url=url, headers=headers)
code = response.json()['code']  # 获取状态码
if code == 200:topics = response.json()['data']['topics']# print(type(topics))titles = ["漫画名： " + topic['title'] for topic in topics]descriptions = ["描述： " + topic['description'].replace('\n', ' ') for topic in topics]image = [topic['vertical_image_url'] for topic in topics]download_img(image)# print(titles)# print(descriptions)kkmh = list(itertools.chain.from_iterable(zip(titles, descriptions)))  # list交替合并# print(kkmh)listTxt(kkmh, './kkmh.txt')
else:print("网页访问错误")

5.运行结果

下载成功的图片存入到了image文件夹中，漫画名和相应的描述存入了txt文件中。

注：1、由于是异步请求，所以没有使用BeautifulSoup进行解析。

2、实现每日爬取这个功能，可以用宝塔面板中的“计划任务”功能，设置如下图。

总结

以上就是今天我分享的内容，一个爬取快看漫画每日更新模块的简单教程。和大家一起进步呀！Fighting!!!

Python爬虫，爬取快看漫画每日更新模块相关推荐

Python爬虫-爬取快看漫画网图片并拼接成漫画长图
Python爬虫-爬取快看漫画网图片并拼接成漫画长图 1.爬取图片 2.拼接图片 1.爬取图片 import os import requests from bs4 import BeautifulS ...
python自动爬取快看漫画并发布至头条号(没编程基础也可学会）
一,介绍 1.简介:这是一个可以自动爬取快看漫画上的漫画,下载到本地,并自动发布到今日头条号的编程,无编程基础的人也可学会 2.学习: 1)对于学习python技术的,你可以学习python爬虫技术 ...
Python爬虫爬取网站小漫画
python爬取小漫画最近在google冲浪的时候发现一个很有意思的漫画网站,可以看韩国的小漫画,但是只可以看很少的一部分,后面的需要付费观看,于是就想着怎么才能免费看到这个网站的所有漫画. 于是我 ...
python爬虫——爬取快读小说app
1. 爬取结果(csv文件,出现了有两个表头-不明所以,无关大雅) 2. 使用fiddler4进行抓包通过观察url,我们不难发现其中的规律,要实现进行分类抓取,需要更改url第一个数字,如下 ht ...
python爬虫--爬取9某1看剧网电视剧
文章目录 python爬虫--爬取91看剧网电视剧爬取视频必备知识思路代码合并视频 python爬虫–爬取91看剧网电视剧爬取视频必备知识 https://www.91kanju.com/v ...
Python爬虫---爬取腾讯动漫全站漫画
Python爬虫---爬取腾讯动漫全站漫画操作环境网页分析明确目标提取漫画地址提取漫画章节地址提取漫画图片编写代码导入需要的模块获取漫画地址提取漫画的内容页提取章节名获取漫画源 ...
python爬虫爬取必应每日高清壁纸
python爬虫爬取必应每日高清壁纸一.简介二.使用的环境三.网页分析 1.分析网页每一页url形式以及总页数 2.网页重要信息收集 3.在源码中寻找所需信息的位置四.代码实现五.运行爬虫 ...
python爬虫爬取网页新闻标题-看完保证你会
python爬虫爬取网页新闻标题方法 1.首先使用浏览自带的工具--检查,查找网页新闻标题对应的元素位置,这里查到的新闻标题是在 h3 标签中 2.然后使用编辑器编写python代码 2.1方法一: ...
python爬虫数据分析可以做什么-python爬虫爬取的数据可以做什么
在Python中连接到多播服务器问题,怎么解决你把redirect关闭就可以了.在send时,加上参数allow_redirects=False 通常每个浏览器都会设置redirect的次数.如果re ...

Python爬虫，爬取快看漫画每日更新模块

文章目录

前言

二、使用步骤

1.引入库

2.文件夹准备

3.将列表存储为txt格式文件

4.爬取每日更新页面具体代码：

5.运行结果

Python爬虫，爬取快看漫画每日更新模块相关推荐

最新文章

热门文章