Python爬虫：爬去韩国电视剧信息

最近看韩剧想重温一下以前看的韩剧但是就记得剧情到网站上找了太多点的太麻烦，网上问了也回答不了找的几个片名都不对，所以就想写个爬虫爬去某站上所有的韩剧信息，可以方便查找想看的韩剧

爬取具体如下：

# 爬去网站韩国电视剧的信息
# 爬去片面、时间、地区、主演、简介

1、导入模块

import requests
import time
from lxml import etree

2、网站页面爬取

创建类HanJuInfo

class HanJuInfo():def __init__(self, url):self.headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3641.400 QQBrowser/10.4.3284.400'}self.url = url# 首页获取页面链接def Get_Html(self):response = requests.get(url=self.url, headers=self.headers)if response.status_code == 200:html = response.textreturn html# 页面解析出详情页的urldef Paser_Html(self):content = self.Get_Html()selector = etree.HTML(content)items = selector.xpath('//div[@class="s-tab-main"]/ul[@class="list g-clear"]/li[@class="item"]')for item in items:self.info_url = item.xpath('./a/@href')[0]self.info_urls = 'https://www.360kan.com'+self.info_url# 解析详情页信息response = requests.get(url=self.info_urls, headers=self.headers)if response.status_code == 200:selector = etree.HTML(response.text)name = selector.xpath('//div[@class="title-left g-clear"]/h1/text()')[0]time = selector.xpath('//*[@id="js-desc-switch"]/div[1]/p[2]/text()')[0]place = selector.xpath('//*[@id="js-desc-switch"]/div[1]/p[3]/text()')[0]actors = ''.join(selector.xpath('//*[@id="js-desc-switch"]/div[1]/p[6]//a//text()'))detials = selector.xpath('//*[@id="js-desc-switch"]/div[3]/p/text()')[0]yield {'片面': name,'时间': time,'地区': place,'主演': actors,'简介': detials}info = {'片面': name,'时间': time,'地区': place,'主演': actors,'简介': detials}self.save_info(str(info))def save_info(self, content):with open('info.txt', 'a', encoding='utf-8')as f:f.write(content+'\n')

3、主函数调用

开启翻页25爬去近七百部韩国电视剧信息

if __name__ == '__main__':for x in range(1, 26):url = 'https://www.360kan.com/dianshi/list.php?area=12&pageno={}'.format(str(x))han = HanJuInfo(url)time.sleep(1)print('第%s页' % x)for i, x in enumerate(han.Paser_Html()):print(i, x)

4、爬取结果如下：

图片太大简介如下：

Python爬虫：爬去韩国电视剧信息相关推荐

深圳python爬虫培训南山科技园钽电容回收_记一次python 爬虫爬取深圳租房信息的过程及遇到的问题...
为了分析深圳市所有长租.短租公寓的信息,爬取了某租房公寓网站上深圳区域所有在租公寓信息,以下记录了爬取过程以及爬取过程中遇到的问题: 爬取代码: import requests from reques ...
python解决租房问题_记一次python 爬虫爬取深圳租房信息的过程及遇到的问题
为了分析深圳市所有长租.短租公寓的信息,爬取了某租房公寓网站上深圳区域所有在租公寓信息,以下记录了爬取过程以及爬取过程中遇到的问题: 爬取代码: import requests from reques ...
Python爬虫爬取韩国电影售票评分网站电影排行榜Top250
Python爬虫韩国电影售票评分网站电影排行榜Top250 步骤 1.基本的爬取思路是先爬取排行榜中每个电影的详情页URL 2.通过拼接URL获取详情页的具体地址 3.通过分析电影详情页获取电影数 ...
python爬虫爬取豆瓣电影信息城市_Python爬虫入门 | 2 爬取豆瓣电影信息
这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬 ...
python爬虫爬取豆瓣电影信息城市_python爬虫，爬取豆瓣电影信息
hhhhh开心,搞了一整天,查了不少python基础资料,终于完成了第一个最简单的爬虫:爬取了豆瓣top250电影的名字.评分.评分人数以及短评. 代码实现如下:#第一个最简单的爬虫 #爬取了豆瓣to ...
高温来袭？通过python爬虫爬取天气预警信息
需求分析最近一段时间,天气也是越来越热了,真正的进入了夏天了.可怕的故事是,现在才只有6月份呢,要是等到了7,8月份,不会是要更热吧? 一个小伙伴对此也深表赞同,"仙草哥哥,现在天气的温度 ...
Python爬虫-爬取豆瓣出版社信息
爬取豆瓣出版社信息代码如下: # 爬取豆瓣出版社 import urllib.request import reurl = 'https://read.douban.com/provider/all ...
用python爬虫爬取东方财富网信息网页信息_爬取东方财富网数据的网页分析
自学Python已有3个月之多,浏览无数大神的佳作,收获颇丰.当初自学python就是为了学习爬虫,爬取网站上好看妹子的图片--[流口水][流口水] 言归正传,近期学习量化交易知识,发现东方财富网(e ...
简单的python爬虫--爬取Taobao淘女郎信息
最近在学Python的爬虫,顺便就练习了一下爬取淘宝上的淘女郎信息:手法简单,由于淘宝网站本上做了很多的防爬措施,应此效果不太好! 爬虫的入口:https://mm.taobao.com/json/r ...

Python爬虫：爬去韩国电视剧信息

Python爬虫：爬去韩国电视剧信息相关推荐

最新文章

热门文章