电影资源详细信息爬取

获取永久资源网电影分类下每页的URL

from selenium import webdriverdef reseach_list():driver=webdriver.Chrome() #调用chrome浏览器head_url = 'http://www.yongjiuzy1.com/?m=vod-type-id-'middle_url = '-pg-'till_url = '.html'url_list = []href_list = []movie_name = []main_data =[]for i in range(1):for j in range(1):url_list.append(head_url+str(i+1)+middle_url+str(j+1)+till_url)for items in url_list:driver.get(items)for link in driver.find_elements_by_xpath('//*[@id="data_list"]/tr/td[1]/a'):href_list.append(link.get_attribute('href'))movie_name.append(link.get_attribute('text'))main_data.append(href_list)   main_data.append(movie_name)   return main_data
reseach_list()

获取电影名

main_data = reseach_list()
print(main_data[1])
L = []
for items in main_data[1]:L.append(items[0:-10])
print(L)
main_data.append(L)
print(main_data[2])

获取电影播放地址

from selenium import webdriverdriver=webdriver.Chrome() #调用chrome浏览器href_list = main_data[0]movie_list = []
for link in href_list:driver.get(link)for link in driver.find_elements_by_xpath('/html/body/div[4]/div[2]/div/div/ul/li[2]/input'):movie_list.append(link.get_attribute('value'))
#     for url in driver.find_elements_by_xpath('/html/body/div[4]/div[2]/div/div/ul/li/input'):
#     url_list.append(link.get_attribute('textContent'))
# print(url_list)
def move(url_list):list_ = []for url in url_list:list_.append(url[5:])return list_
move(movie_list)

电影资源详细信息爬取相关推荐

用Scrapy对豆瓣top250进行电影详细信息爬取
简述为了练习简单的Pandas操作,我用Scrapy爬取了豆瓣Top250的电影信息.Top250页面展现的电影信息和具体电影页面所呈现的内容有些不同(比如演员信息),所以爬取总共用了两部分代码.此 ...
爬取电影资源之网页爬取篇（python）
不知道大家平常喜不喜欢待在宿舍一个人看电影? 作为一个高龄屌丝,电影对我来说是必不可少的.平常无聊时自己一个人待在宿舍看看电影,看看书. (人闲下来就会胡思乱想,不能让寂寞侵蚀自己的内心) 其实还是喜 ...
python找电影资源_Python爬虫爬取BT之家找电影资源
head.jpg 一.写在前面最近看新闻说圣城家园(SCG)倒了,之前BT天堂倒了,暴风影音也不行了,可以说看个电影越来越费力,国内大厂如企鹅和爱奇艺最近也出现一些幺蛾子,虽然目前版权意识虽然越来越 ...
python爬电影资源_Python爬虫爬取BT之家找电影资源
一.写在前面最近看新闻说圣城家园(SCG)倒了,之前BT天堂倒了,暴风影音也不行了,可以说看个电影越来越费力,国内大厂如企鹅和爱奇艺最近也出现一些幺蛾子,虽然目前版权意识虽然越来越强,但是很多资源在 ...
Python之财富自由——天天基金数据爬取并导入excel（详细信息爬取）
一位泉州小哥近日喜提热搜"一万多买了1314只基金每只10块,买了好几天,第一次花钱花到手抽筋" 投资界有句名言,不要把鸡蛋全部放在一个篮子里,但你见过,有人装鸡蛋的篮子,比鸡蛋还 ...
哔哩哔哩分区视频详细信息爬取（三连、播放量、标签）等
因为上手练习一个自己的数据分析项目,因此需要爬取数据.经历过两个版本的更新后,终于写出了第三版.期间也学会了selenium库的运用,API接口的调用,IP池等. 确定目标因为想要一个量大的数据集, ...
案例-浙江省律师综合管理平台信息爬取
爬取浙江省律师综合管理平台上的律师事务所+律师基本信息,截止2018-08-06依然有效,直接运行即可 library("RCurl") library("XML&quo ...
大数据信息资料采集:影视网站资源数据信息采集爬取
大数据信息资料采集:影视网站资源数据信息采集爬取发展影视作为电影艺术和电视艺术的统称,是现代科学技术与艺术相结合的产物.通过画面.声音.蒙太奇.故事情节等语言来传达与表现. 例如经典影视作品:由 ...
【记录爬虫实战过程】入门学习·详细过程·爬取天气信息并通过pyecharts进行可视化展示1
文章目录前言正文 1.导入对应模块 2.确定爬取的网站 3.得到数据 4.数据处理 5.将所得数据写入CSV 完整代码补充:数据可视化前言入门学习这个部分是跟着b站教学视频做的,记录了所有过 ...

电影资源详细信息爬取

电影资源详细信息爬取相关推荐

最新文章

热门文章