Python2.7Mac OS

抓取的是电影天堂里面最新电影的页面。链接地址： http://www.dytt8.net/html/gndy/dyzz/index.html

获取页面的中电影详情页链接

import urllib2

import os

import re

import string

# 电影URL集合

movieUrls = []

# 获取电影列表

def queryMovieList():

url = 'http://www.dytt8.net/html/gndy/dyzz/index.html'

conent = urllib2.urlopen(url)

conent = conent.read()

conent = conent.decode('gb2312','ignore').encode('utf-8','ignore')

pattern = re.compile ('

.*?>

'(.*?)

',re.S)

items = re.findall(pattern,conent)

str = ''.join(items)

pattern = re.compile ('(.*?).*?

(.*?)',re.S)

news = re.findall(pattern, str)

for j in news:

movieUrls.append('http://www.dytt8.net'+j[0])

抓取详情页中的电影数据

def queryMovieInfo(movieUrls):

for index, item in enumerate(movieUrls):

print('电影URL: ' + item)

conent = urllib2.urlopen(item)

conent = conent.read()

conent = conent.decode('gb2312','ignore').encode('utf-8','ignore')

movieName = re.findall(r'

(.*?)

', conent, re.S)

if (len(movieName) > 0):

movieName = movieName[0] + ""

# 截取名称

movieName = movieName[movieName.find("《") + 3:movieName.find("》")]

else:

movieName = ""

print("电影名称: " + movieName.strip())

movieContent = re.findall(r'

(.*?)',conent , re.S)

pattern = re.compile('

(.*?)', re.S)

movieDate = re.findall(pattern,movieContent[0])

if (len(movieDate) > 0):

movieDate = movieDate[0].strip() + ''

else:

movieDate = ""

print("电影发布时间: " + movieDate[-10:])

pattern = re.compile('

(.*?)

movieInfo = re.findall(pattern, movieContent[0])

if (len(movieInfo) > 0):

movieInfo = movieInfo[0]+''

# 删除
标签

movieInfo = movieInfo.replace("
","")

# 根据 ◎ 符号拆分

movieInfo = movieInfo.split('◎')

else:

movieInfo = ""

print("电影基础信息: ")

for item in movieInfo:

print(item)

# 电影海报

pattern = re.compile('', re.S)

movieImg = re.findall(pattern,movieContent[0])

if (len(movieImg) > 0):

movieImg = movieImg[0]

else:

movieImg = ""

print("电影海报: " + movieImg)

pattern = re.compile('

.*?', re.S)

movieDownUrl = re.findall(pattern,movieContent[0])

if (len(movieDownUrl) > 0):

movieDownUrl = movieDownUrl[0]

else:

movieDownUrl = ""

print("电影下载地址：" + movieDownUrl + "")

print("------------------------------------------------\n\n\n")

执行抓取

if __name__=='__main__':

print("开始抓取电影数据");

queryMovieList()

print(len(movieUrls))

queryMovieInfo(movieUrls)

print("结束抓取电影数据")

总结

学好正则表达式很重要,很重要,很重要!!!! Python的语法好有感觉, 对比Java …

python下载电影天堂视频_Python抓取电影天堂电影信息的代码相关推荐

python下载谷歌地图瓦片_python抓取天地图瓦片
[实例简介] 抓取天地图瓦片 [实例截图] [核心代码] # _*_coding:utf-8_*_ from urllib import request import re import urllib ...
python下载图片怎么保存_Python抓取站酷作品图片并保存至本地
思路 1.通过 requests 模块请求网页,获取到网页的源码,其中包含了作品集的 URL 2.通过 BeautifulSoup 提取到作品集的 URL ,返回为列表,使用 for 循环遍历作品集 ...
python大众点评霸王餐_python抓取大众点评商户信息
数据说明: 本次爬取大众点评共8个字段信息,包括: 商户名字, 口味评分, 环境评分,服务评分,人均价格,评论数量,地址,商户星级然后把数据存入excel表格一 .首页部分我们可以看到有很多分类 ...
python爬关键词百度指数_Python 抓取指定关键词的百度指数
百度指数很多时候在我们做项目的时候会很有帮助,从搜索引擎的流量端给到我们一些帮助,比如:家具行业的销量跟"装修","新房","二手房"等关键 ...
python找房源_python抓取链家房源信息(二)
试着用scrapy将之前写的抓取链家网信息的重新写了写然后先是用了第一页的网页作为测试,调试代码,然后发现总是抓取的时候遇见了类似于这样的问题,并且抓取不到信息 2017-03-28 17:52: ...
python批量下载网页文件夹_Python抓取网页批量下载文件方法初探（正则表达式+BeautifulSoup） (转)...
最近两周都在学习Python抓取网页方法,任务是批量下载网站上的文件.对于一个刚刚入门python的人来说,在很多细节上都有需要注意的地方,以下就分享一下我在初学python过程中遇到的问题及解决方法 ...
python保存图片到指定路径_python 抓取页面数据，并保存图片文本到指定目录文件夹...
这个爬虫主要利用scrapy+beautifulsoup完成,其中图片保存碰到了一个大坑,花了一天的时间才解决. 大坑就是:在抓取文章页指定区域所有图片的时候,刚好那块区域的图片所有页面都一样,导致图 ...
python爬去百度音乐_Python抓取百度音乐。
今天挑战下百度音乐抓取,先用Chrome分析下请求的链接. 最关键的就是这个链接 http://play.baidu.com/data/music/songlink 请求这个带上songid就能返回给 ...
python玩王者荣耀皮肤_python 抓取王者荣耀皮肤代码2年了依旧可以抓取高清王者皮肤...
#!/usr/bin/env python #-*- coding: utf-8 -*- """抓取王者荣耀皮肤""" importrequ ...
python操作网页flash视频_Python爬取FLASH播放器中的资料
Python爬取FLASH播放器中的资料. 一.首先了解一下AMF协议:AMF(Action Message Format)是Flash与服务端通信的一种常见的二进制编码模式,其传输效率高,可以在HT ...

python下载电影天堂视频_Python抓取电影天堂电影信息的代码

.*?>

(.*?)

python下载电影天堂视频_Python抓取电影天堂电影信息的代码相关推荐

最新文章

热门文章