学习python进行简单的数据爬取(基于python 3.x)。再进行数据页面解析之后，使用scrapy框架进行爬取数据。没有实现自己预想的效果，着实是自己能力有限，无法灵活使用该框架。就使用自己的办法进行数据爬取。需要用到的模块有 urllib,json,pymysql,datatime,os

首先定义一个类：class MovieSpider(object):

在外部调用类的方法

if __name__ == "__main__":#数据目标地址

DataUrl = "http://piaofang.meituan.com/second-box"

#定义类对象

Spider =MovieSpider()#调用类方法

Spider.DownloadData(DataUrl)

定义下载数据的方法：

defDownloadData(self, url):

self.GetData(url)

打开数据页面，在这里使用urllib模块进行访问打开页面，返回html页面，内容是json格式进行编辑

defOpenPage(self, url):"""打开数据页面"""rep=urllib.request.Request(url)

response=urllib.request.urlopen(rep)#读取页面数据信息

html =response.read()return html

实现获取数据的方法：由于数据目标是以json格式进行保存，需要json模块进行解析获取数据

defGetData(self, url):"""获取数据"""

#将打开的页面数据信息进行解码UTF-8

html = self.OpenPage(url).decode("utf-8")#print(html)

#获取的得数据为json格式，使用json库来进行解析获取所需数据

HtmlJSON =json.loads(html)

DataJSON= HtmlJSON.get("data")

updateInfo= DataJSON.get("updateInfo")

ListJSON= DataJSON.get("list")#print(type(ListJSON))

#print(updateInfo[-9:])

#获取猫眼实时统计的时间-数据展示的时间为：北京时间 12:00:00 改为 年 月 日 时 分 秒

statisTime = datetime.datetime.now().strftime("%Y-%m-%d") + updateInfo[-9:]#print(statisTime)

for ItemList inListJSON:

MovieData=[]

MovieData.append(ItemList["movieName"]) #影片movieName

MovieData.append(ItemList["releaseInfo"]) #上映天数releaseInfo

MovieData.append(ItemList["sumBoxInfo"]) #累计票房sumBoxInfo

MovieData.append(ItemList["boxInfo"]) #综合票房boxInfo

MovieData.append(ItemList["boxRate"]) #票房占比boxRate

MovieData.append(ItemList["showInfo"]) #排片场次showInfo

MovieData.append(ItemList["showRate"]) #排片占比showRate

MovieData.append(ItemList["avgShowView"]) #场均人次avgShowView

MovieData.append(ItemList["avgSeatView"]) #上座率avgSeatView

MovieData.append(statisTime)#print(MovieData)

#self.SaveDataByDB(MovieData)

self.SaveDataByFile(MovieData)

View Code

解析html获取数据之后，使用数据库和文件形式进行保存，使用MYSQL数据保存，需要调用pymysql模块。

defSaveDataByDB(self, MovieData):"""通过MYSQL数据库保存数据"""

#连接数据库

conn = pymysql.connect(database="SpiderDataDB", host = "127.0.0.1", port = 3306, user = "root", passwd = "111111", charset="utf8")#设置游标

cursor =conn.cursor()

strSql= "insert into MaoYanMovieData values (0, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)"

#执行插入语句

cursor.execute(strSql, MovieData)#提交事务

conn.commit()#关闭连接

cursor.close()

conn.close()

View Code

成功执行之后可以在数据库中查看到数据信息

使用txt文件格式进行保存数据，把数据保存在py文件同级目录下，需要用到os模块

defSaveDataByFile(self,MovieData):"""通过文件形式保存数据"""

#获取当前项目的工作目录

DirPath =os.getcwd()#print(DirPath)

#E:\PythonByVSCode

#将数据保存在py文件的同一个目录下

FilePath = DirPath + "\\SpiderProject\\MaoYanMovieSpider\\MovieData.txt"with open(FilePath,'a') as f:

f.write(','.join(MovieData))

f.write("\n")

View Code

执行成功之后，可以在py文件同级目录下找到txt文件

该文件中保存了所需要的数据信息，再写入文件时 使用了逗号进行数据种类区分