if __name__=="__main__":       #程序执行入口main()

def askURL(url):  #得到指定网页信息的内容 #爬取一个网页的数据# 用户代理，本质上是告诉服务器，我们是以什么样的机器来访问网站，以便接受什么样的水平数据head={"User-Agent":"Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 84.0.4147.89 Safari / 537.36"}request=urllib.request.Request(url,headers=head)         #request对象接受封装的信息，通过urllib携带headers访问信息访问urlresponse=urllib.request.urlopen(request)                  #用于接收返回的网页信息html=response.read().decode("utf-8")                      #通过read方法读取response对象里的网页信息，使用“utf-8”return  html                                             #返回捕获的网页内容，此时还是未处理过的

findlink=r'<a class="" href="(.*?)"'
findname=r'<span class="title">(.*?)</span>'

def saveData(dataList,savepath):                            #保存捕获的内容到excel里，datalist是捕获的数据列表，savepath是保存路径book=xlwt.Workbook(encoding="utf-8",style_compression=0)#初始化book对象，这里首先要导入xlwt的包sheet=book.add_sheet("test",cell_overwrite_ok=True)     #创建工作表col=["电影详情链接","电影名称"]                           #列名for i in range(0,2):sheet.write(0,i,col[i])                             #将列名逐一写入到excelfor i in range(0,250):data=dataList[i]                                    #依次将datalist里的数据获取for j in range(0,2):sheet.write(i+1,j,data[j])                      #将data里面的数据逐一写入book.save(savepath)          

def saveDataDb(dataList,dbpath):initDb(dbpath)                                          #用一个函数初始化数据库conn=sqlite3.connect(dbpath)                            #初始化数据库cur=conn.cursor()                                       #获取游标for data in dataList:                                   for index in range(len(data)):  data[index]='"'+data[index]+'" '                #将每条数据都加上""#每条数据之间用，隔开，定义sql语句的格式sql='''insert into test(link,name) values (%s)         '''%','.join (data)cur.execute(sql)                                    #执行sql语句conn.commit()                                       #提交数据库操作conn.close()print("爬取存入数据库成功！")

def initDb(dbpath):conn=sqlite3.connect(dbpath)cur=conn.cursor()sql='''create table test(id integer primary key  autoincrement,link text,name varchar )'''cur.execute(sql)conn.commit()cur.close()conn.close()

def main():dbpath="testSpider.db"                             #用于指定数据库存储路径savepath="testSpider.xls"                          #用于指定excel存储路径baseURL="https://movie.douban.com/top250?start="   #爬取的网页初始链接dataList=getData(baseURL)saveData(dataList,savepath)saveDataDb(dataList,dbpath)