基础小白，大佬轻点喷~

一、基础豆瓣爬虫

1、首先在某站上听讲解，简单建立起了对爬虫的基础框架，具体包括五个板块（当然 有些东西看个人 可写成函数 也可以直接写 但重复用到的东西建议写函数）

用到了下面五个库：

from bs4 import BeautifulSoup      ##网页解析，获取数据
import re       ##正则表达式，进行文字匹配
import urllib.request,urllib.error      ##制定URL，获取网页数据
import xlwt     ##进行excel操作
import sqlite3  ##进行SQLite数据库操作

然后在主函数写爬取网页的步骤（在脑海有个框架）

def main():baseurl = "https://movie.douban.com/top250?start="# 1.爬取网页datalist = getData(baseurl)savepath = "豆瓣电影Top250.xls"  ##./和不写就是当前文件夹 .\\就是文件系统dbpath = "movie.db"# 3.保存数据saveData(datalist,savepath)# savaData2DB(datalist,dbpath)#askURL("https://movie.douban.com/top250?start=")

保存路径有两个方式，一个是保存到Excel，另一个是保存到MySql（数据量小可选择前者 量大则选择后者）

2、然后写爬取网页的函数，注意观察豆瓣页面，一共10页，每页25个电影。https://movie.douban.com/top250?start=（具体数字） 0就是第一页 ,以此类推

故可用循环写入列表中

def getData(baseurl):datalist = []for i in range(0,10):    ##调用获取页面信息的函数 10次url = baseurl +str(i*25)html = askURL(url)  ##保存获取到的网页源码

通过BeautifulSoup 解析网页，获取数据

soup = BeautifulSoup(html,"html.parser")for item in soup.find_all('div',class_="item"):  ##查找符合要求的字符串,行程列表#print(item)  ##测试查看电影item 全部信息data = []   ##保存一部电影的所有信息item = str(item)

3、模拟浏览器头部信息，向豆瓣服务器发送消息，用户代理表示告诉豆瓣服务器，我们是什么类型的机器 浏览器（本质上是告诉浏览器，我们可以接受什么水平的文件内容）可以去主函数测试一下askURL,看是否成功模拟浏览器

def askURL(url):head = {  "User-Agent": "Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 94.0.4606.61Safari / 537.36Edg / 94.0.992.31"}request = urllib.request.Request(url,headers=head)html = ""try:response = urllib.request.urlopen(request)html = response.read().decode("utf-8")#print(html)except urllib.error.URLError as e:if hasattr(e,"code"):print(e.code)  ##看错误信息if hasattr(e,"reason"):print(e.reason)   ##看错误信息产生的原因return html

可以去主函数测试一下askURL,看是否成功模拟浏览器

4、保存数据

1）保存到Excel

def saveData(datalist,savepath):book = xlwt.Workbook(encoding="utf-8",style_compression=0)  ##创建workbook对象sheet = book.add_sheet('豆瓣电影Top250',cell_overwrite_ok=True)  #cell_overwrite_ok=True每一个单元往里面输入的时候直接覆盖掉里面的内容col=('电影详情链接','图片链接','影片中文名','影片外国名','评分','评价数','概况','相关信息')for i in range(0,8):sheet.write(0,i,col[i])  ##列名for i in range(0,250):#print("第%d条"%(i+1))data = datalist[i]for j in range(0,8):sheet.write(i+1,j,data[j])  #数据book.save(savepath)  #保存

2）保存到MySql

# def init_db(dbpath):
#     ##autoincrement 是一个关键字，用于表中的字段值自动递增
#     ##text表示文本格式  后面加的就是跟的格式
#     sql = '''
#         create table movie250
#         (
#         id integer primary key autoincrement ,
#         info_link text,
#         pic_link text,
#         cname varchar,
#         ename varchar,
#         score numeric,
#         rated numeric,
#         instroduction text,
#         info text
#         )
#
#
#     ''' #创建数据库
#     conn = sqlite3.connect(dbpath)
#     cursor = conn.cursor()
#     cursor.execute(sql)
#     conn.commit()
#     conn.close()
# def savaData2DB(datalist,dbpath):
#     init_db(dbpath)
#     conn = sqlite3.connect(dbpath)
#     cur = conn.cursor()
#
#     for data in datalist:
#         for index in range(len(data)):
#             if index == 4 or index == 5:
#                 continue
#             data[index] = '"'+data[index]+'"'
#         sql = '''
#                 insert into movie250(
#                 info_link,pic_link,cname,ename,score,rated,instroduction,info)
#                 values(%s)'''%",".join(data)
#         print(sql)
#         cur.execute(sql)
#         conn.commit()
#     cur.close()
#     conn.close()

5、当然最后也别忘记调用主函数

if __name__ =="__main__":  ##当程序执行时
##调用函数main()#init_db("movietest.db")  ##测试movietest.db是否生成print("爬虫完毕！")

6、以上完整操作知识获取到了这个页面，但是并没有说明我想找到什么，所以我们还需要去主函数添加你想得到的东西，运用re库中的compile(findall也是可以的)

##影片详情链接的规则
findlink = re.compile(r'<a href="(.*?)">')  ##re.compile()创建正则表达式对象，表示规则（字符串的模式）
##影片图片的链接
findImgSrc = re.compile(r'<img.*src="(.*?)"',re.S)  ##re.S让换行符包含在字符中
##影片的片名
findTitle= re.compile(r'<span class="title">(.*)</span>')
##影片的评分
findRating= re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#找到评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
#找到概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
#找到影片的相关内容
findBd = re.compile(r'<p class="">(.*?)</p>',re.S)

7、getData中也需要在for循环下去逐一解析数据，最后全部添加到一个列表中

 # 2.逐一解析数据soup = BeautifulSoup(html,"html.parser")for item in soup.find_all('div',class_="item"):  ##查找符合要求的字符串,行程列表#print(item)  ##测试查看电影item 全部信息data = []   ##保存一部电影的所有信息item = str(item)##影片详情的链接link = re.findall(findlink,item)[0]  ##re库用来通过正则表达式查找指定的字符串data.append(link)   ##添加链接imgSrc = re.findall(findImgSrc,item)[0]data.append(imgSrc)  ##添加图片titles = re.findall(findTitle,item)   ##片名可能只有一个中文名，没有外国名if len(titles) == 2:ctitle = titles[0]     ##添加中文名data.append(ctitle)otitle = titles[1].replace("/","")  ##去掉无关的符号data.append(otitle)    ##添加外国名else:data.append(titles[0])data.append(' ')  ##给没有外国名的影片留空，保持对应rating = re.findall(findRating,item)[0]data.append(rating)    ##添加评分judgeNum = re.findall(findJudge,item)[0]data.append(judgeNum)  ##添加评价人数inq = re.findall(findInq,item)if len(inq) != 0:inq = inq[0].replace("。","")   #去掉句号data.append(inq)               ##添加概述else:data.append(" ")   ##留空bd = re.findall(findBd,item)[0]  #找到影片的相关内容bd = re.sub('<br(\s+)?/>(\s+)?'," ",bd)   #去掉<br/>bd = re.sub('/'," ",bd)  #替换/data.append(bd.strip())  ##去掉前后空格datalist.append(data)  ##把处理好的一部电影信息放入datalist#print(datalist)  ##打印全部代码的信息return datalist

二、东方财富网爬取名称与数据

爬取名称，相当于就是在页面表面的东西，直接可以通过re库中的compile找到要爬取的名称

findTitle = re.compile(r'<a href="(.*?)">(.*?)</a>')

其他都可参照一中的豆瓣爬虫写，比一更简单

下图呈现构造模拟浏览器参数

爬取数据比爬取名称复杂一点，最重要的是找到如下展示的这些元素：

params = {'cb': 'jQuery112302973922664351607_1634440511064','lmt': '0','klt': '101','fields1': 'f1,f2,f3,f7','fields2': 'f51,f52,f53,f54,f55,f56,f57,f58,f59,f60,f61,f62,f63,f64,f65','ut': 'b2884a393a59ad64002292a3e90d46a5','secid': '0.000005','_': '1634440511065'}

具体情况需要具体分析，可以去网页页面右击检查里的网络里去找，有很多get?cb=……，要具体去看需要的是什么，再爬。

爬下来后注意看数据的形式，很多数据都是不规整的，需要通过strip(),join()或者split()去调节成可以用的数据，对于东方财富网这种数据量大的，建议直接保存到啊MySql。下图为展示

最后一些小技巧帮友友们避个雷

1、在cmd输入ipconfig/flushdns，重置IP，适用于被禁IP的友友~

2、正则表达式中的(.*)和(.*?)，前者适用于查找全部数据放在一个框下架的，取全部，若用后者取，只能取到全部中的一个参数；后者适用于固定格式但不是直接相连的数据。（具体情况具体分析哦~）

3、用navicat可下载一个phpstdudy,启动一三即可，连接数据库即可用~

4、数据库若报错pymysql.err.InterfaceError: (0, '')，只需要加上一行conn.ping(reconnect=True)，重新连接到数据库即可~

若有错误的地方，尽请大佬指教~  ...>.<...

												


											

基础爬虫记~豆瓣+东方财富网爬虫相关推荐
	

    
								
  1. python中plguba_Python量化交易进阶讲堂-爬虫抓取东方财富网股吧帖子
		
    欢迎大家订阅<Python实战-构建基于股票的量化交易系统>小册子,小册子会陆续推出与小册内容相关的专栏文章,对涉及到的知识点进行更全面的扩展介绍.本篇专栏为小册子内容的加推篇!!! 前言 ...
    
		
    2. 
						
  2. ［网络爬虫｜smtp协议｜python］东方财富网爬虫，python smtp协议发送爬取数据至QQ邮箱
		
    本文改自 ［网络爬虫|smtp协议|python］东方财富网爬虫,python smtp协议发送爬取数据至QQ邮箱 之前写的爬虫单子,代码已经跑了快3个月了,后续又增加了一些需求,修改了一些小bug  ...
    
		
    3. 
						
  3. Python爬虫爬取东方财富网的股票信息
		
    简单的Python爬虫应用 目标:爬取东方财富网的股票信息 1.先找到要爬取的网页 2.第二步开始爬取信息 2.1 通过requests获取网页信息 2.2再通过BeautifulSoup解析: 2. ...
    
		
    4. 
						
  4. python爬虫爬取东方财富网股票走势+一些信息
		
    一.目标 我们的目标是爬取东方财富网(https://www.eastmoney.com/)的股票信息 我的目标是爬取100张股票信息图片 经过实际测试我的爬取范围为000001-000110,000 ...
    
		
    5. 
						
  5. Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储（转）
		
    Python爬虫可以说是好玩又好用了.现想利用Python爬取网页股票数据保存到本地csv数据文件中,同时想把股票数据保存到MySQL数据库中.需求有了,剩下的就是实现了. 在开始之前,保证已经安装好 ...
    
		
    6. 
						
  6. python抓取数据库数据_Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储...
		
    Python爬虫可以说是好玩又好用了.现想利用Python爬取网页股票数据保存到本地csv数据文件中,同时想把股票数据保存到MySQL数据库中.需求有了,剩下的就是实现了. 在开始之前,保证已经安装好 ...
    
		
    7. 
						
  7. python爬虫实现股票数据存储_Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储！...
		
    Python爬虫可以说是好玩又好用了.现想利用Python爬取网页股票数据保存到本地csv数据文件中,同时想把股票数据保存到MySQL数据库中.需求有了,剩下的就是实现了. 在开始之前,保证已经安装好 ...
    
		
    8. 
						
  8. python爬虫爬取股票软件数据_Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储（转载）...
		
    完整代码 实际上,整个事情完成了两个相对独立的过程:1.爬虫获取网页股票数据并保存到本地文件:2.将本地文件数据储存到MySQL数据库.并没有直接的考虑把从网页上抓取到的数据实时(或者通过一个临时文件 ...
    
		
    9. 
						
  9. 用python爬虫爬取东方财富网信息网页信息_爬取东方财富网数据的网页分析
		
    自学Python已有3个月之多,浏览无数大神的佳作,收获颇丰.当初自学python就是为了学习爬虫,爬取网站上好看妹子的图片--[流口水][流口水] 言归正传,近期学习量化交易知识,发现东方财富网(e ...
    
		
    10. 
		


					

最新文章
	

    
						
  1. 使用 utmpdump 监控 CentOS 用户登录历史
		
    2. 
						
  2. 详细解析WSAAsyncSelect模型
		
    3. 
						
  3. android 手势事件 重写,Android实现通过手势控制图片大小缩放的方法
		
    4. 
						
  4. 怀旧服服务器怎么调整显卡性能,用顶级配置玩wow怀旧服是怎样的体验？
		
    5. 
						
  5. 如何在几分钟内安装Red Hat Container Development Kit（CDK）
		
    6. 
						
  6. 石油-美元金融体系的形成
		
    7. 
						
  7. ASP.NET Core 和 Blazor 更新
		
    8. 
						
  8. strtus2 与springmvc
		
    9. 
						
  9. Baxter实战 （二）ubuntu14.04安装Baxter Workstation
		
    10. 
						
  10. loj#6433. 「PKUSC2018」最大前缀和（状压dp）
		
    11. 
						
  11. VMware的CentOS部署环境
		
    12. 
						
  12. java 打印制表符_开发简单的Java应用
		
    13. 
						
  13. 腾讯、阿里、搜狐、人人、去哪儿、迅雷等互联网企业产品笔试题目（附个人答案）
		
    14. 
						
  14. 硬件基础知识笔记（二极管、三极管、MOS管、运放、滤波器、跟随器、整流）
		
    15. 
						
  15. 兰德公司：零日漏洞平均生存期为6.9年
		
    16. 
						
  16. 【人工智能】人脸识别系统【实验报告与全部代码】（QDU）
		
    17. 
						
  17. 学习《论文写作》课程的收获
		
    18. 
						
  18. 怎么在Ubuntu手机上发送短信及拨打电话
		
    19. 
						
  19. css3图片倾斜3D效果
		
    20. 
						
  20. Jeston Xavier NX 语言设置和中文键盘输入
		
    21. 
		

	


热门文章
	

    
									
  1. 有没有便宜的易优cms授权(易优cms授权便宜获取)
			
    2. 
						
  2. C语言 用迭代法求 x=根号a。求平方根的迭代公式为：X(n+1)=(Xn+a/Xn) /2
			
    3. 
						
  3. 前端CryptoJS和Java后端数据互相加解密(AES)
			
    4. 
						
  4. UnRaid开启网卡SR-IOV并直通给虚拟机的方法
			
    5. 
						
  5. RAC的GES/GCS原理
			
    6. 
						
  6. js一维数组，api，二维数组
			
    7. 
						
  7. Java并发编程初级-未使用Java并发包的时候
			
    8. 
						
  8. C语言数据浅谈之实型
			
    9. 
						
  9. 2020年科协第二次硬件培训总结
			
    10. 
						
  10. Django定时任务四种实现方法总结
			
    11.