Python 爬虫实战，模拟登陆爬取数据

从0记录爬取某网站上的资源连接：

模拟登陆
爬取数据
保存到本地

结果演示：

源网站展示：

爬到的本地文件展示：

环境准备：

python环境安装

略

安装requests库

使用以下命令安装requests库

#（如果使用的是anaconda 下虚拟环境里的python   请在虚拟环境里执行下边命令）
pip install requests

安装bs4库

使用以下命令安装requests库

#（如果使用的是anaconda 下虚拟环境里的python   请在虚拟环境里执行下边命令）
pip install bs4

小试牛刀

环境准备好之后，可以写一个简单的Demo来测试一下
以CSDN下手

import requests
from bs4 import BeautifulSoupdef get_html(url):sesson = requests.Session()start_html = sesson.get(url)  #使用requests来发送请求soup = BeautifulSoup(start_html.text, 'lxml')  #使用BS4框架来解析网页源码print(soup)if __name__=='__main__':url = 'https://www.csdn.net/'get_html(url)

正常输出网页代码：略

模拟登陆：

一般上边的代码获取网页源码之后就可以爬去自己想要的内容了，但是某些网站需要登陆之后才能获取想要爬去的内容。Python模拟登陆网站的方式有很多种，这里只介绍一种简单的使用网站cookie的方法：

首先，在浏览器端登录账号，用然后用网页工具获取登陆之后的cookie，以Chrome浏览器为例：在登陆界面按F2，点击Network，然后输入账号密码进行登陆

登陆之后，在name那一列找到含有cookies信息的文件点进去，然后在右边的Header里找到cookies和user-agent信息并保存下来。user-agent信息就是浏览器的信息，等会在写爬虫的时候要伪装成自己的浏览器，不然某些网站会有反爬虫机制，程序获取不了网页信息会报HTTP Error 403: Forbidden错误

在python中设置请求的头部，将爬虫伪装成浏览器，同时把cookies信息一起放到headers中。（小技巧：在pycharm中可以先敲一对引号，然后将cookies信息粘贴到引号中，这样可以省去调格式的时间；网站不需要登陆的把user-agent信息写到headers即可，避免发生HTTP Error 403: Forbidden错误）
提示：实际上可以只用其中的某一段就可以实现登陆，我对cookies不太熟悉，所以选择了全部复制了过来，但是在使用的时候，有时候会不好使，我也不太清楚是为什么，在仔细观察cookies的内容是，发现有些参数对应多个值，把多余的删除之后就好使了

def get_html(url):headers = {'Cookie': 'only=a61236e8-cff4-40d7-98e5-cab9e6874859; .5118.referer={"TParam":"","QuestionParam":"","Referer":""}; .AspNet.ApplicationCookie=Rslw2TBMXcBLcyi9DG6RJQDgWLCZ7973g8KxyqK3seRjXMbQz8m1czehB75WXRWYSHzWwtUe_6QaRZ9tBp8h_asbnq2ctRnfUSl-L09fUOD6OCCEqo3kYLcj_-HiuaBT5mazCGMGG2gcpge2mBZGsAzbGIv57rAkfY0EQvYdX43VlPY4_DAPX-kNpA9y4ald3OeOINjyvzOMulX9LrUv726BHoup7Ql7Oyt03sMDS3RZGXEEBhiScoJDArVv-fiHfYB2wiA22q8gpLn-6MAZKpIYAl-XrdZdtcUdyHWFqKinU9TL46ZRNBWcbYoBrHjD4_VbNZ-5-SeoWTdw0QIIkLM-TJLn5UtGkhl5Sz63MRe1yuBuVokyjeaBwoFRFwG3soHsDjXHxXZ2VirvQK9TjBjvJwHhs5GR4-ODtJ_ZusN2c_BH4iFCQA2odzpejpA-IgoXeM5d4oO-eHekevGMvRfGEhd6rwjkiDITiSg9H38CVi-9J9g3IJlaYDDQzyTr8L9geewV8UOWUvPSWIr6yKQFEQ2qYJBuZw80xyohb54; ASP.NET_SessionId=n3yasgl3mumdnqkgypbanuxb; _5118_yx=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJ1Z3VpZCI6IjcyYjg0MGRkLWNjZmYtNGM1Ni1iOTkzLTZhNGNkYTg4ZjdjNiIsInVpZCI6OTkzMzY3LCJhdWQiOiJ3d3cuNTExOC5jb20iLCJpc3MiOiJ3d3cuNTExOC5jb20ifQ.diqxAy0k5GOmXjoVVQ9eFH-Hm6iKy97HfhIALa7dllM; Hm_lvt_f3b3086e3d9a7a0a65c711de523251a6=1606052087; Hm_lpvt_f3b3086e3d9a7a0a65c711de523251a6=1606130500','User-Agent': 'Mozilla/5.0(Linux;Android6.0;Nexus5Build/MRA58N) AppleWebKit/537.36(KHTML, likeGecko) Chrome/87.0.4280.66MobileSafari/537.36'}  ###设置请求的头部，伪装成浏览器sesson = requests.Session()start_html = sesson.get(url,headers=headers)  #使用requests来发送请求soup = BeautifulSoup(start_html.text, 'lxml')  #使用BS4框架来解析网页源码return soup

爬取数据：

数据定位

在浏览器上按F2，点击开发者界面左上角的箭头，然后去页面上点击自己想要的数据，就会精确定位到页面元素在代码中的位置：

可以看到，想要的电影信息在两个a标签中，我们的目的是为了循环的获取页面所有的电影网站的信息，而每个电影信息都在dd标签中，所以应该找到其唯一的父标签，我们用class属性来判断其是否唯一。dd的父标签为dl，dl的class为dl-rank不唯一，所以继续向上找其父标签div，class为Fn-ui-list list，我们使用ctrl+f寻找Fn-ui-list list，发现标签唯一，所以我们要在这个div中循环获取电影的信息

获取唯一的标签，可以使用find，

# attrs 中是限制标签唯一的属性
div =  soup.find(name ='div', attrs={"class":"Fn-ui-list list"})

div中有多个dl，获取dl，必须使用find_all

# 获取的dl是一个 包含所有dl标签的列表
dl=  div.find_all('dl')

当找到目标标签的时候电影网址的时候可以使用 .string 来获取标签的内容，使用 .get()来获取标签内部的属性的值：

# 获取a标签的内容  爱奇艺
movie_name =  a.string
# 获取a标签的href的值   XXXXXXX
movie_url = a.get('href')

有上边的方式之后，我们就可以使用循环来获取更多的信息了

def get_info(url):soup = get_html(url)movie_url = []movie_name = []div = soup.find(name='div', attrs={"class": "Fn-ui-list list"})l = 0  # 跳过第一个dl标签for i in div.find_all('dl'):l += 1if l == 1:continue# 获取dd标签dd = i.find(name='dd', attrs={"class": "col2-5 keyword"})# 获取span标签span = dd.find('span')# 获取所有a标签a = span.find_all('a')# 获取有电影网址的a标签link = span.find(name='a', attrs={"class": "url"})# 获取电影站的名字name = a[0].string# 从网页上获取的name中可能有特殊字符   在保存的时候会出错，  把特殊字符删除即可name = name.replace(u'\xa0', u'')name = name.replace(u'\u2006', u'')name = name.replace(u'\ue74b', u'')name = name.replace(u'\u200d', u'')# 保存到列表中movie_name.append(name)movie_url.append(link.string)return movie_url, movie_name

循环结束之后就获取了该页面所有的电影网站信息

保存到本地

def save(movie_name, movie_url):#将电影站名和网址打包为一个列表movies = list(zip(movie_name,movie_url))#打开一个csv文件  没有的话自动创建   存在的话往里头追加数据f = open('E:/movies.csv', 'a+', encoding='GBK', newline='')# 2. 基于文件对象构建 csv写入对象csv_writer = csv.writer(f)# 3. 构建列表头csv_writer.writerow(["电影名", "地址"])# 4. 写入csv文件内容for row in movies:print(row)csv_writer.writerow(row)# 5. 关闭文件f.close()print("has saved!")

完整的代码

import requests
import csv
from bs4 import BeautifulSoupdef get_html(url):headers = {'Cookie': 'only=a61236e8-cff4-40d7-98e5-cab9e6874859; .5118.referer={"TParam":"","QuestionParam":"","Referer":""}; .AspNet.ApplicationCookie=Rslw2TBMXcBLcyi9DG6RJQDgWLCZ7973g8KxyqK3seRjXMbQz8m1czehB75WXRWYSHzWwtUe_6QaRZ9tBp8h_asbnq2ctRnfUSl-L09fUOD6OCCEqo3kYLcj_-HiuaBT5mazCGMGG2gcpge2mBZGsAzbGIv57rAkfY0EQvYdX43VlPY4_DAPX-kNpA9y4ald3OeOINjyvzOMulX9LrUv726BHoup7Ql7Oyt03sMDS3RZGXEEBhiScoJDArVv-fiHfYB2wiA22q8gpLn-6MAZKpIYAl-XrdZdtcUdyHWFqKinU9TL46ZRNBWcbYoBrHjD4_VbNZ-5-SeoWTdw0QIIkLM-TJLn5UtGkhl5Sz63MRe1yuBuVokyjeaBwoFRFwG3soHsDjXHxXZ2VirvQK9TjBjvJwHhs5GR4-ODtJ_ZusN2c_BH4iFCQA2odzpejpA-IgoXeM5d4oO-eHekevGMvRfGEhd6rwjkiDITiSg9H38CVi-9J9g3IJlaYDDQzyTr8L9geewV8UOWUvPSWIr6yKQFEQ2qYJBuZw80xyohb54; ASP.NET_SessionId=n3yasgl3mumdnqkgypbanuxb; _5118_yx=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJ1Z3VpZCI6IjcyYjg0MGRkLWNjZmYtNGM1Ni1iOTkzLTZhNGNkYTg4ZjdjNiIsInVpZCI6OTkzMzY3LCJhdWQiOiJ3d3cuNTExOC5jb20iLCJpc3MiOiJ3d3cuNTExOC5jb20ifQ.diqxAy0k5GOmXjoVVQ9eFH-Hm6iKy97HfhIALa7dllM; Hm_lvt_f3b3086e3d9a7a0a65c711de523251a6=1606052087; Hm_lpvt_f3b3086e3d9a7a0a65c711de523251a6=1606130500','User-Agent': 'Mozilla/5.0(Linux;Android6.0;Nexus5Build/MRA58N) AppleWebKit/537.36(KHTML, likeGecko) Chrome/87.0.4280.66MobileSafari/537.36'}  ###设置请求的头部，伪装成浏览器sesson = requests.Session()start_html = sesson.get(url,headers=headers)  #使用requests来发送请求soup = BeautifulSoup(start_html.text, 'lxml')  #使用BS4框架来解析网页源码return soupdef get_info(url):soup = get_html(url)movie_url = []movie_name = []div = soup.find(name='div', attrs={"class": "Fn-ui-list list"})l = 0  # 跳过第一个dl标签for i in div.find_all('dl'):l += 1if l == 1:continue# 获取dd标签dd = i.find(name='dd', attrs={"class": "col2-5 keyword"})# 获取span标签span = dd.find('span')# 获取所有a标签a = span.find_all('a')# 获取有电影网址的a标签link = span.find(name='a', attrs={"class": "url"})# 获取电影站的名字name = a[0].string# 从网页上获取的name中可能有特殊字符   在保存的时候会出错，  把特殊字符删除即可name = name.replace(u'\xa0', u'')name = name.replace(u'\u2006', u'')name = name.replace(u'\ue74b', u'')name = name.replace(u'\u200d', u'')# 保存到列表中movie_name.append(name)movie_url.append(link.string)return movie_name, movie_urldef save(movie_name, movie_url):#将电影站名和网址打包为一个列表movies = list(zip(movie_name,movie_url))#打开一个csv文件  没有的话自动创建   存在的话往里头追加数据f = open('E:/movies.csv', 'a+', encoding='GBK', newline='')# 2. 基于文件对象构建 csv写入对象csv_writer = csv.writer(f)# 3. 构建列表头csv_writer.writerow(["电影名", "地址"])# 4. 写入csv文件内容for row in movies:print(row)csv_writer.writerow(row)# 5. 关闭文件f.close()print("has saved!")if __name__=='__main__':url = 'xxxxxxxx'movie_name, movie_url = get_info(url)save(movie_name, movie_url)