python爬虫之爬取微信公众号文章中的图片

实现的功能
需要用到的库
需要对html一些标签有一定的了解
代码设计思想
源代码
提示

实现的功能

输入想要爬取微信公众号文章的链接，爬取成功后会输出文件夹已经创建（代码创建位置在D:\test）

将爬取到的图片放入文件夹中，并且文件夹的名字为该文章的标题：

需要用到的库

获取文章信息需要的库：beautifulsoup4，requests；

需要对html一些标签有一定的了解

可以到w3cschool了解
将微信公众号文章复制链接，然后电脑浏览器打开，按F12开发者工具，或者右键点击查看源，就可以看到网页的源代码。

代码设计思想

1、网页通过request请求获得网页源代码，再通过bs4(beautifulsoup)来对源代码进行提取信息；
文章标题的获取：
2、通过观察微信公众号文章网页源代码，可以发现，文章的标题大部分都是存放在h2标签里面的（大部分，我目前看到的都是h2标签）

那么就可以用bs.select(‘h2’)[0].text来获取文章的标题，用于待会文件夹的命名。
3、又由于文件夹命名有些符号是不合法的，避免文件夹创建报错，那么就用正则将获取的标题进一步筛选，去掉除了中文、数字、英文的其它字或者符号。
文章图片的获取：
4、一般网页中图片的标签都用到img标签和2一样就可以用bs.select(‘img’)获取网页中所有有img标签的代码，但是这样还是太广泛了，需要进一步进行筛选
5、那么查看网页源代码时，可以去找我们想要的图片的源代码是怎么样的这里以山西焦煤汾西矿业|| 孟英强：柳湾矿选煤厂智能化建设探索与实践为例子（但是一般写代码的时候，你需要进行比对，我是有看过几篇后，发现有这个规律才能这么写）（图片有注释），可以发现文章中的图片都是以链接（看链接后面有jpeg）形式插入，并且是放在data-src这里，那么我们就可以再通过这个data-src进一步筛选，即if ‘data-src’ in im.attrs来判断和选出刚刚获取全部img标签中有着data-src的img标签，然后用一个列表将全部图片的链接存放起来。

6、访问列表中所有的图片链接，并且下载下来保存在文件夹中。

源代码

import re
import requests
import os
from bs4 import BeautifulSoup
import urllib
imglist=[]#存放图片链接
title=''
html=input("输入需要获取照片的公众号文章链接：")
resp=requests.get(html)#建立链接
content=resp.text
bs=BeautifulSoup(content,'html.parser')
title=bs.select('h2')[0].text#获取文章标题，每个文章标题基本上放在h2标签中
title=re.findall('[\u4e00-\u9fa5a-zA-Z0-9]+',title,re.S) #只要字符串中的中文，字母，数字，防止出现文件命名不允许的符号
title="".join(title)
for im in bs.select('img'):#每张图片都是放在img整个标签里面if 'data-src' in im.attrs:#我们想要文章里的照片，通过data-src这一个属性来进行进一步筛选imglist.append(im['data-src'])
x = 0
path = 'D:\\test\\'+title
# 将图片保存到D:\\test\\文章名文件夹中，如果没有文章名文件夹则创建
if not os.path.isdir(path):os.makedirs(path)
paths = path+'\\'      #保存在文章名文件的路径下
for imgurl in imglist:urllib.request.urlretrieve(imgurl,'{0}{1}.jpg'.format(paths,x))  #打开imglist中保存的图片网址，并下载图片保存在本地，format格式化字符串x = x + 1
print(title+'照片获取成功，文件夹已创建！')

提示

可能有的文章它的网页结构不一样，获取不到，需要修改源代码，可以照着上面代码设计思想，进行代码修改即可！