故宫博物馆爬虫(简略版)

故宫博物馆爬虫

基础代码
后续
总代码

基础代码

import requests,re,time
from lxml import etreeurl = r'https://img.dpm.org.cn/Public/static/CCP/index.html'
base_url = r'https://img.dpm.org.cn/Public/static/CCP/'def getHtml(url):#获取网页源代码header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36'}html = requests.get(url,headers=header)return htmldef get_titleType_href(html):#获取藏品分类链接selector = etree.HTML(html.text)museum_type_href = selector.xpath('//map[@name="Map2"]/area/@href')#获取藏品所有品类#print(museum_type_href)return museum_type_href#这个没用了
def get_collection_details(url):#获取分类列表中的藏品信息rel_url = base_url+url#拼接urlreturn rel_url# print(rel_url)# html_next = getHtml(rel_url)# detail_dict = {}# selector = etree.HTML(html_next.text)#藏品详情信息取不到# ddd = selector.xpath('//div[@class="dbody"]/table[@class="dtabcss"]/tbody/tr/td')# print(len(ddd))# dd = selector.xpath('//tbody[@id="tabBodyLeft"]/tr')# print(len(dd))

get_collection_details这个函数就是提取上图所示的藏品编号，名称，时代等信息的，但是通过xpath定位不到。爬出的源码中显示是类似document.write("…")。

定位不到“//tbody[@id=‘tabBodyLeft’]”,所有后续数据提取，清洗也完不成了。

后续

这个可能属于js运行后才显示到页面上的，不会，不清楚，就瞎搞。

找出来了，点击response,看到它的数据：

“rname”:“任鸣凤花卉册”,“rnum”:“故00005019-2/12”},{“id”:4221760,“rera”:“清”,“rname”:“任鸣凤花卉册”,“rnum”:“故00005019-3/12”},{“id”:4221761,“rera”:“清”,“rname”:“任鸣凤花卉册”,“rnum”:“故00005019-4/12”},{“id”:4221762,“rera”:“清”,“rname”:“任鸣凤花卉册”,“rnum”:“故00005019-5/12”},{“id”:4221763,“rera”:“清”,“rname”:“任鸣凤花卉册”,“rnum”:“故00005019-6/12”},{“id”:4221764,“rera”:“清”,“rname”:“任鸣凤花卉册”,“rnum”:“故00005019-7/12”}]};
这就是其中的部分信息，很像是没有加载到页面上的信息。
那就将它的网址复制，如：https://img.dpm.org.cn/Public/static/CCP/json/huihua/huihua_1.js?_=1585874428526，

显示就是如上图所示，汉字编码格式不对，不能正确显示，但是分析其中的属性，id,rera,rname正好三个属性，对应上了。所有工作就解决了，唯一可能存在的就是字体反爬，必须找到相应文件才能解决，先不管。

分析出来，每个js文件对应页面的六页内容，而链接的其他信息相同，由此得出链接格式模板，可以对链接微调进行多页面爬取了。

总代码

所有分析汇总，加部分实现。

import requests,re,time
from lxml import etreeurl = r'https://img.dpm.org.cn/Public/static/CCP/index.html'
base_url = r'https://img.dpm.org.cn/Public/static/CCP/'def getHtml(url):#获取网页源代码header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36'}html = requests.get(url,headers=header)return htmldef get_titleType_href(html):#获取藏品分类链接selector = etree.HTML(html.text)museum_type_href = selector.xpath('//map[@name="Map2"]/area/@href')#获取藏品所有品类#print(museum_type_href)return museum_type_href#这个没用了
def get_collection_details(url):#获取分类列表中的藏品信息rel_url = base_url+url#拼接urlreturn rel_url# print(rel_url)# html_next = getHtml(rel_url)# detail_dict = {}# selector = etree.HTML(html_next.text)#藏品详情信息取不到# ddd = selector.xpath('//div[@class="dbody"]/table[@class="dtabcss"]/tbody/tr/td')# print(len(ddd))# dd = selector.xpath('//tbody[@id="tabBodyLeft"]/tr')# print(len(dd))if __name__=="__main__":html = getHtml(url)type_list = get_titleType_href(html)collection_urls = []#藏品分类网址列表new_type_list = []#关键字列表for item in type_list:collection_urls.append(get_collection_details(item))key = item.replace('.html','')new_type_list.append(key)js_list = []for i in new_type_list:for j in range(1,11):js_url = base_url+"json/"+i+'/'+i+'_'+str(j)+'.js'#拼接js路径js_url = js_url.replace(' ','')js_list.append(js_url)for i in js_list:try:xi = getHtml(i).textname = re.split('/', i)[-1]name_1 = name.replace('.js','.txt')with open(r"C:\Users\86188\Desktop\故宫博物馆藏品信息\%s"%(name_1),'w') as f:f.write(xi)print("%s写完了！！！"%name_1)time.sleep(3)if '9' in i:time.sleep(10)except:print("这个出错了，继续吧！！！")

因为一个绘画类就500多页，由于某些原因，不好用数据库存，就只能写成txt文件，所以也没爬完。相当于每个分类就爬了60页，很多细节也没用处理。最终得到了一个文件夹。就到此结束啦！！！