Python爬取药监局化妆品管理信息发现的问题

Python爬取药监局化妆品管理信息

**1.json格式本质上是字符串！！！
今天在爬取国家药监局化妆品管理信息的时候，发现"json数据本质上是字符串",以前我还以为json本身就是一种数据类型。。。
具体发现情况如下：

import requests
url=“http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList”
headers={
“user-agent”:“Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38”
}
for i in range(1,21):
data={
“on”: “true”,
“page”: i,
“pageSize”: 15,
“productName”:"",
“conditionType”: 1,
“applyname”:"",
“applysn”:""
}
response=requests.post(url=url,headers=headers,data=data)
content=response.content.decode(“utf-8”)
print(content)
print(content[“list”])

输出结果：

TypeError: string indices must be integers

然后上网查找资料，Python json模块常用方法这篇文章中，发现json本质上是字符串
，然后调用json模块的loads方法，最终成功调用出list，找出我所需要的id。
代码如下：

import requests
import json
url="http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList"
headers={"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38"
}
for i in range(1,21):data={"on": "true","page": i,"pageSize": 15,"productName":"","conditionType": 1,"applyname":"","applysn":""}response=requests.post(url=url,headers=headers,data=data)content=response.content.decode("utf-8")# print(content)# print(content["list"])json_content=json.loads(content)print(json_content["list"][0])
print("爬取结束。。。")

输出结果：

{'ID': 'f3bc3d0378f3480ead53af1f6cf1b39c', 'EPS_NAME': '宁波美祥医疗科技有限公司', 'PRODUCT_SN': '浙妆20210046', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 30, 'day': 4, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1632931200000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-09-29', 'QF_MANAGER_NAME': '浙江省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '91330226MA2J5G412A', 'XC_DATE': '2021-09-30', 'NUM_': 1}
{'ID': '18e175c20ee24df2901baf0c059e7a15', 'EPS_NAME': '江苏欧亚立日化有限公司', 'PRODUCT_SN': '苏妆20160090', 'CITY_CODE': '86', 'XK_COMPLETE_DATE': {'date': 29, 'day': 3, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1632844800000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-09-28', 'QF_MANAGER_NAME': '江苏省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '91321002564337856X', 'XC_DATE': '2021-09-29', 'NUM_': 16}
{'ID': '46af9af06e7644a483537a099c9666ea', 'EPS_NAME': '福建双飞日化有限公司', 'PRODUCT_SN': '闽妆20160024', 'CITY_CODE': '140', 'XK_COMPLETE_DATE': {'date': 28, 'day': 2, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1632758400000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-09-27', 'QF_MANAGER_NAME': '福建省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '91350603156605081G', 'XC_DATE': '2021-09-28', 'NUM_': 31}
{'ID': '4a235bfaed9a459ca973700e5812e884', 'EPS_NAME': '澳亚生物医药科技（广州）有限公司', 'PRODUCT_SN': '粤妆20210222', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 27, 'day': 1, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1632672000000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-08-12', 'QF_MANAGER_NAME': '广东省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '91440101MA9UWP9785', 'XC_DATE': '2021-09-27', 'NUM_': 46}
{'ID': 'cf961eeceb544494aa8a4b59fb716225', 'EPS_NAME': '广州尚慧化妆品有限公司', 'PRODUCT_SN': '粤妆20161523', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 27, 'day': 1, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1632672000000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-09-26', 'QF_MANAGER_NAME': '广东省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '914401116681263241', 'XC_DATE': '2021-09-27', 'NUM_': 61}
{'ID': '27a83345deea447bbb4be503b685b57d', 'EPS_NAME': '汕头市新金宝化妆品有限公司', 'PRODUCT_SN': '粤妆20161382', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 26, 'day': 0, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1632585600000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-09-25', 'QF_MANAGER_NAME': '广东省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '9144051470797559XX', 'XC_DATE': '2021-09-26', 'NUM_': 76}
{'ID': '38ae87a2a72b474db57695dc53486300', 'EPS_NAME': '上海沪汇日用化学品有限公司', 'PRODUCT_SN': '沪妆20160042', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 24, 'day': 5, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1632412800000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2021-11-01', 'QF_MANAGER_NAME': '上海市药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '913101151339638635', 'XC_DATE': '2021-09-24', 'NUM_': 91}
{'ID': '86ef648c155e400ebaee666c41ac6660', 'EPS_NAME': '深圳市诗黛美化妆品有限公司', 'PRODUCT_SN': '粤妆20160496', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 23, 'day': 4, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1632326400000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-03-30', 'QF_MANAGER_NAME': '广东省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '91440300781382872K', 'XC_DATE': '2021-09-23', 'NUM_': 106}
{'ID': 'e25dc5ef72664b29b9bd1a0a20ce68d3', 'EPS_NAME': '中山市澳辉日用品有限公司', 'PRODUCT_SN': '粤妆20161565', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 22, 'day': 3, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1632240000000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-09-21', 'QF_MANAGER_NAME': '广东省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '91442000324886397L', 'XC_DATE': '2021-09-22', 'NUM_': 121}
{'ID': 'bc5093b1c5e84aedb00bf04554e65e53', 'EPS_NAME': '广州妆皇化妆品有限公司', 'PRODUCT_SN': '粤妆20161787', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 18, 'day': 6, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1631894400000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-09-17', 'QF_MANAGER_NAME': '广东省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '914401115622555909', 'XC_DATE': '2021-09-18', 'NUM_': 136}
{'ID': 'a3659ec4eb084c8ca50246499c997ba9', 'EPS_NAME': '天津柯的日化用品厂', 'PRODUCT_SN': '津妆20160015', 'CITY_CODE': '414', 'XK_COMPLETE_DATE': {'date': 18, 'day': 6, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1631894400000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-09-17', 'QF_MANAGER_NAME': '天津市药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '911201137736177230', 'XC_DATE': '2021-09-18', 'NUM_': 151}
{'ID': 'fdf60525ea264f2b8b7eee23badfdad6', 'EPS_NAME': '佛山市芳姿韵化妆品有限公司', 'PRODUCT_SN': '粤妆20210276', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 16, 'day': 4, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1631721600000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-09-15', 'QF_MANAGER_NAME': '广东省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '91440605MA56HUNF5A', 'XC_DATE': '2021-09-16', 'NUM_': 166}
{'ID': '7c6b67da8fc84406bfffb49f56267615', 'EPS_NAME': '浙江晋尚生物科技有限公司', 'PRODUCT_SN': '浙妆20210042', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 15, 'day': 3, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1631635200000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-09-14', 'QF_MANAGER_NAME': '浙江省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '91330782MA2M4EWN2N', 'XC_DATE': '2021-09-15', 'NUM_': 181}
{'ID': 'afdf6915ee894cbab2ab059cf223aab2', 'EPS_NAME': '青岛安芙兰芳香制品有限公司', 'PRODUCT_SN': '鲁妆20160026', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 15, 'day': 3, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1631635200000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2021-09-17', 'QF_MANAGER_NAME': '山东省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '91370214718002937M', 'XC_DATE': '2021-09-15', 'NUM_': 196}
{'ID': 'f7b2fae6bb7a4e2cb38a29a41cb0bc1f', 'EPS_NAME': '广州正鑫源化妆品有限公司', 'PRODUCT_SN': '粤妆20161388', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 14, 'day': 2, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1631548800000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-09-13', 'QF_MANAGER_NAME': '广东省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '914401116935546892', 'XC_DATE': '2021-09-14', 'NUM_': 211}
{'ID': '464b268a786544d69ab125d0d67b51f3', 'EPS_NAME': '广州市一言化妆品有限公司', 'PRODUCT_SN': '粤妆20170091', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 13, 'day': 1, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1631462400000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-09-12', 'QF_MANAGER_NAME': '广东省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '914401113210224117', 'XC_DATE': '2021-09-13', 'NUM_': 226}
{'ID': '9692425d9cff44f18e9d829016eb81fb', 'EPS_NAME': '美尔健（深圳）生物科技有限公司', 'PRODUCT_SN': '粤妆20200105', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 10, 'day': 5, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1631203200000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2025-06-30', 'QF_MANAGER_NAME': '广东省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '91440300MA5F94YB62', 'XC_DATE': '2021-09-10', 'NUM_': 241}
{'ID': 'ed59f3f277174532a0527bcc945acf6b', 'EPS_NAME': '广州市茗凯化妆品有限公司', 'PRODUCT_SN': '粤妆20161300', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 10, 'day': 5, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1631203200000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-09-09', 'QF_MANAGER_NAME': '广东省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '91440111691544276W', 'XC_DATE': '2021-09-10', 'NUM_': 256}
{'ID': 'd057db9b9980487fb441236ba42d94e6', 'EPS_NAME': '广州美富健康科技有限公司', 'PRODUCT_SN': '粤妆20210065', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 9, 'day': 4, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1631116800000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-03-01', 'QF_MANAGER_NAME': '广东省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '91440101MA9UWB4G1M', 'XC_DATE': '2021-09-09', 'NUM_': 271}
{'ID': '1bbb659cbe434f428c44a9c6cc8e7af3', 'EPS_NAME': '广州市雅蔻化妆品有限公司', 'PRODUCT_SN': '粤妆20170035', 'CITY_CODE': None, 'XK_COMPLETE_DATE': {'date': 8, 'day': 3, 'hours': 0, 'minutes': 0, 'month': 8, 'nanos': 0, 'seconds': 0, 'time': 1631030400000, 'timezoneOffset': -480, 'year': 121}, 'XK_DATE': '2026-09-07', 'QF_MANAGER_NAME': '广东省药品监督管理局', 'BUSINESS_LICENSE_NUMBER': '440111000161807', 'XC_DATE': '2021-09-08', 'NUM_': 286}
爬取结束。。。

2.正式获取每个化妆品公司的详细数据
为什么要获取id值呢？因为发现id值是请求信息所携带的参数。

import requests
import json
url="http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList"
headers={"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38"
}
for i in range(1,6):data={"on": "true","page": i,"pageSize": 15,"productName":"","conditionType": 1,"applyname":"","applysn":""}response=requests.post(url=url,headers=headers,data=data)content=response.content.decode("utf-8")json_content=json.loads(content)Id=json_content["list"]for hh in Id:final_url = "http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsById"data1 = {"id": hh["ID"]}final_response = requests.post(url=final_url, headers=headers, data=data1)final_content = final_response.textprint(final_content)
print("爬取结束。。。")

Python爬取药监局化妆品管理信息发现的问题相关推荐

Python 爬取拉勾招聘信息
Python 爬取拉勾招聘信息故事背景最近有个好哥们啊浪迫于家里工资太低,准备从北方老家那边来深圳这边找工作,啊浪是学平面设计的知道我在深圳这边于是向我打听深圳这边平面设计薪资水平,当时我有点懵逼 ...
python关于二手房的课程论文_基于python爬取链家二手房信息代码示例
基本环境配置 python 3.6 pycharm requests parsel time 相关模块pip安装即可确定目标网页数据哦豁,这个价格..................看到都觉得脑阔 ...
Python爬取安居客经纪人信息
Python爬取安居客经纪人信息 Python2.7.15 今天我们来爬取安居客经纪人的信息.这次我们不再使用正则,我们使用beautifulsoup.不了解的可以先看一下这个文档,便于理解.http ...
python爬虫爬微信数据可信吗_我用 Python 爬取微信好友，最后发现一个大秘密
前言你身处的环境是什么样,你就会成为什么样的人.现在人们日常生活基本上离不开微信,但微信不单单是一个即时通讯软件,微信更像是虚拟的现实世界.你所处的朋友圈是怎么样,慢慢你的思想也会变的怎么样.最近在 ...
Python爬取微信好友的信息
最近在学习python的过程中发现了一些比较好玩的东西----------爬取微信好友的信息,并可以制作一些酷炫的效果,比如:统计微信好友男女比例.实现图灵机器人自动回复消息.抓取好友头像并拼接成图. ...
python爬取 “得到” App 电子书信息
前言文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 pyt ...
我用 Python 爬取微信好友，最后发现一个大秘密
前言你身处的环境是什么样,你就会成为什么样的人.现在人们日常生活基本上离不开微信,但微信不单单是一个即时通讯软件,微信更像是虚拟的现实世界.你所处的朋友圈是怎么样,慢慢你的思想也会变的怎么样.最近在 ...
python爬取b站用户_用Python爬取bilibili全站用户信息
教你用Python爬取哔哩哔哩全站用户信息运行下载 git clone https://github.com/cexll/bili_user_Spider.git 复制代码运行环境 Window ...
Python爬取的微信好友信息里我看到了自律 | CSDN博文精选
作者 | 吴小鹏来源 | 数据札记倌(ID:Data_Groom) "stay hungry, stay foolish" "不舍爱与自由" "自律 ...

Python爬取药监局化妆品管理信息发现的问题

Python爬取药监局化妆品管理信息

Python爬取药监局化妆品管理信息发现的问题相关推荐

最新文章

热门文章