使用python获取微医数据

用到的包：

BeautifulSoup
pymysql
requests
json

碰到的问题：

1.医生查询分页数据不能超过38页，超过无法返回数据

2.某些字段对应的html元素包含一些无效的class，导致通过BeautifulSoup获取不到该字段

3.按地区搜索医院列表的分页数据不能超过100页，超过返回的重复数据，导致需要手工删除hospital，department两张表code重复的记录

4.一个医生可能出现在多个科室，所以按科室获取医生列表并插入数据库时需要判断重复

5.按地区查找医院时，香港、澳门两个城市的地区查出来的是广东的医院，导致产生大量重复的医院，需要手工删除

6.患者评论数据分页数据需要获取签名+时间戳才能取到下一页数据，并且未登录只能获取前5页数据，要获取所有数据需要登陆, 登陆以后最多能取60页数据

7.登陆页面需要滑动验证，如果不想花时间研究登陆，可以直接在浏览器中登陆一个微医账户，然后把登陆后的cookie保存下来传给request请求

附代码：https://github.com/xienb/weiyi.git

转载于:https://www.cnblogs.com/xienb/p/11328483.html

使用python获取微医数据相关推荐

python 行情数据,拼多多股票：Python获取股票行情数据的一种方法
Python获取股票行情数据的一种方法拼多多股票本号帮大家找了一个可免费获取股票行情数据的接口. Tushare社区目前主要维护新版本:tushare pro,数据更稳定拼多多股票质量更高,可获取 ...
为了提前预测比赛结果，于是我用Python获取比赛球员数据进行分析，结果...
为了提前预测比赛结果,于是我用Python获取比赛球员数据进行分析,结果... 前因后果准备工作实现步骤代码展示部分效果展示最后前因后果最近不是世界杯嘛,但是太忙了实在没时间看,于是为了 ...
Python获取电子书籍数据
Python获取电子书籍数据-以当当网为例 (一)以css方式获取 import requests,csv from bs4 import BeautifulSoup import codecs #自 ...
利用python获取word图表数据和修改图表信息
利用python获取word图表数据和修改图表信息起因咸鱼有个人问word怎么修改图表信息,想用docx库找不到关于图表的方法,这里用了Win32com. import time import wi ...
python获取计算机信息系统数据罪_工作心得：破坏计算机信息系统罪与非法获取计算机信息系统数据罪的区分...
工作心得: 破坏计算机信息系统罪与非法获取计算机信息系统数据罪的区分非法获取计算机信息系统数据罪与破坏计算机信息系统罪的主要区别有以下两点: (1) 犯罪行为不同.前罪犯罪行为为非法获取数据,后 ...
使用python获取美股行情数据
使用python获取美股GME一月数据,包括开盘价.收盘价.最高价.最低价.成交量等工具包:pandas_datareader 环境安装 pip install pandas_datareader ...
使用Python获取最新疫情数据，制作可视化动态地图，实时展示各地情况
愿世界再无病痛,盼疫情早日结束序言效果展示准备工作代码展示序言疫情降临转眼已经第三年了,时间过得真快,愿疫情早点结束,世界不再多灾多难. 最近疫情稍微好转一些了,所以咱们获取一下最新的疫情 ...
Python获取用电情况数据-AHPU校园网
我写这个主要是想把寝室的用电情况给保存下来,做一些分析统计之类的.代码运行在一台树莓派上面,树莓派连着校园网. 正文首先看看浏览器网页查询页面. 在写代码之前我们要先获取一些参数,而用这些参数可以让 ...
Python获取全部股票数据
目前整个沪深京A股市场总共有5000余支股票,那么我们怎么能获取到这些股票的数据(股价.市值.市盈率.市净率等)呢? 小编常用的有三个网站,分别是东方财富.同花顺.雪球,请自行查阅. 我们以东方财富为 ...

使用python获取微医数据

使用python获取微医数据相关推荐

最新文章

热门文章