Python 爬金十数据

话不多说，直接上能用的代码

import requests
import  datetime
import pymysql
from requests.adapters import HTTPAdapter
import timedef conn():connect = pymysql.connect(host='', user='', password='', database='shipinformation',charset='utf8')if connect:print("连接成功!")return connect
conn = conn()
# cursor = conn.cursor()##爬虫获取页面数据
url = "https://flash-api.jin10.com/get_flash_list"
header = {"x-app-id": "SO1EJGmNgCtmpcPF","x-version": "1.0.0",
}
queryParam = {"max_time": "2021-05-25 9:47:02","channel": "-8200",
}#循环爬取并插入数据：结束条件是爬不到数据为止
totalCount = 0
Data = requests.get(url, queryParam, headers=header).json()['data']
length = len(Data)
while (length > 0):for i in range(length):try:id = Data[i]['id']time1 = Data[i]['time']create_time = datetime.datetime.strptime(time1, "%Y-%m-%d %H:%M:%S")type = Data[i]['type']if type == 0:if len(Data[i]['data']) > 2:pic = Data[i]['data']['pic']content = Data[i]['data']['content'].replace('<b>','').replace('</b>','').replace('<br />','').replace('<br/>','')title = Data[i]['data']['title']elif len(Data[i]['data']) == 1:pic = Nonecontent = Data[i]['data']['content'].replace('<b>','').replace('</b>','').replace('<br />','').replace('<br/>','')title = Noneelse:pic = Data[i]['data']['pic']content = Data[i]['data']['content'].replace('<b>','').replace('</b>','').replace('<br />','').replace('<br/>','')title = Noneupdate_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())print(id, time1, type, pic, content, title,update_time)except Exception as e:print(e)continuetotalCount += length# 修正下一个查询时间queryParam['max_time'] = Data[length - 1]['time']print('next queryParam is', queryParam['max_time'])# 再请求一次数据try:s = requests.Session()s.mount('http://', HTTPAdapter(max_retries=3))s.mount('https://', HTTPAdapter(max_retries=3))Data = requests.get(url, queryParam,timeout=5, headers=header).json()['data']length = len(Data)except Exception as e:print(e)print('all ok,totalCount is:', totalCount)

Python 爬金十数据相关推荐

Python 爬金十数据并生成词云
背景用 Python 的 requests 模块爬取金十数据首页中间部分的资讯信息,练习了两种处理过程:写入 MySQL 数据库和词云分析,对比之下 Python 几行代码就能完成 MySQL入 ...
python 实时数据推送_python scrapy 爬取金十数据并自动推送到微信
一.背景因业务需要获取风险经济事件并采取应对措施,但因为种种原因又疏忽于每天去查看财经日历,于是通过爬取金十数据网站并自动推送到微信查看. 二.目标实现 image 三.环境与工具 1.pychar ...
如何用python爬取网页数据,python爬取网页详细教程
大家好,本文将围绕python怎么爬取网站所有网页展开说明,如何用python爬取网页数据是一个很多人都想弄明白的事情,想搞清楚python如何爬取网页数据需要先了解以下几个事情. 1.如何用Pyth ...
python 小说-用Python爬下十几万本小说，再也不会闹书荒！
原标题:用Python爬下十几万本小说,再也不会闹书荒! 自从看了师傅爬了顶点全站之后,我也手痒痒的,也想爬一个比较牛逼的小说网看看,于是选了宜搜这个网站,好了,马上开干,这次用的是mogodb数据库 ...
python爬取网页公开数据_如何用Python爬取网页数据
使用Python爬取网页数据的方法: 一.利用webbrowser.open()打开一个网站:>>> import webbrowser >>> webbrowse ...
编程python爬取网页数据教程_实例讲解Python爬取网页数据
一.利用webbrowser.open()打开一个网站: >>> import webbrowser >>> webbrowser.open('http://i.f ...
Python爬取天气数据及可视化分析！
来源丨Python之王 Python爬取天气数据及可视化分析说在前面天气预报我们每天都会关注,我们可以根据未来的天气增减衣物.安排出行,每天的气温.风速风向.相对湿度.空气质量等成为关注的焦点.本 ...
Python爬取的数据存为json文件，并读取
Python爬取的数据存为json文件,并读取 import requests import time from lxml import etree import jsondef json_data_ ...
python爬虫教程：实例讲解Python爬取网页数据
这篇文章给大家通过实例讲解了Python爬取网页数据的步骤以及操作过程,有兴趣的朋友跟着学习下吧. 一.利用webbrowser.open()打开一个网站: >>> import w ...

Python 爬金十数据

Python 爬金十数据相关推荐

最新文章

热门文章