python爬虫开发数据库设计入门经典_Python3实现的爬虫爬取数据并存入mysql数据库操作示例...
本文实例讲述了Python3实现的爬虫爬取数据并存入mysql数据库操作。分享给大家供大家参考,具体如下:
爬一个电脑客户端的订单。罗总推荐,抓包工具用的是HttpAnalyzerStdV7,与chrome自带的F12类似。客户端有接单大厅,罗列所有订单的简要信息。当单子被接了,就不存在了。我要做的是新出订单就爬取记录到我的数据库zyc里。
设置每10s爬一次。
抓包工具页面如图:
首先是爬虫,先找到数据存储的页面,再用正则爬出。
# -*- coding:utf-8 -*-
import re
import requests
import pymysql #Python3的mysql模块,Python2 是mysqldb
import datetime
import time
def GetResults():
requests.adapters.DEFAULT_RETRIES = 5 #有时候报错,我在网上找的不知道啥意思,好像也没用。
reg = [r'"id":(.*?),',
r'"order_no":"(.*?)",',
r'"order_title":"(.*?)",',
r'"publish_desc":"(.*?)",',
r'"game_area":"(.*?)\\/(.*?)\\/(.*?)",',
r'"order_current":"(.*?)",',
r'"order_content":"(.*?)",',
r'"order_hours":(.*?),',
r'"order_price":"(.*?)",',
r'"add_price":"(.*?)",',
r'"safe_money":"(.*?)",',
r'"speed_money":"(.*?)",',
r'"order_status_desc":"(.*?)",',
r'"order_lock_desc":"(.*?)",',
r'"cancel_type_desc":"(.*?)",',
r'"kf_status_desc":"(.*?)",',
r'"is_show_pwd":(.*?),',
r'"game_pwd":"(.*?)",',
r'"game_account":"(.*?)",',
r'"game_actor":"(.*?)",',
r'"left_hours":"(.*?)",',
r'"created_at":"(.*?)",',
r'"account_id":"(.*?)",',
r'"mobile":"(.*?)",',
r'"contact":"(.*?)",',
r'"qq":"(.*?)"},']
results=[]
try:
for l in range(1,2): #页码
proxy = {'HTTP':'61.135.155.82:443'} #代理ip
html = requests.get('https://www.dianjingbaozi.com/api/dailian/soldier/hall?access_token=3ef3abbea1f6cf16b2420eb962cf1c9a&dan_end=&dan_start=&game_id=2&kw=&order=price_desc&page=%d'%l+'&pagesize=30&price_end=0&price_start=0&server_code=000200000000&sign=ca19072ea0acb55a2ed2486d6ff6c5256c7a0773×tamp=1511235791&type=public&type_id=%20HTTP/1.1',proxies=proxy) # 用get的方式访问。网页解码成中文。接单大厅页。
#
html=html.content.decode('utf-8')
outcome_reg_order_no = re.findall(r'"order_no":"(.*?)","game_area"', html) #获取订单编号,因为订单详情页url与订单编号有关。
for j in range(len(outcome_reg_order_no)):
html_order = requests.get('http://www.lpergame.com/api/dailian/order/detail?access_token=eb547a14bad97e1ee5d835b32cb83ff1&order_no=' +outcome_reg_order_no[j] + '&sign=c9b503c0e4e8786c2945dc0dca0fabfa1ca4a870×tamp=1511146154 HTTP/1.1',proxies=proxy) #订单详细页
html_order=html_order.content.decode('utf-8')
# print(html_order)
outcome_reg = []
for i in range(len(reg)):#每条订单
outcome = re.findall(reg[i], html_order)
if i == 4:
for k in range(len(outcome)):
outcome_reg.extend(outcome[k])
else:
outcome_reg.extend(outcome)
results.append(outcome_reg) #结果集
return results
except:
time.sleep(5) #有时太频繁会报错。
print("失败")
pass
根据爬虫结果建表,这里变量名要准确。并且要设置唯一索引,使每次爬的只有新订单入库。
def mysql_create():
mysql_host = ''
mysql_db = 'zyc'
mysql_user = 'zyc'
mysql_password = ''
mysql_port = 3306
db = pymysql.connect(host=mysql_host, port=mysql_port, user=mysql_user, password=mysql_password, db=mysql_db,charset='utf8') # 连接数据库编码注意是utf8,不然中文结果输出会乱码
sql_create = "CREATE TABLE DUMPLINGS (id CHAR(10),order_no CHAR(50),order_title VARCHAR(265),publish_desc VARCHAR(265),game_name VARCHAR(265),"\
"game_area VARCHAR(265),game_area_distinct VARCHAR(265),order_current VARCHAR(3908),order_content VARCHAR(3908),order_hours CHAR(10)," \
"order_price FLOAT(10),add_price FLOAT(10),safe_money FLOAT(10),speed_money FLOAT(10),order_status_desc VARCHAR(265),"\
"order_lock_desc VARCHAR(265),cancel_type_desc VARCHAR(265),kf_status_desc VARCHAR(265),is_show_pwd TINYINT,game_pwd CHAR(50),"\
"game_account VARCHAR(265),game_actor VARCHAR(265),left_hours VARCHAR(265),created_at VARCHAR(265),account_id CHAR(50),"\
"mobile VARCHAR(265),mobile2 VARCHAR(265),contact VARCHAR(265),contact2 VARCHAR(265),qq VARCHAR(265),"\
"PRIMARY KEY (`id`),UNIQUE KEY `no`(`order_no`))ENGINE=InnoDB AUTO_INCREMENT=12 DEFAULT CHARSET=utf8"
sql_key="CREATE UNIQUE INDEX id ON DUMPLINGS(id)"
cursor = db.cursor()
cursor.execute("DROP TABLE IF EXISTS DUMPLINGS")
cursor.execute(sql_create)# 执行SQL语句
cursor.execute(sql_key)
db.close() # 关闭数据库连
把数据导入Mysql,注意编码和字段之间的匹配。
def IntoMysql(results):
mysql_host = ''
mysql_db = 'zyc'
mysql_user = 'zyc'
mysql_password = ''
mysql_port = 3306
db = pymysql.connect(host=mysql_host, port=mysql_port, user=mysql_user, password=mysql_password, db=mysql_db,charset='utf8') # 连接数据库编码注意是utf8,不然中文结果输出会乱码
cursor = db.cursor()
for j in range(len(results)):
try:
sql = "INSERT INTO DUMPLINGS(id,order_no,order_title,publish_desc ,game_name," \
"game_area,game_area_distinct,order_current,order_content,order_hours," \
"order_price,add_price,safe_money,speed_money,order_status_desc," \
"order_lock_desc,cancel_type_desc,kf_status_desc,is_show_pwd,game_pwd," \
"game_account,game_actor,left_hours,created_at,account_id," \
"mobile,mobile2,contact,contact2,qq) VALUES ("
for i in range(len(results[j])):
sql = sql + "'" + results[j][i] + "',"
sql = sql[:-1] + ")"
sql = sql.encode('utf-8')
cursor.execute(sql)
db.commit()
except:pass
db.close()
每十秒运行一次。
mysql_create()
i=0
while True:
results = GetResults()
IntoMysql(results)
i=i+1
print("爬虫次数:",i)
time.sleep(10)
结果如图:
希望本文所述对大家Python程序设计有所帮助。
python爬虫开发数据库设计入门经典_Python3实现的爬虫爬取数据并存入mysql数据库操作示例...相关推荐
- python爬取新闻并归数据库_Python爬取数据并写入MySQL数据库操作示例
Python爬取数据并写入MySQL数据库的实例 首先我们来爬取 http://html-color-codes.info/color-names/ 的一些数据. 按 F12 或 ctrl+u 审查元 ...
- python爬取mysql数据_Python爬取数据并写入MySQL数据库的实例
Python爬取数据并写入MySQL数据库的实例 来源:中文源码网 浏览: 次 日期:2018年9月2日 [下载文档: Python爬取数据并写入MySQL数据库的实例.txt ] (友 ...
- python爬取新闻存入数据库_python 爬取古诗文存入mysql数据库的方法
使用正则提取数据,请求库requests,看代码,在存入数据库时,报错ERROR 1054 (42S22): Unknown column 'title' in 'field list'.原来是我写s ...
- python爬取新闻存入数据库_Python爬取数据并写入MySQL数据库的实例
按 F12 或 ctrl+u 审查元素,结果如下: 结构很清晰简单,我们就是要爬 tr 标签里面的 style 和 tr 下几个并列的 td 标签,下面是爬取的代码: #!/usr/bin/env p ...
- 练习使用Python post请求爬取数据,并用mySQL数据库进行存储
2019独角兽企业重金招聘Python工程师标准>>> 我看了许多教程,之前练习过爬取百度百科和汽车之家,都没有成功,可能功力不到,有些问题总看不出到底是哪里出了毛病. 我看得其中有 ...
- yspider爬取数据导入mysql_爬虫实战四、PyCharm+Scrapy爬取数据并存入MySQL
一.创建爬虫项目 注意:不能直接使用PyCharm创建Scrapy项目,所以需要在爬虫实战三.PyCharm搭建Scrapy开发调试环境的基础(PyCharm配置完Scrapy)之上,选中mySpid ...
- python:使用selenium爬取51job(前程无忧)并将爬取数据存储到MySql数据库中的代码实例
自己捣鼓了几天写的代码,基本上把51job的岗位相关的数据都爬下来了,可以视要求自行增减,代码虽然有些简陋,不过我爬取的时候没报什么错.代码适合初学者学习使用,废话不多说,代码如下: from sel ...
- mysql打印语句_大数据挖掘—(八):scrapy爬取数据保存到MySql数据库
(大数据挖掘-(七):读懂MySql数据库操作)(大数据挖掘神器--scrapy spider爬虫框架(五):解析多层网页) 通过往期的文章分享,我们了解了如何爬取想要的数据到Items中,也了解了如 ...
- 爬取数据并写入MySQL数据库
1.爬取思路总结概述: a.请求网页,获取json数据:request函数 b.使正则re 模块,提取出 { {--} }信息所在部分的字典 :re.search() c.为了防止连续请求中出现,IP ...
最新文章
- MSSQL事务开发指南
- react 引用本地js_从零配置webpack 4+react脚手架(二)
- 485通信原理_上位机开发之单片机通信实践
- 第六讲:PrintClient工具的使用
- pycharm cant open file_PyCharm
- Android开发笔记(九十五)自定义Drawable
- mysql磁盘占用太大无法删除_mysql的binlog太大太多占用大量磁盘的解决
- 锐捷校园网拨号上网一号多用
- android维文字体下载,Badam维汉输入法
- 帆软认证报表工程师FCRA试题
- 修改VNR源码接入新版有道中文翻译API
- 基于C#的网站地图制作
- 【MySQL作业】avg 和 count 函数——美和易思聚合函数应用习题
- 中文新闻分类 数据集_NLP-新闻文本分类实战
- Activiti6.0(三)实现一个请假流程
- python line strip_关于python 的line.strip()方法
- JAVA电子竞技赛事管理系统计算机毕业设计Mybatis+系统+数据库+调试部署
- 求职第二十九天—经伟恒润(北京)
- 知到网课影视鉴赏考试试题|真题题库(含答案)
- 9.5 考试 第三题 奇袭题解(codeforce 526f)
热门文章
- vue+vant 移动端H5 商城项目_04
- IDEA 断点调试高级玩法 |debug高手必看!
- 3个点让你彻底明白,为什么要使用MQ消息中间件?
- flowable实现流程回退功能
- 学习笔记之数据可视化(二)——页面布局(上)
- vue-datepicker的使用
- JS中split对多个分隔符的处理
- C语言 va_arg 宏 - C语言零基础入门教程
- 关于c语言的符号常量以下叙述中正确的是,关于C语言的符号常量,以下叙述中正确的是( )...
- python下标从0开始_从零学Python之入门(三)序列