[No.003-6]爬虫网易赔率数据并导入到mysql数据库

#encoding:utf-8
#!/usr/local/bin/python2.7
import urllib2
from bs4 import BeautifulSoup
import MySQLdb as mdb
import sys
import re
import os
#URL:HTML文件的全路径
#返回：BeautifulSoup对象
def getSoup(url):
return BeautifulSoup(open(url))
#获取所有即将读取的HTML的全路径
def fileNames():
temp_f = open("/root/bet/names.txt")
temp = []
for line in temp_f:
temp.append("/root/bet/urls/"+line.strip())
temp_f.close()
return temp
#获取场次
def getScr(soup):
scr = []
temp =[]
for trs in soup.findAll("tr"):
for tds in trs.findAll("td",{"width":"50"}):
temp.append(tds.string)
lt = len(temp)/4
for i in range(lt):
scr.append(temp[4*i+3])
return scr
#获取赛事类型
def getLea(soup):
league = []
for item in soup.findAll("tr"):
for item1 in item.findAll("td",{"width":"70"}):
league.append(item1.string.encode('utf-8'))
return league
#获取比赛日期
def getGmdate(soup):
temp = []
gmdate = []
for item in soup.findAll("tr"):
for item1 in item.findAll("td",{"width":"61"}):
temp.append(item1)
temp =temp[3:]
for item in temp:
gmdate.append(re.search("\w{4}-\w{2}-\w{2}",str(item)).group())
return gmdate
#获取主队客队名称
def getTeam(soup):
team=[]
for item in soup.findAll("tr"):
for teams in item.findAll("a",{"class":"dui"}):
team.append(teams.string.strip().encode('utf-8'))
return team
#获取胜平负赔率
def getSpfpl(soup):
spfpl =[]
temp = []
for trs in soup.findAll("tr"):
for tds in trs.findAll("span"):
temp.append(tds.string)
#删除首尾两个无效数据
temp =temp[1:-1]
for i in range(len(temp)):
for item in temp[7*i+4:7*i+7]:
spfpl.append(item)
return spfpl
#6.比分结果以及比分结果赔率
def getResult(soup):
bfjg = []
temp = []
for trs in soup.findAll("tr"):
for item in trs.findAll("div",{"align":"center"}):
for item1 in item.findAll("strong"):
bfjg.append(item1.string.encode('utf-8'))
return bfjg
if __name__=="__main__":
reload(sys)
sys.setdefaultencoding('utf-8')
names = fileNames()
conn=mdb.connect(host='localhost',user='root',passwd='oracle',db='betdb',port=3306)
cur = conn.cursor()
SQL="insert into results(id,lea,gmd,hos,gue,win,dog,los,res,odd) values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
#更新胜平负
sql_update3="update results set spf=3 where res='1:0' or res='2:0' or res='2:1' or res='3:0' or res='3:1' or res='3:2' or res='4:0' or res='4:1' or res='4:2' or res='5:0' or res='5:1' or res='5:2' or res='胜其他';"
sql_update1="update results set spf=1 where res='0:0' or res='1:1' or res='2:2' or res='3:3' or res='平其他';"
sql_update0="update results set spf=0 where res='0:1' or res='0:2' or res='1:2' or res='0:3' or res='1:3' or res='2:3' or res='0:4' or res='1:4' or res='2:4' or res='0:5' or res='1:5' or res='2:5' or res='负其他';"
#更新总进球
sql_updatezjq0="update results set zjq=0 where res='0:0'"
sql_updatezjq1="update results set zjq=1 where res='1:0' or res='0:1'"
sql_updatezjq2="update results set zjq=2 where res='2:0' or res='1:1' or res='0:2'"
sql_updatezjq3="update results set zjq=3 where res='3:0' or res='2:1' or res='1:2' or res='0:3'"
sql_updatezjq4="update results set zjq=4 where res='4:0' or res='3:1' or res='2:2' or res='1:3' or res='0:4'"
sql_updatezjq5="update results set zjq=5 where res='5:0' or res='4:1' or res='3:2' or res='2:3' or res='0:5' or res='1:4'"
sql_updatezjq6="update results set zjq=6 where res='5:1' or res='3:3' or res='4:2' or res='2:4' or res='1:5'"
sql_updatezjq7="update results set zjq=7 where res='胜其他' or res='负其他'"
for htmlfilename in names:
soup = getSoup(htmlfilename)
print "Reading %s now ..." % htmlfilename
#1.场次
scr = getScr(soup)
#2.赛事类型
lea = getLea(soup)
#3.比赛日期
gmd = getGmdate(soup)
#4.比赛队伍
tea = getTeam(soup)
#5.胜平负赔率
spf = getSpfpl(soup)
#6.比赛结果
bfj = getResult(soup)
#7.形成场次日期唯一id
ids=[]
for i in range(len(scr)):
ids.append(gmd[i]+'-'+scr[i])
#装配结果集
res =[]
for i in range(len(scr)):
res.append(ids[i])
res.append(lea[i])
res.append(gmd[i])
res.append(tea[2*i])
res.append(tea[2*i+1])
res.append(spf[3*i])
res.append(spf[3*i+1])
res.append(spf[3*i+2])
res.append(bfj[2*i])
res.append(bfj[2*i+1])
l =len(res)/10
for i in range(l):
for item in res[10*i:10*i+1]:
cur.execute(SQL,res[10*i:10*i+10])
i+=1
cur.execute(sql_update3)
cur.execute(sql_update1)
cur.execute(sql_update0)
cur.execute(sql_updatezjq0)
cur.execute(sql_updatezjq1)
cur.execute(sql_updatezjq2)
cur.execute(sql_updatezjq3)
cur.execute(sql_updatezjq4)
cur.execute(sql_updatezjq5)
cur.execute(sql_updatezjq6)
cur.execute(sql_updatezjq7)

#SQL创建语句
CREATE TABLE `results` (
`id` char(20) NOT NULL,
`lea` char(100) DEFAULT NULL,
`gmd` date DEFAULT NULL,
`hos` char(100) DEFAULT NULL,
`gue` char(100) DEFAULT NULL,
`win` float(5,2) DEFAULT NULL,
`dog` float(5,2) DEFAULT NULL,
`los` float(5,2) DEFAULT NULL,
`res` char(10) DEFAULT NULL,
`odd` float(5,2) DEFAULT NULL,
`zjq` tinyint(4) DEFAULT NULL,
`spf` tinyint(4) DEFAULT NULL
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

[No.003-6]爬虫网易赔率数据并导入到mysql数据库相关推荐

python爬虫导入数据库_python爬虫爬下来的数据怎么导入到MySQL
展开全部下载mysql.connector库然后把爬虫2113爬到的数据5261通过mysql里面的insert语句查到数4102据库,当然也可以建表1653,一般我没用python建表是先建好 ...
如何将Excel表格数据批量导入到MySQL数据库中
最近遇到一个问题,就是如何将excel表格数据中几百上千行的数据导入到数据库中,使用Navicat工具的手动导入一直不成功,所以就选择使用代码的方式来进行导入,过程也比较简单,我们一起来看一下是如何实 ...
php实现sql server数据导入到mysql数据库_SQL Server数据库导入MySQL数据库的体验_MySQL...
SQL Server 因工作需要,要将存放在sql server数据库中的数据全部导入到mysql数据库中,在网上搜集相关资料,找到两种方法,现在分别谈谈对他们的看法. 第一种是安装mysql ODB ...
足球赔率数据爬虫分析一体化的项目
足球,football,足彩,竞彩,赔率数据,爬虫,预测,分析一体化程序项目地址 https://github.com/monomania/foot 项目介绍热衷于足球多年,之余也会去研究一下,时 ...
【原创】C#搭建足球赛事资料库与预测平台(5) 赔率数据表设计1
本博客所有文章分类的总目录:http://www.cnblogs.com/asxinyu/p/4288836.html 开源C#彩票数据资料库系列文章总目录:http://www.cn ...
【原创】C#搭建足球赛事资料库与预测平台(6) 赔率数据表设计2
本博客所有文章分类的总目录:[总目录]本博客博文总目录-实时更新开源C#彩票数据资料库系列文章总目录:[目录]C#搭建足球赛事资料库与预测平台与彩票数据分析目录本篇文章开始将逐步介 ...
python 接入百度地图数据包下载_Python爬虫-利用百度地图API接口爬取数据并保存至MySQL数据库...
首先,我这里有一份相关城市以及该城市的公园数量的txt文件: 分析-02.png 其次,利用百度地图API提供的接口爬取城市公园的相关信息. 所利用的API接口有两个: 1.http://api.ma ...
mysql导入数据表大小限制,解除phpMyAdmin导入大型MySQL数据库文件大小限制
phpMyAdmin 导入大型数据库文件大小限制配置- 1. 修改 php.ini 文件中下列3项的值: upload_max_filesize, memory_limit 和 post_max_si ...
php实现sql server数据导入到mysql数据库_php实现SQL Server数据导入Mysql数据库(示例)...
php将mssql的数据导入到mysql数据库中,代码: 代码示例: //连接SQL server数据库 $conn=mssql_connect("localhost"," ...

[No.003-6]爬虫网易赔率数据并导入到mysql数据库

[No.003-6]爬虫网易赔率数据并导入到mysql数据库相关推荐

最新文章

热门文章