python连接池 commit,连接池请求Python
我尝试使用Python同时发送许多请求,但出现以下错误:2019-05-04 08:32:04,871 - telegram.vendor.ptb_urllib3.urllib3.connectionpool - WARNING - Connection pool is full, discarding connection: <>
我写了以下代码:
主回路:
^{pr2}$
使用retrieve_page_v2并因此发出请求的方法之一:def analyse_fixture(fixture, live=False, upcoming=False, odds=False, countries={}):
base_url = "https://www.flashscore.com/match/" + fixture + "/"
summary_url = "https://d.flashscore.com/x/feed/d_su_" + fixture + "_en_1"
statistics_url = "https://d.flashscore.com/x/feed/d_st_" + fixture + "_en_1"
h2h_url = "https://d.flashscore.com/x/feed/d_hh_" + fixture + "_en_1"
base_soup = retrieve_page_v2(base_url)
h2h_soup = retrieve_page_v2(h2h_url, True)
summary_soup = retrieve_page_v2(summary_url, True)
home_overal = head2heads[0]
away_overal = head2heads[1]
h2h = head2heads[2]
home_matches = home_overal.find('table').find('tbody').find_all('tr')
away_matches = away_overal.find('table').find('tbody').find_all('tr')
if(len(home_matches) > 10 and len(away_matches) > 10):
home_overal_details_process = Thread(target=analyse_details, args=(home_matches, home, away, statistics_in_league, "home_matches"))
away_overal_details_process = Thread(target=analyse_details, args=(away_matches, away, home, statistics_in_league, "away_matches"))
home_overal_details_process.start()
away_overal_details_process.start()
else:
exit()
home_home_matches = h2h_soup.find('div', {'id': 'tab-h2h-home'}).find('table').find('tbody').find_all('tr')
away_away_matches = h2h_soup.find('div', {'id': 'tab-h2h-away'}).find('table').find('tbody').find_all('tr')
if(len(home_home_matches) > 10 and len(away_away_matches) > 10):
home_home_details_process = Thread(target=analyse_details, args=(home_home_matches, home, away, statistics_in_league, "home_home_matches"))
away_away_details_process = Thread(target=analyse_details, args=(away_away_matches, away, home, statistics_in_league, "away_away_matches"))
home_home_details_process.start()
away_away_details_process.start()
else:
exit()
away_away_details_process.join()
home_home_details_process.join()
away_overal_details_process.join()
home_overal_details_process.join()
从analyze_fixture内部调用的方法,它也使用retrieve_page_v2def analyse_details(matches, team, team_2, statistics, name=""):
for match in matches[0:10]:
match_code = match.get('onclick')[17:25]
if(db.child("matches").child(match_code).child('total_goals').get().val() == None or db.child("matches").child(match_code).child("total_corners").get().val() == None or db.child("matches").child(match_code).child('winner').get().val() == None or db.child("matches").child(match_code).child('fh_winner').get().val() == None):
home_corners = "Unknown"
away_corners = "Unknown"
total_corners = "Unknown"
base_url = "https://www.flashscore.com/match/" + match_code
summary_url = "https://d.flashscore.com/x/feed/d_su_" + match_code + "_en_1"
statistics_url = "https://d.flashscore.com/x/feed/d_st_" + match_code + "_en_1"
base_soup = retrieve_page_v2(base_url)
summary_soup = retrieve_page_v2(summary_url, True)
teams = base_soup.find_all('a', {'class': 'participant-imglink'})
if(statistics):
statistics_soup = retrieve_page_v2(statistics_url, True)
发出请求的retrieve page方法def retrieve_page_v2(url, use_headers=False):
headers = {
"User-Agent": "core",
"Accept": "*/*"
"Accept-Language:" "*",
"X-Requested-With": "XMLHttpRequest",
"Connection": "keep-alive"
}
if(use_headers):
response = requests.get(url, headers=headers)
else:
response = requests.get(url)
return BeautifulSoup(response.content, features="lxml")
有人能帮我解决这个问题吗?我尝试过使用aiohttp,但似乎无法将其融入我编写的代码中
python连接池 commit,连接池请求Python相关推荐
- 使用python连接mysql和发送post请求
一.使用python操作数据库 1.1 引入库 注:使用前需要使用老朋友pip下载pymysql. # 导入pymysql连接数据库 import pymysql 1.2 脚本 # 定义连接数据库的方 ...
- 手把手教你用Python搭建IP代理池,轻松破解请求频率限制反爬虫~
我们所写的爬虫,它对服务器发出的网络请求频率要比正常用户的高的多,从而开发者可以将请求频率过高的用户视为爬虫程序,从而来限制爬虫程序. 今天志斌就来给大家分享一下,如何用Python搭建一个IP代理池 ...
- 【oracle数据库】控制台程序提示“池式连接请求超时”
控制台程序提示"池式连接请求超时" 处理方式 1.查询哪个进程消耗cpu 比较多,找到其sid select ss.sid,se.command,ss.value CPU ,se. ...
- python 数据库连接池_【转】Python 数据库连接池
python编程中可以使用pymysql进行数据库连接及增删改查操作,但每次连接mysql请求时,都是独立的去请求访问,比较浪费资源,而且访问数量达到一定数量时,对mysql的性能会产生较大的影响.因 ...
- JDBC:使用连接池管理连接
2019独角兽企业重金招聘Python工程师标准>>> 一.数据库连接池 数据库连接是一种关键的有限的昂贵的资源,这一点在多用户的网页应用程序中体现得尤为突出.对数据库连接的管理能显 ...
- [Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息(四) —— 应对反爬技术(选取 User-Agent、添加 IP代理池以及Cookies池 )
上一篇:[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息(三) -- 数据的持久化--使用MongoDB存储爬取的数据 最近项目有些忙,很多需求紧急上线,所以一直没能完善< 使用 ...
- Python MySQL数据库的连接以及基本操作
Python MySQL数据库的连接以及基本操作 一.数据库的连接 1.直接连接 2.连接池连接 二. 数据库的基本操作 1.执行函数 2.创建数据表 3.删除表 4.插入函数 6.删除函数 7.状态 ...
- 池技术:连接池,线程池,内存池,进程池等汇总分析
引言 在软件开发中,经常会遇到需要频繁创建和销毁某些资源的情况.这些资源可能是内存.线程.数据库连接等.频繁地创建和销毁资源可能导致性能下降和资源浪费.为了解决这些问题,软件开发者设计了一种称为&qu ...
- python数据库管理实例_Python数据库连接池实例——PooledDB
不用连接池的MySQL连接方法 import MySQLdb conn= MySQLdb.connect(host='localhost',user='root',passwd='pwd',db='m ...
- Python爬虫-IP代理池和代理池设计
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云 作者:小小科 ( 想要学习Python?Python学习交流 ...
最新文章
- 太多人关注,太少人理解,这就是“量子计算”
- PAT甲级题目翻译+答案 AcWing(树)
- MATLAB 读取txt文件(importdata函数)
- 巧用DOS命令上传文件
- Red5流媒体服务器的搭建
- 专业声压手机测试软件,声音测量器app
- HUSTOJ超级详细部署文档
- 每日下载次数限制php,织梦实现会员限制用户单日下载软件资源的上限方法
- 基于select2的二级联动
- oracle数据库修改计算机名,oracle 批改计算机名
- Python实现人机交互剪刀石头布小游戏(七局四胜制)
- IntelliJ IDEA 注册码(phpstorm等IDE)
- 转大数据开发,适合什么岗位?
- java毕业生设计星星电影购票网站计算机源码+系统+mysql+调试部署+lw
- How to edit registry via CMD command
- gsoap java_gSoap的JAVA客户端
- python分别统计男女人数_python实现爬虫统计学校BBS男女比例(一),python男女比例...
- 半个月时间把MySQL重新巩固了一遍,梳理了一篇几万字 “超硬核” 文章!
- 服务器性能测试--super PI 测试
- 1109 擅长C(JAVA)
热门文章
- 【特征提取】基于matlab一帧语音共振峰提取【含Matlab源码 1768期】
- 【优化求解】基于matlab遗传算法求解多城市多应急物流中心选址问题【含Matlab源码 1724期】
- 【VRP】基于matlab节约里程算法求解车辆路径规划问题【含Matlab源码 1166期】
- 【优化分配】基于matlab粒子群算法求解火车票分配优化问题【含Matlab源码 1137期】
- 【数字信号】基于matlab GUI DTMF双音多频手机拨号仿真系统【含Matlab源码 1085期】
- 【图像处理】基于matlab直方图医学图像处理【含Matlab源码 458期】
- openai-gpt_GPT-3不会承担您的编程工作
- python:数组和列表相互转化
- 【C++】一次遇到的需要加入const属性的情况
- docxtemplater 图片模块_使用docxtemplater来处理word模板