我尝试使用Python同时发送许多请求,但出现以下错误:2019-05-04 08:32:04,871 - telegram.vendor.ptb_urllib3.urllib3.connectionpool - WARNING - Connection pool is full, discarding connection: <>

我写了以下代码:

主回路:

^{pr2}$

使用retrieve_page_v2并因此发出请求的方法之一:def analyse_fixture(fixture, live=False, upcoming=False, odds=False, countries={}):

base_url = "https://www.flashscore.com/match/" + fixture + "/"

summary_url = "https://d.flashscore.com/x/feed/d_su_" + fixture + "_en_1"

statistics_url = "https://d.flashscore.com/x/feed/d_st_" + fixture + "_en_1"

h2h_url = "https://d.flashscore.com/x/feed/d_hh_" + fixture + "_en_1"

base_soup = retrieve_page_v2(base_url)

h2h_soup = retrieve_page_v2(h2h_url, True)

summary_soup = retrieve_page_v2(summary_url, True)

home_overal = head2heads[0]

away_overal = head2heads[1]

h2h = head2heads[2]

home_matches = home_overal.find('table').find('tbody').find_all('tr')

away_matches = away_overal.find('table').find('tbody').find_all('tr')

if(len(home_matches) > 10 and len(away_matches) > 10):

home_overal_details_process = Thread(target=analyse_details, args=(home_matches, home, away, statistics_in_league, "home_matches"))

away_overal_details_process = Thread(target=analyse_details, args=(away_matches, away, home, statistics_in_league, "away_matches"))

home_overal_details_process.start()

away_overal_details_process.start()

else:

exit()

home_home_matches = h2h_soup.find('div', {'id': 'tab-h2h-home'}).find('table').find('tbody').find_all('tr')

away_away_matches = h2h_soup.find('div', {'id': 'tab-h2h-away'}).find('table').find('tbody').find_all('tr')

if(len(home_home_matches) > 10 and len(away_away_matches) > 10):

home_home_details_process = Thread(target=analyse_details, args=(home_home_matches, home, away, statistics_in_league, "home_home_matches"))

away_away_details_process = Thread(target=analyse_details, args=(away_away_matches, away, home, statistics_in_league, "away_away_matches"))

home_home_details_process.start()

away_away_details_process.start()

else:

exit()

away_away_details_process.join()

home_home_details_process.join()

away_overal_details_process.join()

home_overal_details_process.join()

从analyze_fixture内部调用的方法,它也使用retrieve_page_v2def analyse_details(matches, team, team_2, statistics, name=""):

for match in matches[0:10]:

match_code = match.get('onclick')[17:25]

if(db.child("matches").child(match_code).child('total_goals').get().val() == None or db.child("matches").child(match_code).child("total_corners").get().val() == None or db.child("matches").child(match_code).child('winner').get().val() == None or db.child("matches").child(match_code).child('fh_winner').get().val() == None):

home_corners = "Unknown"

away_corners = "Unknown"

total_corners = "Unknown"

base_url = "https://www.flashscore.com/match/" + match_code

summary_url = "https://d.flashscore.com/x/feed/d_su_" + match_code + "_en_1"

statistics_url = "https://d.flashscore.com/x/feed/d_st_" + match_code + "_en_1"

base_soup = retrieve_page_v2(base_url)

summary_soup = retrieve_page_v2(summary_url, True)

teams = base_soup.find_all('a', {'class': 'participant-imglink'})

if(statistics):

statistics_soup = retrieve_page_v2(statistics_url, True)

发出请求的retrieve page方法def retrieve_page_v2(url, use_headers=False):

headers = {

"User-Agent": "core",

"Accept": "*/*"

"Accept-Language:" "*",

"X-Requested-With": "XMLHttpRequest",

"Connection": "keep-alive"

}

if(use_headers):

response = requests.get(url, headers=headers)

else:

response = requests.get(url)

return BeautifulSoup(response.content, features="lxml")

有人能帮我解决这个问题吗?我尝试过使用aiohttp,但似乎无法将其融入我编写的代码中

python连接池 commit,连接池请求Python相关推荐

  1. 使用python连接mysql和发送post请求

    一.使用python操作数据库 1.1 引入库 注:使用前需要使用老朋友pip下载pymysql. # 导入pymysql连接数据库 import pymysql 1.2 脚本 # 定义连接数据库的方 ...

  2. 手把手教你用Python搭建IP代理池,轻松破解请求频率限制反爬虫~

    我们所写的爬虫,它对服务器发出的网络请求频率要比正常用户的高的多,从而开发者可以将请求频率过高的用户视为爬虫程序,从而来限制爬虫程序. 今天志斌就来给大家分享一下,如何用Python搭建一个IP代理池 ...

  3. 【oracle数据库】控制台程序提示“池式连接请求超时”

    控制台程序提示"池式连接请求超时" 处理方式 1.查询哪个进程消耗cpu 比较多,找到其sid select ss.sid,se.command,ss.value CPU ,se. ...

  4. python 数据库连接池_【转】Python 数据库连接池

    python编程中可以使用pymysql进行数据库连接及增删改查操作,但每次连接mysql请求时,都是独立的去请求访问,比较浪费资源,而且访问数量达到一定数量时,对mysql的性能会产生较大的影响.因 ...

  5. JDBC:使用连接池管理连接

    2019独角兽企业重金招聘Python工程师标准>>> 一.数据库连接池 数据库连接是一种关键的有限的昂贵的资源,这一点在多用户的网页应用程序中体现得尤为突出.对数据库连接的管理能显 ...

  6. [Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息(四) —— 应对反爬技术(选取 User-Agent、添加 IP代理池以及Cookies池 )

    上一篇:[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息(三) -- 数据的持久化--使用MongoDB存储爬取的数据 最近项目有些忙,很多需求紧急上线,所以一直没能完善< 使用 ...

  7. Python MySQL数据库的连接以及基本操作

    Python MySQL数据库的连接以及基本操作 一.数据库的连接 1.直接连接 2.连接池连接 二. 数据库的基本操作 1.执行函数 2.创建数据表 3.删除表 4.插入函数 6.删除函数 7.状态 ...

  8. 池技术:连接池,线程池,内存池,进程池等汇总分析

    引言 在软件开发中,经常会遇到需要频繁创建和销毁某些资源的情况.这些资源可能是内存.线程.数据库连接等.频繁地创建和销毁资源可能导致性能下降和资源浪费.为了解决这些问题,软件开发者设计了一种称为&qu ...

  9. python数据库管理实例_Python数据库连接池实例——PooledDB

    不用连接池的MySQL连接方法 import MySQLdb conn= MySQLdb.connect(host='localhost',user='root',passwd='pwd',db='m ...

  10. Python爬虫-IP代理池和代理池设计

    本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云 作者:小小科 ( 想要学习Python?Python学习交流 ...

最新文章

  1. 太多人关注,太少人理解,这就是“量子计算”
  2. PAT甲级题目翻译+答案 AcWing(树)
  3. MATLAB 读取txt文件(importdata函数)
  4. 巧用DOS命令上传文件
  5. Red5流媒体服务器的搭建
  6. 专业声压手机测试软件,声音测量器app
  7. HUSTOJ超级详细部署文档
  8. 每日下载次数限制php,织梦实现会员限制用户单日下载软件资源的上限方法
  9. 基于select2的二级联动
  10. oracle数据库修改计算机名,oracle 批改计算机名
  11. Python实现人机交互剪刀石头布小游戏(七局四胜制)
  12. IntelliJ IDEA 注册码(phpstorm等IDE)
  13. 转大数据开发,适合什么岗位?
  14. java毕业生设计星星电影购票网站计算机源码+系统+mysql+调试部署+lw
  15. How to edit registry via CMD command
  16. gsoap java_gSoap的JAVA客户端
  17. python分别统计男女人数_python实现爬虫统计学校BBS男女比例(一),python男女比例...
  18. 半个月时间把MySQL重新巩固了一遍,梳理了一篇几万字 “超硬核” 文章!
  19. 服务器性能测试--super PI 测试
  20. 1109 擅长C(JAVA)

热门文章

  1. 【特征提取】基于matlab一帧语音共振峰提取【含Matlab源码 1768期】
  2. 【优化求解】基于matlab遗传算法求解多城市多应急物流中心选址问题【含Matlab源码 1724期】
  3. 【VRP】基于matlab节约里程算法求解车辆路径规划问题【含Matlab源码 1166期】
  4. 【优化分配】基于matlab粒子群算法求解火车票分配优化问题【含Matlab源码 1137期】
  5. 【数字信号】基于matlab GUI DTMF双音多频手机拨号仿真系统【含Matlab源码 1085期】
  6. 【图像处理】基于matlab直方图医学图像处理【含Matlab源码 458期】
  7. openai-gpt_GPT-3不会承担您的编程工作
  8. python:数组和列表相互转化
  9. 【C++】一次遇到的需要加入const属性的情况
  10. docxtemplater 图片模块_使用docxtemplater来处理word模板