Python 爬虫抓取网站汇率并将结果保存到文件

网页上查看汇率：

保存到本地效果：

代码实现如下：

import requests
from bs4 import BeautifulSoup
url='http://fx.xxx/' #commentthe actual URL for acticle publish
res=requests.get(url)
content=res.text
soup=BeautifulSoup(content,'html.parser')
all_ccy=soup.find_all(id='realRateInfo')
ccy_table=[]
for ccy in all_ccy:ccy_name=ccy.find('table')for ccy1 in ccy_name:ccy2=ccy1.textccy3=ccy2.replace(' ','') #remove whitespaceccy_for_table=ccy3.strip().replace('\r\n\n\r\n',',') #remove empty linesccy_for_table2=ccy_for_table.strip().replace('\r\n\n\n查看历史>>','') #remove extra empty lines and stringccy_for_table3=ccy_for_table2.strip().replace(',汇率走势图','') #remove extra stringccy_table.append(ccy_for_table3) #save the result into a list
csvfile= open('ccy.csv', 'w', newline='') #save the result into ccy.csv file
for each in ccy_table:    # print the ccylist into fileif len(each)>0:     #skip empty line being savedcsvfile.write(each) csvfile.write('\n') #start a new line
csvfile.close()

Python 爬虫抓取网站汇率并将结果保存到文件相关推荐

python爬虫抓取网站技巧总结
不知道为啥要说是黑幕了??哈哈哈-..以后再理解吧 python爬虫抓取网站的一些总结技巧学用python也有3个多月了,用得最多的还是各类爬虫脚本:写过抓代理本机验证的脚本,写过在discuz论坛 ...
python 爬虫抓取网站img图片
from getHtml import getHtmlWinthIp from getHtml import getHtml from bs4 import BeautifulSoup from ur ...
Python爬虫抓取某音乐网站MP3（下载歌曲、存入Sqlite）
Python爬虫抓取某音乐网站MP3(下载歌曲.存入Sqlite) 最近右胳膊受伤,打了石膏在家休息.为了实现之前的想法,就用左手打字.写代码,查资料完成了这个资源小爬虫.网页爬虫, 最主要的是协议分 ...
python如何爬取网站所有目录_用python爬虫爬取网站的章节目录及其网址
认识爬虫网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟 ...
Python学习教程：Python爬虫抓取技术的门道
Python学习教程:Python爬虫抓取技术的门道 web是一个开放的平台,这也奠定了web从90年代初诞生直至今日将近30年来蓬勃的发展.然而,正所谓成也萧何败也萧何,开放的特性.搜索引擎以及简单 ...
如何用python爬股票数据_python爬虫股票数据,如何用python 爬虫抓取金融数据
Q1:如何用python 爬虫抓取金融数据获取数据是数据分析中必不可少的一部分,而网络爬虫是是获取数据的一个重要渠道之一.鉴于此,我拾起了Python这把利器,开启了网络爬虫之路. 本篇使用的版本为 ...
python爬虫app步骤_Python爬虫抓取手机APP的传输数据，python爬虫抓取app
Python爬虫抓取手机APP的传输数据,python爬虫抓取app 大多数APP里面返回的是json格式数据,或者一堆加密过的数据 .这里以超级课程表APP为例,抓取超级课程表里用户发的话题. 1. ...
Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储（转）
Python爬虫可以说是好玩又好用了.现想利用Python爬取网页股票数据保存到本地csv数据文件中,同时想把股票数据保存到MySQL数据库中.需求有了,剩下的就是实现了. 在开始之前,保证已经安装好 ...
Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
如何使用Python爬虫抓取数据？
Python爬虫应用十分广泛,无论是各类搜索引擎,还是日常数据采集,都需要爬虫的参与.其实爬虫的基本原理很简单,今天小编就教大家如何使用Python爬虫抓取数据,感兴趣的小伙伴赶紧看下去吧! 工具安装 ...

Python 爬虫抓取网站汇率并将结果保存到文件

Python 爬虫抓取网站汇率并将结果保存到文件相关推荐

最新文章

热门文章