2020年《财富》中国500强排行榜数据爬取,看看都有哪些
前言
一个简单的demo,python爬虫,其实是以前的存货,很久很久没有写爬虫了,渣渣更渣了啊!
爬取财富中文网,2020年《财富》中国500强排行榜相关数据,数据都在网页源码里,结构也比较清晰,基本上一个请求页面可以搞定所有数据,一个老哥要的数据,用来做数据分析!
新人可以用来练手的网站,这里给出参考demo,仅供参考和学习使用!
fake_useragent库本地使用
来自于吾爱破解网站(ID:jxt441621944)上的分享,fake_useragent库也是本渣渣比较喜欢使用的一个库,比较方便吧,好用倒也说不上,看着用吧,fake_useragent库本地使用方法,这里给大家整理和打包了一下!
UserAgent就是用户代{过}{滤}理,是一串字符串,相当于是浏览器的身份证明,在写爬虫的时候频繁更换请求头中的UserAgent可以避免触发反爬机制(配合代{过}{滤}理IP食用更佳)。
fake_useragent就是可以获得一个随机的用户代{过}{滤}理的库。
fake_useragent库总共250条UA!
UA库文件:fake_ua.txt
py调用文件:fakeua.py
import randomwith open('fake_ua.txt', 'r') as f:fake_ua = [fua.strip() for fua in f.readlines()]print(random.choice(fake_ua))
python爬虫2020年《财富》中国500强排行榜数据爬取demo
import requests,random
from lxml import etree
import xlsxwriterclass Httprequest(object):ua_list = ['Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36Chrome 17.0','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0Firefox 4.0.1','Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1','Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50','Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50','Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',]@property #把方法变成属性的装饰器def random_headers(self):return {'User-Agent': random.choice(self.ua_list)}class Get_data(Httprequest):def __init__(self):self.url="http://www.fortunechina.com/fortune500/c/2020-07/27/content_369925.htm"self.murl="http://www.fortunechina.com/fortune500/c/2020-05/18/content_365275.htm"def get_data(self):html=requests.get(self.url,headers=self.random_headers,timeout=5).content.decode('utf-8')#print(html)req = etree.HTML(html)rankings=req.xpath('//table[@class="wt-table"]/tbody/tr/td[1]/text()')last_rankings=req.xpath('//table[@class="wt-table"]/tbody/tr/td[2]/text()')companys=req.xpath('//table[@class="wt-table"]/tbody/tr/td[3]/a/text()')incomes=req.xpath('//table[@class="wt-table"]/tbody/tr/td[4]/text()')profits=req.xpath('//table[@class="wt-table"]/tbody/tr/td[5]/text()')# print(ranking)# print(last_ranking)# print(company)# print(income)# print(profit)data_list=[]for ranking,last_ranking,company,income,profit in zip(rankings, last_rankings, companys, incomes, profits):data = [ranking,last_ranking,company,income,profit]print(data)data_list.append(data)print('\n')self.write_to_xlsx(data_list)def write_to_xlsx(self, data_list):workbook = xlsxwriter.Workbook('{}_search_results.xlsx'.format("2020年《财富》中国500强排行榜")) # 创建一个Excel文件worksheet = workbook.add_worksheet("2020年《财富》中国500强排行榜")title = ['排名', '上年排名', '公司名称(中文)', '营业收入(百万元)', '利润(百万元)'] # 表格titleworksheet.write_row('A1', title)for index, data in enumerate(data_list):# content = content.rstrip()# keyword, rank, include_num, chart_url, title, game_id, company_num, long_words_num = datanum0 = str(index + 2)row = 'A' + num0# data = [name, size, game_id]worksheet.write_row(row, data)workbook.close()def get_mdata(self):html=requests.get(self.murl,headers=self.random_headers,timeout=5).content.decode('utf-8')#print(html)req = etree.HTML(html)rankings=req.xpath('//table[@class="wt-table"]/tbody/tr/td[1]/text()')companys=req.xpath('//table[@class="wt-table"]/tbody/tr/td[2]/a/text()')incomes=req.xpath('//table[@class="wt-table"]/tbody/tr/td[3]/text()')profits=req.xpath('//table[@class="wt-table"]/tbody/tr/td[4]/text()')data_list=[]for ranking,company,income,profit in zip(rankings,companys, incomes, profits):data = [ranking,company,income,profit]print(data)data_list.append(data)print('\n')self.write_to_mxlsx(data_list)def write_to_mxlsx(self, data_list):workbook = xlsxwriter.Workbook('{}_search_results.xlsx'.format("2020年《财富》美国500强排行榜")) # 创建一个Excel文件worksheet = workbook.add_worksheet("2020年《财富》美国500强排行榜")title = ['排名', '公司名称(中文)', '营业收入(百万美元)', '利润(百万美元)'] # 表格titleworksheet.write_row('A1', title)for index, data in enumerate(data_list):# content = content.rstrip()# keyword, rank, include_num, chart_url, title, game_id, company_num, long_words_num = datanum0 = str(index + 2)row = 'A' + num0# data = [name, size, game_id]worksheet.write_row(row, data)workbook.close()if __name__=="__main__":spider=Get_data()#spider.get_data()spider.get_mdata()
2020年《财富》中国500强排行榜数据爬取,看看都有哪些相关推荐
- python爬虫,2020年《财富》中国500强排行榜数据爬取源码
一个简单的demo,python爬虫,其实是以前的存货,很久很久没有写爬虫了,渣渣更渣了啊! 爬取财富中文网,2020年<财富>中国500强排行榜相关数据,数据都在网页源码里,结构也比较清 ...
- 中国500强排行榜数据爬取,看看都有哪些大佬
前言 一个简单的demo,python爬虫,其实是以前的存货,很久很久没有写爬虫了,渣渣更渣了啊! ( 想要学习Python?Python学习交流群:1039649593,满足你的需求,资料都已经上传 ...
- 可视化分析中国500强排行榜数据后,我发现了...
1 前言 今天来跟大家分析一下2020年中国500强企业排行榜数据,从不同角度去对数据进行统计分析,可视化展示. 主要分析内容: 中国500强企业-省份分布. 中国500强企业-营业收入年增率. 中国 ...
- 【Python实战】Python对中国500强排行榜数据进行可视化分析
目录
- 2020财富中国500强:京东位列第13,阿里位列第18
今天,财富中文网对外发布了2020年的<财富>中国500强排行榜,榜单头部公司依次是:中石化.中石油和中国建筑.两家民营上市"互联网服务与零售"企业京东和阿里巴巴的排位 ...
- 京东上位2018年财富中国500强民企第一席 首次实现全年盈利
7月10日晚间,财富中文网公布了2018年的中国500强排行榜,京东集团以2017年全年3623亿元的收入排名总榜单第18位,较去年提升了3位,同时也跻身国内民营企业的第一位,并蝉联国内零售行业第一位 ...
- 2018年财富中国500强:东方明珠蝉联登榜 领跑文化传媒业
上海2018年7月11日电 /美通社/ -- 最新<财富>中国500强排行榜揭晓,该榜单考量了全球范围内最大的中国上市企业在过去一年的业绩和成就.东方明珠新媒体股份有限公司连续第二年入选, ...
- 2013年中国500强排行榜(公司名单及网址)
2013年中国500强排行榜(公司名单) (数据来源于:财富中文网) 排名 公司名称 公司网址 1 中国石油化工股份有限公司 www.sinopec.com 2 中国石油天然气股份有限公司 www.p ...
- 2013年中国500强排行榜(zz)
2013年中国500强排行榜 排名 上年 排名 公司名称 (中文) 营业收入 (百万元) 利润 (百万元) 总部 所在 1 1 中国石油化工股份有限公司 2786045 63496 北京市 2 2 中 ...
最新文章
- 介绍 9 款 MySQL 常见的图形化工具,第三款我用了 10 年
- 用DataBindings属性绑定控件的值
- vs调试时,变量值以十六进制显示
- 【算法基础】数据结构导论第三章-栈、队列和数组.pptx
- python 链表 【测试题】
- 限时9.9元 | 快速领取数学建模竞赛备战必备技巧与论文详解!
- 在使用代理的服务器上“curl: (6) Could not resolve host:“问题的解决方案
- Android Handler机制分析
- 推荐一款录屏软件——EV录屏
- QQ音乐会员QMC格式批量在线转换为MP3格式
- 计算机桌面美化软件,电脑桌面软件哪个好 桌面美化管理软件推荐
- java 聊天室 私聊_使用socket实现网络聊天室和私聊功能
- 404常见的几种错误原因
- CSS3 自定义动画(animation)
- 武汉大学计算机学院李明,第一届CSIG全国SLAM技术论坛成功举办
- 学习JBPM 工作流引擎 API方法(二)
- Java基础语法知识你真的都会吗?
- 请不要让程序员在黑暗中摸索
- c++基本语法入门小游戏
- 【硬十宝典】——7.2【动态RAM】DDR4与DDR3区别解析