学习分享:学术前言趋势分析3—论文代码统计
文章目录
- 1、数据处理步骤
- 2、正则表达式
- 3、具体代码实现
任务内容:使用正则表达式统计代码连接、页数和图表数据;
任务成果:学习正则表达式统计
1、数据处理步骤
在原始arxiv数据集中作者经常会在论文的comments或abstract字段中给出具体的代码链接,所以我们需要从这些字段里面找出代码的链接。
确定数据出现的位置;
使用正则表达式完成匹配;
完成相关的统计
2、正则表达式
正则表达式(regular expression)描述了一种字符串匹配的模式(pattern),可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。
1)普通字符:大写和小写字母、所有数字、所有标点符号和一些其他符号
2)特殊字符:有特殊含义的字符
3)限定符
3、具体代码实现
import seaborn as sns #用于画图
from bs4 import BeautifulSoup #用于爬取arxiv的数据
import re #用于正则表达式,匹配字符串的模式
import requests #用于网络连接,发送网络请求,使用域名获取对应信息
import json #读取数据,我们的数据为json格式的
import pandas as pd #数据处理,数据分析
import matplotlib.pyplot as plt #画图工具data = [] # 初始化
# 使用with语句优势:1.自动关闭文件句柄;2.自动显示(处理)文件读取数据异常
with open("arxiv-metadata-oai-snapshot.json", 'r') as f:for idx, line in enumerate(f):d = json.loads(line)d = {'abstract': d['abstract'], 'categories': d['categories'], 'comments': d['comments']}data.append(d)data = pd.DataFrame(data) # 将list变为dataframe格式,方便使用pandas进行分析# 使用正则表达式匹配,XX pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* pages', str(x)))# 筛选出有pages的论文
data = data[data['pages'].apply(len) > 0]# 由于匹配得到的是一个list,如['19 pages'],需要进行转换
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace(' pages', '')))data['pages'].describe().astype(int)# 选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])# 每类论文的平均页数
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')
plt.show()data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures', str(x)))
data = data[data['figures'].apply(len) > 0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace(' figures', '')))# 筛选包含github的论文
data_with_code = data[(data.comments.str.contains('github')==True)|(data.abstract.str.contains('github')==True)
]
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')# 使用正则表达式匹配论文
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')
plt.show()
学习分享:学术前言趋势分析3—论文代码统计相关推荐
- 学习分享:学术前言趋势分析2—论文作者统计
文章目录 1.数据处理 2.字符串处理 3.具体代码 任务内容:论文作者的统计.使用 Pandas 读取数据并使用字符串操作: 任务成果:学习 Pandas 的字符串操作 1.数据处理 在原始arxi ...
- 学习分享:学术前言趋势分析1—论文数据统计
文章目录 1.数据集介绍 2.代码学习心得 (1) split()函数 (2) 正则表达式 (3) 数据分析及可视化 3.具体代码实现 学习主题:论文数量统计,统计2019年全年,计算机各个方向论文数 ...
- Datawhale组队学习21期_学术前沿趋势分析Task2_论文作者统计
任务说明 任务主题:论文作者统计,统计所有论文作者出现评率Top10的姓名: 任务内容:论文作者的统计.使用 Pandas 读取数据并使用字符串操作: 任务成果:学习 Pandas 的字符串操作: 数 ...
- DataWhale | 学术前言趋势分析 | Task4 论文种类分类
Task4 论文种类分类 任务说明 数据处理步骤 文本分类思路 具体代码实现以及讲解 导包 数据准备 数据处理 本文主要使用TF-IDF+机器学习分类器和FastText两种方法进行论文种类的分类,而 ...
- 【算法竞赛学习】学术前沿趋势-论文代码统计
任务3:论文代码统计 3.1 任务说明 任务主题:论文代码统计,统计所有论文出现代码的相关统计: 任务内容:使用正则表达式统计代码连接.页数和图表数据: 任务成果:学习正则表达式统计: 3.2 数据处 ...
- 第三节:论文代码统计-学习笔记
任务说明 任务主题:论文代码统计,统计所有论文出现代码的相关统计: 任务内容:使用正则表达式统计代码连接.页数和图表数据: 任务成果:学习正则表达式统计: 数据处理步骤 在原始arxiv数据集中作者经 ...
- 【竞赛算法学习】学术前沿趋势分析-论文数据统计
任务1:论文数据统计 1.1 任务说明 任务主题:论文数量统计,即统计2019年全年计算机各个方向论文数量: 任务内容:赛题的理解.使用 Pandas 读取数据并进行统计: 任务成果:学习 Panda ...
- 【学术前沿分析】1 论文数据统计
论文数据统计 1.1 任务说明 读取json数据.爬取数据: 论文数量统计,即统计2019年全年计算机各个方向论文数量: 1.2 数据集介绍 数据集来源:数据集链接: 数据集的格式如下: id:arX ...
- 【学术前沿趋势分析 】
学术前沿趋势分析 Task 01:论文数据统计 Task 02:论文作者统计 Task 03:论文代码统计 Task 04:论文种类分类 Task:5:作者信息关联 Task 01:论文数据统计 任务 ...
最新文章
- java ojdbc 还需要装 oracle client 吗,c# 连接Oracle数据库必须安装客户端吗
- 动态添加方法 并且动态的执行 有类方法 对象方法
- 盛趣游戏 html5游戏,盛趣游戏谭雁峰:游戏破局的“精细”时代已来
- Python计算机视觉:安装
- CSS3技巧:利用css3径向渐变做一张优惠券(转)
- 第十二章 Shell脚本编写及常见面试题(三)
- Oracle dbms_random随机函数包
- 网络规划设计师论文汇总(2012-2018)考前冲刺真题
- html5--3.1 form元素
- html5模板 制作,优秀的H5作品是如何炼成的?模板制作详解!
- 在文件保存中 os.getcwd() os.listdir() os.makedirs() os.mkdir() xx.join() ... 等函数 的使用介绍...
- Fedora 25-64位操作系统中安装配置Hyperledger Fabric过程
- PDF打印内容缺失问题解决办法
- GraphQL(四):GraphQL工程化实践
- gallery3d源码学习总结(一)——绘制流程drawFocusItems
- opencv下载过慢的问题
- (20200410已解决)ValueError: Cannot convert non-finite values (NA or inf) to integer
- pci-e服务器显卡性能,目前性能最好的显卡 NVIDIA发布Tesla V100,PCI-E接口
- 【云原生 | Kubernetes 系列】--Envoy熔断
- [buuctf]ciscn_2019_ne_5
热门文章
- Kubernetes1.3:Quota配额管理
- 解决使用专有网络的阿里云服务器无法远程连接的问题
- Google Earth 成长历程的15个小故事
- 基于微信小程序的校园二手商城的设计与实现-计算机毕业设计源码+LW文档
- 通信软件自动化测试,基于eNodeB控制面软件的自动化测试系统架构设计
- 超百人录取985研究生!东南大学计算机学院毕业情况
- AI资源收集(持续更新)
- java hive和hbase整合,Hive入门3–Hive与HBase的整合
- 计算机械效率的公式怎么读,机械效率的计算公式图
- R-GUI:图形界面介绍