用python进行金融市场文本数据的情感计算
推荐阅读
之前我依据一篇论文中的中文金融情感词典CFSD(chinese financial sentiment dictionary),
一、tushare介绍
tushare库是目前比较流行的开源免费的经济数据库,tushare有普通版和高级版,其中普通版无需积分就可以使用,而高级版需要使用积分才可使用。
tushare基础班提供了包括:
交易数据,如历史行情、复权数据、实时行情等
投资参考数据,如分配方案、业绩预告、限售股解禁、基金持股、新浪数据、融资融券
股票分类数据、行业、概念、地域、中小板、创业板、封校警示板生
基本面数据、股票列表、业绩报告(主表)、盈利能力、营运能力、偿债能力等
宏观经济数据,如存款利率、贷款利率、GDP数据、工业品出场价格指数、居民消费节各直属
新闻事件数据,如新浪股吧
龙虎榜数据
银行间同业拆放理论
电影票房
安装
!pip3 install tushare
Run
Collecting tushare
[?25l Downloading https://files.pythonhosted.org/packages/a9/8b/2695ad38548d474f4ffb9c95548df126e82adb24e56e2c4f7ce1ef9fbd01/tushare-1.2.43.tar.gz (168kB)
[K 100% |████████████████████████████████| 174kB 162kB/s ta 0:00:01
[?25hBuilding wheels for collected packages: tushare Running setup.py bdist_wheel for tushare ... [?25ldone
[?25h Stored in directory: /Users/thunderhit/Library/Caches/pip/wheels/4b/28/7b/62d7a4155b34be251c1840e7cecfa4c374812819c59edba760
Successfully built tushare
Installing collected packages: tushare
Successfully installed tushare-1.2.43
[33mYou are using pip version 18.1, however version 19.2.3 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.[0m
二、新闻数据
新闻事件接口主要提供国内财经、证券、港股和期货方面的滚动新闻,以及个股的信息地雷数据。但目前只有新浪股吧api的接口可用,其他的需要使用tushare高级版。
获取sina财经股吧首页的重点消息。股吧数据目前获取大概17条重点数据,可根据参数设置是否显示消息内容,默认情况是不显示。
参数说明:
show_content:boolean,是否显示内容,默认False
返回值说明:
title, 消息标题
content, 消息内容(show_content=True的情况下)
ptime, 发布时间
rcounts,阅读次数
调用方法
import tushare as ts
#显示详细内容
newsdata = ts.guba_sina(show_content=True)
newsdata.head(10)
三、读取词典
之前制作的中文金融情感词典是csv文件格式,我们使用pandas读取
import pandas as pd
df = pd.read_csv('CFSD/pos.csv', encoding='gbk')
df.head()
我们将读取词典定义成函数
def read_dict(file, header): """ file: 词典路径 header: csv文件内字段名,如postive 读取csv词典,返回词语列表 """ df = pd.read_csv(file, encoding='gbk') return list(df[header])
poswords = read_dict(file= 'CFSD/pos.csv', header = 'postive')
negwords = read_dict(file= 'CFSD/neg.csv', header ='negative')
negwords[:5]
run
['闭门造车', '闭塞', '云里雾里', '拖累', '过热']
三、情感分析方法
这里我们对新闻content内容进行情感分析,分析的思路是统计content中正、负词的占比。我们会用到pandas的 df.agg(func)
方法对content列进行文本计算。这需要先定义一个待调用的情感计算函数,注意有可能出现分母为0,所以定义的函数使用了try except捕捉0除异常,返回0
def pos_senti(content): """ content: 待分析文本内容 返回正面词占文本总词语数的比例 """ try: pos_word_num = 0 words = jieba.lcut(content) for kw in poswords: pos_word_num += words.count(kw) return pos_word_num/len(words) except: return 0 def neg_senti(content): """ content: 待分析文本内容 返回负面词占文本总词语数的比例 """ try: neg_word_num = 0 words = jieba.lcut(content) for kw in negwords: neg_word_num += words.count(kw) return neg_word_num/len(words) except: return 0
对content列分别施行情感计算函数possenti,negsenti,将得到的得分赋值给pos、neg列
newsdata['pos']=newsdata['content'].agg(pos_senti)
newsdata['neg']=newsdata['content'].agg(neg_senti)
newsdata.head(10)
我们的数据中出现了pos和neg两个得分,我们还可以定义一个判断函数,判断文本的情绪分类。
当pos比neg大,判断为'正'
当pos比neg小,判断为'负'
这里不严谨,为了教程简单,没考虑相等的情况
newsdata['senti_classification'] = newsdata['pos']>newsdata['neg']
newsdata['senti_classification'] = newsdata['senti_classification'].map({True:"正", False:"负"})
newsdata.head(10)
总结
至此,简单的情感计算就实现了。大家使用本文时,要注意:
本文使用的情感词典是CFSD中文金融情感词典,大家可以用自己领域的词典,得到poswords和negwords
还有要注意的是情感计算函数(possenti和negsenti),有不同的算法就有不同的结果
正负面倾向判断,我这里比较粗糙,没有考虑相等的中性问题。
注意以上几点,本文的代码就可复用。不过再好的代码,前提是会python,会懂编程思维,知道如何写代码改代码,不然大家用起来也比较困难。广告再次袭来
2019年10月4日-6日,杭州
咨询请加微信,记得备注”工作坊”
1
欢迎扫码咨询!!
用python进行金融市场文本数据的情感计算相关推荐
- python行业中性_用python进行金融市场文本数据的情感计算
之前我依据一篇论文中的中文金融情感词典CFSD(chinese financial sentiment dictionary),中文金融领域情感词典构建, 整理成csv文件的情感词典.现在我们找点财经 ...
- python资本市场财务数据分析_Python学习教程:用Python进行金融市场文本数据的情感计算...
今天我们的Python学习教程找点财经类新闻文本数据用Python来做点简单的情感分析. 一.tushare介绍 tushare库是目前比较流行的开源免费的经济数据库,tushare有普通版和高级版, ...
- python情感词典计算得分_用python进行金融市场文本数据的情感计算!
之前我依据一篇论文中的中文金融情感词典CFSD(chinese financial sentiment dictionary), 中文金融领域情感词典构建 ,整理成csv文件的情感词典.现在我们找点财 ...
- python下载文件到本地-Python下载网络文本数据到本地内存的四种实现方法示例
本文实例讲述了Python下载网络文本数据到本地内存的四种实现方法.分享给大家供大家参考,具体如下: import urllib.request import requests from io imp ...
- 自然语言处理NLP之文本蕴涵、智能问答、语音识别、对话系统、文本分类、情感计算
自然语言处理NLP之文本蕴涵.智能问答.语音识别.对话系统.文本分类.情感计算 目录
- python读取微博文本数据,对微博文本进行分句(分句主要以特定的标点符号为主)。...
首先,您需要安装 Python 的第三方库 jieba,可以使用 pip install jieba 命令安装. 然后,您需要使用 Python 的文件操作函数读取微博文本数据,例如使用 open() ...
- python——读取txt文本数据并可视化
最近用于对比结果,使用到了python的基本操作,之前也有了解但是与M相比难免有些区别 txt文本数据如下 0.9453125 0.9640625 0.671875 0.55625 0.475 0.9 ...
- python读取txt文本数据进行分词并生成词云图片
python对数据分词,生成词云图片 小编在日常生活工作中学习到的点,在此记录一下,希望能够帮助有需要的小伙伴. 文章目录 python对数据分词,生成词云图片 前言 一.全部代码 选用的图片和效果图 ...
- python数据分析(分析文本数据和社交媒体)
前言:推荐下我自己建的人工智能Python学习群:[809160367],群里有我整理的一份关于pytorch.python基础,图像处理opencv\自然语言处理.机器学习.数学基础等资源库,想学习 ...
最新文章
- python os.system 不打印_Python初体验之我爱你
- openstack运维实战系列(十)之nova指定compute节点和IP地址
- 交换机调试工具_工业以太网交换机安装流程图解
- java poi导入50万数据_java从oracle读取50万条数据写入Excel中抛GC overhead limit exc
- 使用BarTender连接Excel文件批量打印图片
- 华为光猫HG8120C的一些配置文件
- cc2530单片机是几位单片机_cc2530中单片机的通用I/O接口
- python 拟合圆_OpenCV曲线拟合与圆拟合
- Spring Boot 阿里云短信平台手机验证码测试
- IIS站点部署后频繁弹出“Visual Studio实时调试器”问题
- php输出跳转下一页,tp5页面输出时,搜索后跳转下一页的处理
- R语言系统教程(三):多维数组和矩阵
- github 免费图床
- windows怎样连接到linux桌面,Windows远程桌面连接Ubuntu 14.04
- 关于win 10电脑连接手机热点自动断开的问题
- Filter过滤器基本内容
- 【可救砖】CM211-1/201-1等S905L3(B)_安卓9-通刷极致精简免拆语音-线刷固件及教程202208
- 用java解一元二次方程组
- Echarts (option.yAxis) Y轴 的属性
- 企业安全建设丨标准化建设之网络安全应急响应浅析