EventMonitor

Event monitor based on online news corpus built by Baidu search enginee using event keyword for event storyline and analysis，基于给定事件关键词，采集事件资讯，对事件进行挖掘和分析。
项目地址：https://github.com/liuhuanyong/EventMonitor/

项目路线图

项目细分

1)　基于话题关键词的话题历时语料库采集

执行方式：进入EventMonitor目录下，进入cmd窗口，执行"scrapy crawl eventspider -a keyword=话题关键词"，或者直接python crawl.py, 等待数秒后，既可以在news文件夹中存储相应的新闻文件,可以得到相应事件的话题集,话题历史文本

2)关于热点事件的情感分析

对于1)得到的历史语料，可以使用基于依存语义和情感词库的篇章级情感分析算法进行情感分析
这部分参考我的篇章级情感分析项目DocSentimentAnalysis：https://github.com/liuhuanyong/DocSentimentAnalysis

3)关于热点事件的搜索趋势

对于1)得到的历史语料，可以使用百度指数，新浪微博指数进行采集
这部分参考我的百度指数采集项目BaiduIndexSpyder：https://github.com/liuhuanyong/BaiduIndexSpyder
微博指数采集项目WeiboIndexSpyder：https://github.com/liuhuanyong/WeiboIndexSpyder

4)关于热点事件的话题分析

对于1)得到的历史语料，可以使用LDA,Kmeans模型进行话题分析
这部分参考我的话题分析项目Topicluster：https://github.com/liuhuanyong/TopicCluster

5)关于热点事件的代表性文本分析

对于1)得到的历史语料，可以使用跨篇章的textrank算法，对文本集的重要性进行计算和排序
这部分参考我的文本重要性分析项目ImportantEventExtractor：https://github.com/liuhuanyong/ImportantEventExtractor

6)关于热点事件新闻文本的图谱化展示

对于得到每个历史新闻事件文本，可以使用关键词，实体识别等关系抽取方法对文本进行可视化展示
这部分内容，参考我的文本内容可视化项目项目TextGrapher：https://github.com/liuhuanyong/TextGrapher

结束语

关于事件监测的方法有很多，也有很多问题需要去解决，以上提出的方法只是一个尝试，就算法本身还有许多需要改进的地方

项目地址：https://github.com/liuhuanyong/EventMonitor/
If any question about the project or me ,see https://liuhuanyong.github.io/

特定热点事件监控与分析项目相关推荐

2020年上半年教育舆情新闻热点事件案例分析报告合集
回顾2020年上半年发生的教育舆情新闻热点事件,发现其中在网上引发舆论热议的事件可不少,如广州方圆小学哮喘女孩反转事件.高考舆情热点事件.教师岗位顶替等.这里蚁坊软件有挑选了2020年上半年热议度高 ...
2020年下半年教育热点事件舆情分析研判报告整合
回顾2020年下半年教育舆情网络热点话题及事件,可以发现其中在网上引发舆论争议性的事件没少发生.那么到底2020年下半年都有哪些教育舆情网络热点话题及事件呢? 2020年下半年教育热点事件舆情分析研 ...
基于kmeans聚类算法的微博舆情热点事件分析系统
目录第一章引言 2 1.1 研究背景及意义 2 1.2 国内外相关问题研究现状 3 1.3 论文的理论意义与实用价值 4 第二章相关技术介绍 4 2.1 开发平台简述 4 2.2 OAuth2. ...
Spring项目接入微信关注/取消关注事件监控（含代码demo，自动回复图文）
微信官方文档地址:关注/取消关注事件 | 微信开放文档以上,文档提到:用户在关注与取消关注公众号时,微信会把这个事件推送到开发者填写的URL,接下来我们就来看看这个URL怎么配置. [配置步骤]: ...
docker事件events监控实现分析
go event 实现原理使用一个队列保存events事件,先进入到队列的事件先得到处理开启一个协程,循环检测队列中是否有事件队列事件的写入必须在另外的协程中,所以必须使用锁保护队列events ...
观2021年公安监控运维项目，察智能运维平台必不可少
一.2021公安监控运维项目特点 2021年只余下一个小尾巴了,2021年相对2020年来好了很多,无论是疫情的遏制,还是项目的机会.12月作为年度冲刺的最后一个月,应该还是有不少项目即将落地.最近趁 ...
基于LDA和baidu-aip的舆情分析项目
概述本文主要分为数据获取(微博爬虫).文本分析(主题抽取.情感计算). 项目场景:以微博为数据源,分析新冠疫苗舆情的主题演化和情感波动趋势,结合时事进行验证,从而得出特殊事件对于舆情的特定影响,为突 ...
只要5分钟用数据可视化带你看遍11月份新闻热点事件
2017年11月份已经离我们而去,在过去的11月份我们也许经历了双十一的剁手,也可能亲眼看见了别人剁手.11月份的北京大兴区发生了"11·18"重大火灾,国内多家幼儿园也多次上了头 ...
突发热点事件下微博高可用注册中心vintage的设计\u0026实践
当前微博服务化采用公有云+私有云的混合云部署方式,承载了每天百亿级的流量,vintage 作为微博微服务的注册中心,为管理 10w 级微服务节点以及在流量激增的情况下的服务快速扩缩容,面临了极大挑战. ...

特定热点事件监控与分析项目

EventMonitor

项目路线图

项目细分

1)　基于话题关键词的话题历时语料库采集

2)关于热点事件的情感分析

3)关于热点事件的搜索趋势

4)关于热点事件的话题分析

5)关于热点事件的代表性文本分析

6)关于热点事件新闻文本的图谱化展示

结束语

特定热点事件监控与分析项目相关推荐

最新文章

热门文章

特定热点事件监控与分析项目

EventMonitor

项目路线图

项目细分

1) 基于话题关键词的话题历时语料库采集

2)关于热点事件的情感分析

3)关于热点事件的搜索趋势

4)关于热点事件的话题分析

5)关于热点事件的代表性文本分析

6)关于热点事件新闻文本的图谱化展示

结束语

特定热点事件监控与分析项目相关推荐

最新文章

热门文章

1)　基于话题关键词的话题历时语料库采集