StoneDT开源舆情系统大数据技术栈介绍

我们目前开源的舆情系统分为3个部分，整个系统使用了多种开源技术组件和开源框架，涵盖涉及技术领域广泛，例如：分布式计算、大数据、人工智能、数据中台、数据挖掘、深度学习、java和python的大量实际开发场景案例。

所谓，取之于开源,用之于开源，我们把整套系统开源出去，回馈给技术社区。同时，我们也会逐步的讲解，在这个开源舆情系统中我们是如何使用这些技术的，以及在使用中遇到的各种问题和工程师们的解决方案。

数据采集

开发平台：Java EE & SpringBoot
爬虫框架：Spider-flow & WebMagic & HttpClient
APP爬虫：Xposed框架
URL仓库：Redis
网页渲染解析：Jvppeteer & Playwright（微软开源）
web应用服务器：Nginx & Tomcat
储存任务发送：Kafka & Zookeeper
抓取任务发送：RabbitMQ
配置管理：MySQL
前端展示：Bootstrap & VUE

数据处理

开发框架：SpringBoot
开发语言：Java JEE
数据暂存：MySQL
数据索引：Redis
深度学习：PaddlePaddle
自然语言处理：HaNLP & THUCTC
数据处理和储存任务发送：Kafka & Zookeeper
数据中台：自研 & DataEase
数据初始化：集成FlyWay，自动初始化MySQL
数据总线：RockAPI （进行了二次开发）

数据分析

数据库：MySQL
数据检索：Elasticsearch
中文分词器：IK分词
相似度计算：Clickhouse
数据同步：DataX
文章储存：Mongodb
数据缓存：Redis
消息队列：kafak & rabbitMQ
开发框架：SpringBoot
开发语言：Java JEE
图表展示：Apache Echarts & anyCharts

项目地址

开源项目地址：https://gitee.com/stonedtx/yuqing

在线体验

环境地址：http://open-yuqing.stonedt.com
用户名：13900000000
密码：stonedt

原文地址：StoneDT开源舆情系统大数据技术栈介绍

StoneDT开源舆情系统大数据技术栈介绍相关推荐

大数据技术基础_【基础】大数据技术栈介绍
大数据技术的体系庞大且复杂,基础的技术包含数据的采集.数据预处理.分布式存储.NoSQL数据库.数据仓库.机器学习.并行计算.可视化等各种技术范畴和不同的技术层面. 首先给出一个通用化的大数据处理框架 ...
axure9数据统计插件_WMDA：大数据技术栈的综合实践
一.概述 WMDA是58自主开发的用户行为分析产品,同时也是一款支持无埋点的数据采集产品,只需要在第一次使用的时候加载一段SDK代码,即可采集全量.实时的PC.M.APP三端以及小程序的用户行为数据. ...
昂贵、复杂、低效...中小型企业如何打破大数据技术栈困境？
大数据已经成为当代经济增长的重要驱动力数字经济,已经成为当今经济发展中非常重要的一部分. 与农业经济.工业经济如出一辙,数字经济活动需要土地.劳动力.资本.技术以及相应配套基础设施.不同之处在于:第 ...
Hive介绍与核心知识点--大数据技术栈12
回顾:大数据平台技术栈 (ps:可点击查看),今天就来说说其中的Hive! 作者:高广超,多年一线互联网研发与架构设计经验,擅长设计与落地高可用.高性能.可扩展的互联网架构.目前从事大数据相关研发与架 ...
Flink在美团的实践与应用--大数据技术栈15
回顾:大数据平台技术栈 (ps:可点击查看),今天就来说说其中的Flink! 来自:云栖社区本文整理自在北京举行的Flink Meetup,分享嘉宾刘迪珊(2015年加入美团数据平台.致力于打造高效 ...
Storm原理与实践--大数据技术栈14
回顾:大数据平台技术栈 (ps:可点击查看),今天就来说说其中的Storm! 来自:有米加瓦一.Storm简介 1. 引例在介绍Storm之前,我们先看一个日志统计的例子:假如我们想要根据用户的访 ...
图解Spark原理及实践----大数据技术栈12
回顾:大数据平台技术栈 (ps:可点击查看),今天就来说说其中的Spark! 来自:ITPUB Spark 已经成为广告.报表以及推荐系统等大数据计算场景中首选系统,因效率高,易用以及通用性越来越得到 ...
storm 机器上日志查询_Storm原理与实践大数据技术栈14
回顾:大数据平台技术栈 (ps:可点击查看),今天就来说说其中的Storm! 来自:有米加瓦一.Storm简介 1. 引例在介绍Storm之前,我们先看一个日志统计的例子:假如我们想要根据用户的访 ...
Hadoop大数据技术栈详解
一.大数据概述 1.大数据简介大数据(Big Data)∶指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高 ...