aauto+java_高可用数据采集平台（如何玩转3门语言php+.net+aauto）

吐槽下：本人主程是PHP，团队里面也没有精通.net的人才，为了解决这个平台方案，还是费了一部分劲。

新年了，希望有个新的开始。技术+团队管理都有新的突破吧，在新的一年对自己好些，不能再继续搞基下去。

问题出发点：

´随着软件的日益强大，用户的使用需求越来越多，用户也希望众多数据进行整合，来达到资源的合理应用。

´有些数据资源需要抓取网页的形式来采集到数据。

´采集应用不统一，没有良好的管理程序，杂乱无章。

´采集应用经常性无响应，无相应的中断程序，极大照成应用的不稳定性。

解决方案：

为了解决上述问题，提出了如下的解决方案，主要是使用了服务平台这个概念。

数据采集服务：使用C#创建windows服务。(aauto至今没找到相应的创建windows服务的实例)

功能包括：

1. 定时请求待采集事项，并放入待采集队列

2. 多线程定时通过API上传资源数据以及其它状态信息。

3. 定时平台监控，采集应用时间过长发出中断通知，通知无响应强制关闭应用并且重新启动。

4. 上传心跳信息，保证数据采集服务正常运行。

采集应用：使用AAuto创建应用，其实使用.net也是可以创建采集应用的，主要考虑到aauto语言这块团队相对来说成熟点，而且已有现成的应用了，只需要稍微修改下就可以和服务平台对接了。

功能包括：1. 采集数据资源放入本地数据库，比如sqlite。

2. 保存耗时信息，通过耗时的均运算服务平台可以决定多久发出中断通知，以及可以预测多久时间可以完成工作。

状态应用：主要是辅助应用。

功能包括：

1) 可以查看处理进度

2) 可以查看数据上传进度

3) 可以查看待处理进度

4) 可以查看应用耗时信息

通过以上的解决方案来看：服务平台作为统筹工作者，负责与PHP API进行交互，相对来说对于采集应用来说相对独立，所以有很好的解耦性，同时又保证了稳定性。

采集应用不再负责与PHP API交互，主要负责与本地资源交互，那么相对来说，代码的工作量减少了，采集速度也能相应的提高。

具体代码实现：可以关注下后期的文章吧，我也会进量把代码贡献出来。觉得不错的给个赞吧，新的一年新气象。

aauto+java_高可用数据采集平台（如何玩转3门语言php+.net+aauto）相关推荐

高可用Hadoop平台－Oozie工作流之Hadoop调度
1.概述在<高可用Hadoop平台-Oozie工作流>一篇中,给大家分享了如何去单一的集成Oozie这样一个插件.今天为大家介绍如何去使用Oozie创建相关工作流运行与Hadoop上,已 ...
什么是高并发高可用一致性？| 现代网站架构发展 | C 语言实现布隆过滤器
大话高并发高可用一致性|网站架构发展|网络编程缓存|C 语言实现布隆过滤器 Bloom Filter 编程练习 | GTest 教程两个部分分为本文章,一部分是布隆过滤器的实现指引. 一个提供的前置 ...
高可用Hadoop平台－答疑篇
1.概述这篇博客不涉及到具体的编码,只是解答最近一些朋友心中的疑惑.最近,一些朋友和网友纷纷私密我,我总结了一下,疑问大致包含以下几点: 我学 Hadoop 后能从事什么岗位? 在遇到问题,我该如何 ...
高可用Hadoop平台－Oozie工作流
1.概述在开发Hadoop的相关应用使用,在业务不复杂,任务不多的情况下,我们可以直接使用Crontab去完成相关应用的调度.今天给大家介绍的是统一管理各种调度任务的系统,下面为今天分享的内容目录: ...
蚂蚁集团俞仁杰：金融级云原生之多活容器集群高可用建设实践
本文整理自蚂蚁集团金融云产品技术部SOFAStack产品专家俞仁杰在2020 GIDC全球互联网数据大会的分享.详细讲解了云原生架构下的多活高可用平台和产品建设相关经验和观点. 过去几年是云原生理念高 ...
tcpdump如何判断丢包_亿级规模的高可用微服务系统，如何轻松设计？
" 说到大规模微服务系统,往往是一些 7*24 时不间断运行的在线系统.那么如何设计一个大规模的微服务系统呢? 图片来自 Pexels 这样的系统往往有以下的要求: 高可用.这类的系统往往需 ...
云信私有化方案中如何搭建高可用的日志和监控平台？
导读云信公有云系列产品已经稳定运行数年,随着企业对信息安全和数据隔离愈加重视,云信产品私有化课题必然成为云信发展过程中一个的重要分支.依赖虚拟化和容器技术的日臻成熟,云信业务系统已经全面完成私有化, ...
国产自研、安全、高可用——袋鼠云大数据基础平台EasyMR筑基企业数字化转型
对于科技领域,只有自己掌握核心关键技术,实现自主可控,才能摆脱越来越频繁的"卡脖子事件",保证企业和国家信息安全. 俗话说"基础不牢,地动山摇".大数据基础平台 ...
容器云平台、灰度发布系统、微服务网关的高可用实践
http://www.sohu.com/a/227223771_355140 系统高可用是互联网企业系统架构的基础要求之一,一个好的高可用架构可以以最低的成本.更灵活的方式,满足企业用户需求.相反,糟 ...

aauto+java_高可用数据采集平台（如何玩转3门语言php+.net+aauto）

aauto+java_高可用数据采集平台（如何玩转3门语言php+.net+aauto）相关推荐

最新文章

热门文章