腾讯 Node.js 基础设施 Tencent Server Web 正式开源
开发四年只会写业务代码,分布式高并发都不会还做程序员? >>>
经过六年的迭代与沉淀,腾讯Tencent Server Web (以下简称TSW)这一公司级运维组件于今日正式开源。TSW是面向WEB前端开发者,以提升问题定位效率为初衷,提供云抓包、全息日志和异常发现的Node.js基础设施。TSW每天为百亿次请求提供稳定服务,广泛应用在QQ空间、微视、微云、QQ音乐、全民K歌、腾讯云等三十多个重要业务当中。
官方网站:https://tswjs.org
Github 开源地址:https://github.com/Tencent/TSW
云抓包
TSW 支持用户维度的抓包
对于染色的用户
对请求生命周期内的抓包进行收集
提供抓包查看、下载等功能
抓包格式支持Fiddler和Charles,以及HAR
全息日志
TSW 提供用户维度的全息日志帮助开发者快速定位问题
对请求生命周期内的日志,采用全息的方式记录,形成流水
流水按用户维度聚合
提供查看功能,快速定位问题原因
异常发现
内置指标实时监控
代码异常推送告警
谁都在用?
源于直出
2012年10月,TSW第一版上线织云(一体化自动运维平台),Node.js版本为0.6.20。当时的功能十分简陋,只实现了服务端JS直出页面,可以说毫无运维可言,唯一的价值是可以让首屏体验更快。为了强化这个唯一的价值,实现了gzip+chunked,边压缩边传输,可以让页面内容有节奏的回包,精确控制流式回包,对Node.js来说非常简单。
在浏览器里,想要cookie的时候通过上下文window变量就取到了,从来没有觉得取cookie是一件特别费劲的事。但到Node.js里就不同了,对于取cookie这么简单的需求,需要特别关注request对象在哪里。因为request对象是局部变量,无法全局获得,这就是问题的本质。
直到2014年,一种实现上下文的方法被发现,window对象诞生。利用process.domain总是指向当前包裹自己的domain对象这一个特性来完成上下文自动切换。window对象的本质是与request对象生命周期绑定的全局变量。你可以在任何时候通过window获取request对象,进而取得cookie等其它信息。
window的出现,打通了不同维度间的联系,把这些联系落地,就可以产生新的价值。比如在DNS解析API中,是没有用户概念的,用户存在于更高维度中,高维对低维不可见,通过window对象,低维度里可以知道正在为哪个用户做解析服务。当解析结果有问题时,知道影响了哪个用户,通过用户也能回朔到解析过程。维度之间不是单纯的依赖关系,而是密切配合的关系。这就导致了TSW的代码在组织方式上,需要无条件高内聚,不能以模块的方式单独存在。为了收集这些联系,需要有配套的存储、查看系统。这些系统最终演进为TSW开放平台(tswjs.org)。
兴于抓包
有个问题一直困扰着我们:为了解决某个问题,抓包一小时,代码一分钟,抓包效率严重影响着定位问题的效率。在这样的背景下,TSW提出服务端云抓包的解决方案。与用户端抓包相比,不用再关注用户端网络环境、位置、接入层协议等问题。
只抓请求包和响应包远远不够,使用上下文对象,对其强化。在请求处理过程中,利用上下文,将衍生请求进行关联抓包,构成全息抓包;将衍生日志进行关联,构成全息日志。对于一次请求,能看到所有维度的日志和抓包,是一件很自然的事。最后把日志和抓包落地供查看。对于不符合预期的请求,可精确给出问题原因。从结果看,团队整体的研发效率得到了质的提升。
久于运维
公司内顶尖的前端开发,分布在各种类型的产品中,想让他们成为用户,先要突破部门墙。运维这个维度是有机会破墙的。A业务和B业务的运维很大可能是同一波人。就像引力波,可跨越空间维度,直接抄近道,不用绕着本维空间跑。因此TSW选择在运维上发力,而不是在代码如何编写上,与开源库飚车。
安装1台Node.js是技能,安装1000台是运维。安装和升级,应该看成一个运维问题来解决掉。Node.js版本,大家都知道迭代很快,如果每个版本都有业务在用,就有多个运维对象。提供多个版本供业务选择看起来很民主,但是,好的运维是减少运维对象。
能不能统一升级只维护一个版本?统一升级又遇到新的挑战:CPP扩展是和Node.js版本强相关的,只升Node.js还不够,扩展也需要统一维护。为了找出来所有的CPP扩展,TSW动用了监控,对业务私有扩展邮件告警,然后纳入TSW统一维护。统一维护加速了TSW的迭代速度,版本强一致规避了迭代带来的代码腐化问题。
前端开发之间交流JS毫无问题,但对运维同学来说,是方言,这时就需要能讲普通话。拿启动逻辑来说,一个Node.js程序炫技式启动,挂了的时候,只有开发知道怎么拉起来,这就十分尴尬。再拿扩缩容举例,运维扩缩容后,需要动代码才能上下线,那就是有问题的。织云经过多年积累,运维自动化程度达到了自助级别,TSW在标准化上,选择入驻织云。当需要安装、重启、升级TSW时,到织云点一下按钮就好了。
盛于开源
TSW已经具有很强的稳定性和业务通用性。Node.js在前端界目前已经具有相当的热度和欢迎度,TSW作为Node.js基础设施,在公司内部已经得到了开发团队以及运维团队的认可,本次将TSW开源,在业界进一步增强TSW的技术影响力,同时也进一步完善和优化TSW。
腾讯 Node.js 基础设施 Tencent Server Web 正式开源相关推荐
- 腾讯Node.js基础设施TSW正式开源
经过六年的迭代与沉淀,腾讯Tencent Server Web (以下简称TSW)这一公司级运维组件于今日正式开源.TSW是面向WEB前端开发者,以提升问题定位效率为初衷,提供云抓包.全息日志和异常发 ...
- Node.js 从零开发web server博客项目--项目初始化
本篇博客记录了<Node.js 从零开发web server博客项目>的原生开发系列内容. 开篇主要介绍原生项目的搭建,以及初步的项目结构设计. 一.项目初始化 新建项目目录,并进入到项目 ...
- Node.js之十大Web框架
Node.js之十大Web框架 之前接触过Node.js是因为好奇大前端越来越能干了,连我后台的饭碗都要抢了,太嚣张了,于是我想打压打压它,然后就这样接触它了. 再到后来是因为Settings-Syn ...
- Fenix – 基于 Node.js 的桌面静态 Web 服务器
Fenix 是一个提供给开发人员使用的简单的桌面静态 Web 服务器,基于 Node.js 开发.您可以同时在上面运行任意数量的项目,特别适合前端开发人员使用. 您可以通过免费的 Node.js 控制 ...
- 使用node.js作为简单的Web服务器
我想运行一个非常简单的HTTP服务器. 对example.com每个GET请求都应该将index.html提供给它,但是作为常规HTML页面(即,与阅读普通网页时相同的体验). 使用下面的代码,我可以 ...
- 自制chatroom_构建由Node.js驱动的Chatroom Web App:入门
自制chatroom 本文是Microsoft的Web开发技术系列的一部分. 感谢您支持使SitePoint成为可能的合作伙伴. 这个Node.js教程系列将帮助您构建完全部署在云中的由Node.js ...
- oracle windows server 2008,Node.js 在 Windows Server 2008 X64 连接Oracle 数据库
不需要安装Oralce客户端,不影响其它使用Oracle客户端的程序运行 安装Node.JS node-v12.13.0-x64.msi 安装VC++ 2013运行时 vcredist_x64.exe ...
- 腾讯万亿级分布式消息中间件TubeMQ正式开源
TubeMQ是腾讯在2013年自研的分布式消息中间件系统,专注服务大数据场景下海量数据的高性能存储和传输,经过近7年上万亿的海量数据沉淀,目前日均接入量超过25万亿条.较之于众多明星的开源MQ组件,T ...
- Node.js从零开发Web Server博客项目笔记
代码运行流程 首先开启服务器,在npm run dev的时候运行了bin目录下的www.js文件,启动http服务 当前端进行访问的时候,经过app.js文件 App.js是整个项目的入口文件,首先判 ...
最新文章
- Dubbo -- 系统学习 笔记 -- 示例 -- 参数验证
- Mysql访问新数据时先查表
- 设计,成本与开发细节的讨论
- Angular如何响应DOM event
- 很火的WiFi6,了解一下
- 用Java编写模仿的太阳系(九星行旋转)--原创
- 全文搜索Apache Lucene简介
- 直设计map.html页面,map4.html
- Mysql和Hive之间通过Sqoop进行数据同步
- 走进软件测试面试(真题分析)
- Android不同版本下Notification创建方法
- 关于android输入框被键盘遮挡的问题
- 共享办公室租赁,突出市场重围
- 分布式系统概念与设计学习(01),本书概要与基础概念
- 【R言R语】算法工程师入职一年半的总结与感悟
- mysql数据导入报错1265
- Linux 禁止查看根目录,Linux用户登录之后,不能查看根目录列表(转载+原创)
- 基于html的购物网站【华为手机购物网站制作】学生网页设计作业源码
- Pots(bfs)(存储路径)
- C. Crossword Validation(字典树)