在1月16日,由百度开发者中心和InfoQ联合主办的“纵谈前端接入技术、SEO和安全运维”主题沙龙活动中,来自百度开发者中心的资深运维工程师们热情洋溢的分享了百度在前端技术、搜索速度优化和全站使用HTTPS技术的进展及成果,以及百度在这些方面有哪些宝贵经验可供参考的。演讲嘉宾分别为百度Golang委员会成员陶春华、专注于网页搜索无线访问速度的工程师许霞,和处理网页搜索可达性、安全搜索等方向事务的主要技术负责人陈曦洋。

\\

\\

Go语言在Baidu Front-End方面的应用实践

\\

Go语言的广泛流行取决于部署简单、并发性好、良好的语言设计,以及执行性能好。这也是在重写百度前端这一项目上为什么考虑选用Go语言的原因所在。陶春华老师介绍说,促使重写Baidu Front-End的诱因主要基于以下三点:一是修改成本高。事件驱动的编程模型本身的编码和调试难度都很大;C语言本身的难度和开发效率有很多限制。二是配置管理方式落后。为单产品线设计,无法支持平台化要求;配置变更(修改、重载、验证)能力差。三是变更和稳定性的矛盾。例如程序出core也是比较头疼的事情。

\\

在此前提之下,团队决定使用Go语言来重写前端,但是这里也遇到了一些问题,那就是GC(Gabage Collection)本身难以避免的时间延迟。BFE的需求是要在1ms以内,最大不超过10ms,一旦超过这个平均值,那么用户体验将大打折扣。而Go-BFE实测100万连接,400ms GC延迟。这就需要不断的对GC进行优化。

\\

在这里陶老师也介绍了两种优化思路,第一个常见的方法就是将扫描的小对象合并成大对象,利用Array来合并一组对象。第二种方法精算性更高一点,可以把消耗内存较多的内容放到C里面,因为Go语言有一个CGO接口,直接通过Go调到C可以解决这个问题,只不过代价比较大。但是,问题和方案永远是相生相伴的。用Array技术重写网络库,所有的BFE将永远用Array来写,理论上可行。这里的问题又来了,第一风险太大,第二如果Go语言升级了,还能不能继续使用下去。

\\

\\

陶老师在这里介绍的解决方法叫做车轮大战。即,在一组工作进程中,进程和服务是等价的,某一个进程跟服务运作到一定时间之后关闭GC,让它休息,第二个进程代替它服务,以此轮换,构成一个车轮大战的局面。如果在不能直接解决GC问题的时候直接关掉服务,然后绕过它。这基本的方案思路也就是关闭继承多进程的轮转战。(如上图)

\\

搜索速度优化的前进之路

\\

在整个百度接入服务里,百度搜索一直秉承提供最基础的三个保障,那就是安全、快速、可靠。许霞首先介绍说,在对速度进行度量之前,先要对数据检测、收集。对客户端数据监测的特点是:可以检测任何对象,成本高,并且监测的指标很固定。JS埋点检测数据的特点是:可以检测任何指标,甚至可以检测每一条结果的速度。第三方数据检测的特点是:可以定制,并且有一定的海外监测能力,但成本高。

\\

收集数据的意义在于可以很清晰的了解掌握用户的搜索习惯,这对PV、UV以及变现收入有很大影响。那么如何贴切搜索引擎的特点做搜索速度的优化?通过三个方面:接入质量提升、后端处理优化和前端渲染优化。接入质量提升主要有两个考察因素:延迟和带宽,对应的也就是优化RTT和传输效率。

\\

后端优化其实就是整个搜索引擎的优化了,分为缓存优化和检索优化。缓存优化最基础的方式就是进入、淘汰机制等等,保证淘汰机制是最合理的。检索优化,则需要对硬件以及硬件方案的选择做一些深入考虑。在前端渲染优化方面,除了考虑节省时间之外还要考虑怎样让它定性化。

\\

\\

对优化做决定性决策只是其中的一种方法,还有更聪明的创新方法,那就是关于无线技术。这里面所涉及的内容包括手机终端、机站以及IP网络,传输速度当然是跟这三者有密不可分关系的。机站会根据自己能获得多少收益来处理用户的请求,尽量会缩小头部信息,进行一定程度的数据压缩。手机跟机站之间建立连接以维持这种连接关系。但电耗大是很关键的问题。百度搜索做了维持连接的一些机制,当用户页面空闲很长时间或者放在后台,就可以减少电量的消耗。(如上图)

\\

全站HTTPS能否确保网站彻底安全?

\\

2015年3月,百度搜索成为国内首家完成全站HTTPS改造的大型站点;且目前来看,全站HTTPS已经成为百度产品的首要标准;同时,统一接入平台也大幅提升了HTTPS的接入效率和性能。陈曦洋老师在开讲前是这样介绍大背景的。全站HTTPS的原因是为了让用户保持良好的使用体验,解决反馈较多的劫持和隐私泄露等问题。这些问题的具体case,包括页面被加上URL参数,不停刷新;页面被DNS劫持到其他网站;用户手机号码遭泄漏;白页,搜索功能异常等等。正是出于对用户数据的安全保密,维护网站正常运作的考量,百度专门成立了由百度搜索和运维部组成的HTTPS-SUPPORT团队,对HTTPS进行深入研究,提供完整的服务,保障用户正常访问百度原始产品。

\\

陈曦洋老师在这里详细介绍了全站HTTPS改造的成本,这也是很多人都比较关心的焦点问题,这不仅涉及到证书的部署,还会涉及到激增的计算量,需要多次协商和握手,而用户端搜索的延迟将会给HTTPS改造需要解决的问题。除此以外,对于一个大型网站而言,架构如何解决多业务部署HTTPS的问题,巨大的页面和模板数量,以及如何解决实际部署中的各种问题,让用户无损/平滑的完成切换,其实是更具有挑战性的工作。

\\

计算性能涉及到密钥(证书)的长度,1024和2048位在性能有什么差别呢?原来使用HTTP协议的时候,假设cps可以达到2w+,而转换成HTTPS之后,cps只能达到2-3千;在访问速度方面,使用了HTTPS之后,不做任何优化,访问百度的速度可能会恶化250-500ms,一些设计比较差的页面可能会恶化500-1200ms;在架构和产品成本方面,对于百度这样的综合性网站,牵一发而动全身,仅仅是在页面形式上就要改大量的模板,成本相当大。

\\

那么有没有可选的优化方案呢?陈老师认为,性能优化上优先使用ECC。这里使用ECC密钥长度大小要比RSA和DH密钥长度短。在硬件的优化上则可以使用硬件加速卡,可以做TLS的远程卸载(小型站点在不面对大量的恶意请求时 完全可以通过纯软件卸载,只需要保证连接复用率)。在访问速度上的优化上,通过复用连接和协议优化可以尽量减少握手次数,就可以让它接近于原始HTTP的性能。怎么去减少握手次数?比如Session cache和Session ticket可以极大的减少用户在一定时间内再次访问时的计算开销,而HSTS能在浏览器内部完成HTTP到HTTPS的跳转,不再经过一次网络传输和浏览器开销。另外还可以用SPDY-HTTP2方案,优点是基于单连接,能进一步提升连接复用比例,协议支持header压缩,在无线网络下有重要意义,这些都可以提高访问速度。

\\

\\

除了对协议层进行优化之外,也可以在应用层做些优化,预连接就是一个很好的优化方案。比如在网页端或者客户端,用户发起访问请求之前提前把这个握手过程完成,减少延迟,这一点也很重要。另外陈老师建议站点在发展到一定规模时一定要做整体的接入规划,控制域名数量,一些服务需要变成公共的,比如图片,静态资源的存储和访问。

\\

在最后,陈老师也回答了大家普遍比较关心的问题,那就是使用HTTPS就代表着绝对安全吗?事实上并没有绝对地安全,代码是人写的,很多问题都是实际的实现上或者依赖的其他环境上出现了漏洞,OpenSSL HeartBlood就是最典型的案例,甚至连随机数的生成和一些加密算法上也可能有人为埋下的漏洞,CDN回源这样的路径很多情况下也是使用的HTTP。百度使用HTTPS只能保护用户在浏览百度产品的时候的安全,但是很多手机号的泄露是第三方站点导致的(它们会通过非法渠道购买识别用户手机号的服务),这个问题并不能通过百度的HTTPS解决。但是相对于HTTP,HTTPS的安全防范性能更高,增加了坏人的做恶难度。

\\

-------------------------------------------------------------------

\\

百度开发者中心是百度为企业和个人开发者提供学习、交流、合作和服务的开放平台,汇聚了百度所有对外开放的技术、平台和服务,提供产品孵化、研发支持、运维托管、统计分析、分发推广、换量变现等全方位服务和支持。通过百度的技术开放、搜索推广和应用分发能力,助力开发者加速成功,实现开发者、消费者和百度三方共赢。

从有到优:百度前端接入技术的升级之路相关推荐

  1. 百度前端Web技术学院

    学院介绍 这是一个什么样的学院 百度Web前端技术学院(Baidu Institute of Front-End Technology简称IFE)是一个由百度人力资源部校园招聘组.百度EFE团队联合出 ...

  2. 15 年腾讯老兵谈技术人成长之路

    作者:alexguo,腾讯TEG技术总监&技术专家 每个职场人都会经历从职场新人到骨干.专家亦或是管理者的蜕变过程.作为技术职业人,大家常会碰到一些困惑,在不同职业发展阶段所需要具备的认知和专 ...

  3. #96 百度大规模网络流量接入技术 BFE 开源

    #96 百度大规模网络流量接入技术 & BFE 开源 https://talkgo.org/t/topic/554 BFE 是使用 golang 语言编写的. 在爆发式增长的情况下,网络接入必 ...

  4. 学计算机前端技术学院,百度前端技术学院(任务)

    百度前端技术学院 这一期高档班的标题列表在:ife/2015_spring/taskatmaster·baidu-ife/ife·GitHub下面的高档班(趁便吐槽一下知乎的链接无法识别URL中文锚点 ...

  5. 百度前端技术学院—斌斌学院题库 转载 cristina-guan

    Cristina_Guan https://github.com/CristinaGuan 博客园 首页 新随笔 联系 订阅 管理 随笔 - 34  文章 - 3  评论 - 2 百度前端技术学院-斌 ...

  6. 百度前端技术学院—斌斌学院题库

    任务一:零基础JavaScript编码(一) 重要说明 百度前端技术学院的课程任务是由百度前端工程师专为对前端不同掌握程度的同学设计.我们尽力保证课程内容的质量以及学习难度的合理性,但即使如此,真正决 ...

  7. 百度前端技术学院--零基础--第二天 给自己做一个在线简历吧

    百度前端技术学院–零基础–第二天 给自己做一个在线简历吧 课程目标 通过简单的实践,更加清楚地了解HTML是什么,HTML5是什么.学习基本的HTML标签,理解HTML语义化概念 任务描述 用code ...

  8. 百度前端技术学院—-小薇学院(HTML CSS课程任务)

    任务一:零基础HTML编码 课程概述 作业提交截止时间:04-24 重要说明 百度前端技术学院的课程任务是由百度前端工程师专为对前端不同掌握程度的同学设计.我们尽力保证课程内容的质量以及学习难度的合理 ...

  9. 百度前端技术学院—-小薇学院(HTML+CSS课程任务)

    任务一:零基础HTML编码 课程概述 作业提交截止时间:04-24 重要说明 百度前端技术学院的课程任务是由百度前端工程师专为对前端不同掌握程度的同学设计.我们尽力保证课程内容的质量以及学习难度的合理 ...

  10. 2018百度前端技术学院 第五六课 编码作业

    2018百度前端技术学院 第五六课 编码作业 一.课程题目 这节课给出了三份文字内容相同的简历,但是样式布局不一样.题目要求我们使用同一份HTML结构内容,三份不同的CSS代码分别实现图片所示的样式, ...

最新文章

  1. 万能系统卸载器免root_这下舒服了!一键卸载安卓全机型预装应用
  2. 多个高维数组使用npz保存
  3. 给3月要跳槽的前端提个醒!不了解微前端就别去面试了,不然……
  4. 效率源希捷硬盘远程维修案例-K9盘卡死引起的F级处理
  5. c fun函数求n个整数的平均值_Python语法示例——函数
  6. GlusterFS更换故障Brick
  7. vga分辨率与时序配置
  8. java jibx,JiBx:BindGen命令行--通过Java POJO对象产生bind.xml和xsd文件
  9. 【DNS区域传输测试/子域暴力破解/横幅版本检测/生成映射】
  10. 讯飞语音的使用及常遇到的问题
  11. 卷积操作中的group
  12. LeetCode - 362 敲击计数器(设计)
  13. 超详细的计算机视觉学习书籍pdf汇总(涉及CV、深度学习、多视图几何、SLAM、点云处理等)
  14. Anaconda使用matplotlib画图中文乱码解决办法
  15. java bytebuffer 清空_Java ByteBuffer用法总结
  16. java导入工程tomcat_成都汇智动力-MyEclipse的JavaWeb项目导入IDEA并部署T
  17. 魔兽世界经典怀旧服务器架设教程
  18. Python-励志公式
  19. CSS入门基础学习(上)
  20. 编程练习:走迷宫问题

热门文章

  1. Linux系统学习之兴趣驱动
  2. python网格搜索优化参数_Python中基于网格搜索算法优化的深度学习模型分析糖尿病数据...
  3. Hive 窗口函数的使用
  4. hive窗口函数和hive基础使用
  5. Servlet 运行工作原理详解
  6. c / c++ 整数除法 保留小数及浮点型的比较
  7. 模拟电路电源芯片PROTUES
  8. qq邮箱注册收件服务器,qq邮箱smtp服务器
  9. 计算机辅助翻译 教学大纲,计算机辅助翻译本科课程教学大纲翻译本科.doc
  10. 排队论系统仿真c语言,排队论仿真程序