Google在很长一段时间里都是技术圈内的顶尖技术的代名词。外界也不清楚Google是怎么完成一些不可能完成的任务的。当年,大家光是想象Google怎么保存那些海量的索引,是怎么做到的都不知道。所以大家想象Google里面每个工程师都是百年一遇的大神吧。
直到后来,Jeff Dean的三篇论文Google File System,MapReduce和BigTable一发布,大家才注意到,原来Google有个Systems and Infrastructure Group,有个Jeff Dean大神。原来他们把处理海量数据的方法,写成了内部系统,Google的工程师,不需要是神,只要学会这套工具,就可以操纵海量的数据了。
但是,可惜的是,Jeff Dean和Google只开放了他们的思想,但是没开放内部工具出来。这时候,一个叫做Doug Cutting的大神站了出来。
Doug Cutting是Lucene的作者,他当年曾在多家公司做搜索,还曾经在Apple做过搜索,他觉得业界缺乏一个开源的好用的搜索引擎内核。他就写了Lucene,Lucene是现在广泛使用的Elastic Search的内核。可以说,现在你在全世界的很多网站内点搜索,都是Lucene在支撑。仅当年我们创业的时候,因为我们在用Lucene,所以,我们的客户跑在Lucene上的搜索量就有几千万。
Doug Cutting把Jeff Dean的思想实现了出来,做了一个开源软件叫做Hadoop。Hadoop兴起后,其实分析处理海量数据,就变成了一个人人都可以做的事情(买得起机器就可以),从而产生了一场大数据的革命。
我举这个例子什么意思?就是Google很牛逼,Google在04-5年就有能力非常高效的分析处理海量数据。在那个时间点,能做Google量级的事情的人没有几个,这是非常有技术含量的。但是Jeff Dean一公布具体思想,这个技术含量就骤减。但是,仍旧是很有技术含量的。等到Doug Cutting把Hadoop做出来,分析处理海量数据的门槛实际上就降低到了会编译和搭建这个Java开源项目就可以了。
当然,有一些领域内的东西,即使有了开源软件,由于你对领域知识的匮乏,你仍旧很难高效的开发。比如Lucene,非常好用,但是Lucene是一个底层引擎,如果你对倒排索引的各种细节不够清楚,你直接用Lucene开发出好用的搜索是很难得。所以,当时我做了一个Cypress系统,用XML/HTTP请求把Lucene完全封装起来,用户不用懂倒排索引的任何细节就可以用好搜索了。后来流行的Elastic Search,跟我的设计思路如出一辙,唯一的区别是,他用JSON来做数据传输的格式,我用XML。一般团队使用Lucene,可能需要几个月才能做一个可用的搜索,用Cypress或者Elastic Search,一天就够了。
在这些牛人和开源工具的作用下,很多原来无比高大上,也没有几个人可以做的领域,很快就变成了随便一个工程师都可以学会的东西。

实际上,中国的大多数技术公司,核心还是业务,而不是技术,技术的价值在于良好的保障业务。公司真正赚钱是靠业务。美国呢,大公司里面技术比重更高的公司要多一些。但是,也有大量的公司,核心业务并不是技术本身。

在这样公司里面实现业务逻辑的工程师是主流。他们虽然非常重要,但是他们做的事情,价值不是技术含量,而是能不能完美的满足业务需求。

作者:郝培强
链接:https://zhuanlan.zhihu.com/p/22646254

来自为知笔记(Wiz)

行业牛人和开源软件改变技术世界相关推荐

  1. 夜天之书 #49 开源软件的技术写作

    开源社群虽然是围绕开源软件建立起来的,但是建设繁荣的开源生态,依靠只读的源代码是不够的.建设繁荣的开源生态需要开源协同,而协同的基础是沟通.沟通不仅有论坛和聊天室的交互式形式,还有主动的内容生产和发布 ...

  2. 瀚高CEO苗健:用开源软件改变中国基础软件产业格局

    -------- 作者:刘学习 基于PostgreSQL开源数据库,获得成功的著名软件公司国际国内都有.在国际市场,前有GreenPlum远近闻名,后有Enterprise DB 等,其客户甚至包括纽 ...

  3. 深入开源和金融技术世界,《新程序员005》来了!

    亲爱的 CSDN 以及<新程序员>的读者朋友们,春节将至,<新程序员005:开源深度指南 & 新金融背后的科技力量>也正式与大家见面!现在,点击下方封面,即可订阅,立享 ...

  4. 开源彻底改变了世界,但需要关注云和开源这 5 件事

    "开源软件彻底改变了公司的运作方式,但是像 AWS 这样的云软件使开源软件公司更难赚钱.当你可以获得基于开源软件的云服务时,那么就不用再为该开源软件的公司支付相关服务费用." te ...

  5. 流行的开源软件和技术

    前言 笔者也是在互联网软件行业里面摸爬滚打十年多了,回头想想青葱岁月,很多时间都花在各种技术热潮的追逐上,有些是有价值的,也有些因为没人指导走过弯路,下面我就把我自己接触到这么多优秀的开源软件给大家做 ...

  6. 那些年,追过的开源软件和技术[转载]

    转载 : http://dongfei.baijia.baidu.com/article/48626 前沿 笔者也是在互联网软件行业里面摸爬滚打十年多了,回头想想青葱岁月,很多时间都花在各种技术热潮的 ...

  7. 那些年,追过的开源软件和技术

    前言 笔者也是在互联网软件行业里面摸爬滚打十年多了,回头想想青葱岁月,很多时间都花在各种技术热潮的追逐上,有些是有价值的,也有些因为没人指导走过弯路,下面我就把我自己接触到这么多优秀的开源软件给大家做 ...

  8. 转载_那些年,追过的开源软件和技术

    前言 笔者也是在互联网软件行业里面摸爬滚打十年多了,回头想想青葱岁月,很多时间都花在各种技术热潮的追逐上,有些是有价值的,也有些因为没人指导走过弯路,下面我就把我自己接触到这么多优秀的开源软件给大家做 ...

  9. Hopsan -- 液压、电力等行业的仿真开源软件

    Hopsan 是一款很不错仿真开源软件,其由瑞典林平大学开发,可以仿真电力.液压等.在工具面板上拖动各种元器件到设计界面,如:液压中的二位二通电磁阀.可以构建出满足你需求的仿真系统,如下是截图: 下载 ...

最新文章

  1. 深度研究自然梯度优化,从入门到放弃 | Deep Reading
  2. 一文学懂Java泛型,详细而全面,值得收藏~
  3. mysql中的where,group by,having:
  4. 用VC++实现通用的报表控件
  5. Python获取一个字符串所有连续子串
  6. [Leedcode][JAVA][第287题][寻找重复数][HashSet][二分查找][快慢指针]
  7. matlab和vlfeat关联,VLFeat在matlab和vs中安装
  8. python自动输入_使用Python和pywin32自动输入数据
  9. java 8 lambda 申明_2019-02-03——Java8 Lambda
  10. HTML5 入门详解
  11. Spring事务—方法调用事务回滚
  12. java中double除法和取余的若干注意
  13. paip.c++ qt 外部dll共享库的导入以及引用
  14. 好看的电脑桌面悬浮时钟工具
  15. 关于VGGNet网络结构浅谈(主要是VGG16结构)
  16. 笔记本电脑频繁自动重启_电脑为何总是自动重启 电脑自动重启原因【解决方法】...
  17. 考研408.计算机网络.特殊IP地址的记忆方法
  18. 长期睡前玩手机的人,会出现这七个问题,不只是反应迟钝!
  19. STC8H开发(十): SPI驱动Nokia5110 LCD(PCD8544)
  20. webAPP如何实现移动端拍照上传(Vue组件示例)?

热门文章

  1. 智能窗帘研究制作_基于51单片机智能窗帘的研究与设计
  2. UML 中关系详解以及在visio中的表示
  3. Oracle - 临时表(GLOBAL TEMPORARY TABLE)
  4. excel中定义VBA
  5. 美女同事DL-624+A家庭办公无线路由的解决方案!
  6. 前端后分离深入分析 ——浏览器渲染和服务器渲染区别
  7. LeetCode 215 Kth Largest Element in an Array
  8. 第二章 centos安装maven
  9. Linux产生随机数的几种常见方法
  10. Python模块 - os