分布式计算与机器学习

也算探索了几个月吧，在给自己定位。

定位是，分布式系统，机器学习，自然语言处理，计算广告，推荐。

这里的分布式不是指基础计算平台，比如分布式存储之类的，而是指分布式计算。

公司不像实验室可以给你一个高性能的巨型计算机，一个T的内存，几十个高性能CPU，在这个环境下，只需要像普通pc编写程序即可。

公司有的是几千台普通电脑，用些电脑实现分布式计算。而这里的分布式有两种形式，一种是hadoop类似的，但是这种方式比较简单，无法实现复杂的算法，具体的说，就是每个计算任务最好都没有交互。另外一种就是基于mpi，实现复杂，但是适合复杂模型的训练。

对于互联网公司最赚钱的就是广告点击率预测，是一个逻辑斯特模型。

在公司中，一般是用hadoop处理数据，比如特征抽取，mpi实现模型训练

分布式计算与机器学习相关推荐

道器相融，由Angel论一个优秀机器学习平台的自我修养
*本文首发于 AI前线 ,欢迎转载,并请注明出处. 摘要 2017年6月,腾讯正式开源面向机器学习的第三代高性能计算平台 Angel,在GitHub上备受关注:2017年10月19日,腾讯T4专家An ...
微软职位内部推荐-Software Engineer II-News
微软近期Open的职位: News is a critical areas for integration of mobile and services, one of the top priorit ...
联邦学习，为何而生？
隐私数据是否早已泄露,而我们却毫无察觉? 随着大数据.边缘计算.大型云计算平台和各种开源框架的发展,机器学习等人工智能技术以前所未有的速度应用到各个行业,人工智能技术带来了新的挑战,数据的隐私和安全引 ...
全面对比，深度解析 Ignite 与 Spark
经常有人拿 Ignite 和 Spark 进行比较,然后搞不清两者的区别和联系.Ignite 和 Spark,如果笼统归类,都可以归于内存计算平台,然而两者功能上虽然有交集,并且 Ignite 也会对 ...
集成spark_全面对比，深度解析 Ignite 与 Spark
经常有人拿 Ignite 和 Spark 进行比较,然后搞不清两者的区别和联系.Ignite 和 Spark,如果笼统归类,都可以归于内存计算平台,然而两者功能上虽然有交集,并且 Ignite 也会对 ...
谷歌18年博士生奖研金出炉，八位入选华人学生均毕业于国内高校
2018 年的 Google PhD Fellowship(北美.欧洲.中东地区)日前评选名单出炉,共有 39 名博士生入选,其中 8 位华人. >>>> Google 博士研 ...
作者：林旺群（1983-），男，博士，北京系统工程研究所助理研究员。
林旺群(1983-),男,博士,北京系统工程研究所助理研究员,主要研究方向为大数据.分布式计算.机器学习.
Ignite与Spark内存计算平台对比分析
为什么80%的码农都做不了架构师?>>> 经常有人拿Ignite和Spark进行比较,然后搞不清两者的区别和联系.Ignite和Spark,如果笼统归类,都会归类于内存计算平台 ...
CODE大全告诉你java是否开始没落了
CODE大全告诉你java是否开始没落了! 22 岁,对于一个技术人来说可谓正当壮年.但对于一门编程语言来说,情况可能又有不同.各类编程语言横空出世,纷战不休,然而 TIOBE 的语言排行榜上,Jav ...

分布式计算与机器学习

分布式计算与机器学习相关推荐

最新文章

热门文章