开始写博客,毕业一年的收获

2019独角兽企业重金招聘Python工程师标准>>>

从毕业到现在一年多里确实学到了很多东西，但是就是自己太懒了，应该把学到的东西整理下来才对。所以决定从现在开始慢慢整理工作中学到的东西，既是巩固和梳理，也希望能够分享出来和大家一起交流。

那我先自己介绍下吧，我给自己的定位是数据开发工程师，两份工作中做的都是数据开发相关的东西，我对这个领域比较看好，相信未来的发展会越来越好。

去年10月份换了工作，之前一家公司是做社交媒体分析的，其实就是做data feed的。由于公司后期人员变动的关系，所以整个产品的后台技术我都有涉及，总结下主要有几个部分：

1.数据爬取。

最简单的就是用Jsoup这样的 html解析器，但是有时候需要拿一些js返回的结果，需要在网页上执行点击这类的操作，那么就需要用自动化测试中常用的工具PhantomJs，selenium。

2.数据分析

爬虫都是实时的，那么爬取回来的数据需要一个streaming一个框架来处理，之前用到的是strom,但现在发现 storm还是重了一点，如果公司考虑一直都在AWS上的话，可以考虑Amazon Kinesis,这个无论是开发维护的角度还是机器成本的角度来看，都是不错的选择。

当然部分数据还是需要去做一些运算。这部分主要是用spark。

中间件部分主要用了Redis。

3.REST

主要用了restlet+Spring

现在的公司

1.推荐引擎

研究过PredictionIO，感觉DASE这样的架构很不错，逻辑清晰，还有把算法包做成的模板，这样更换很方便。但是 customzing方面就不太好，小改动还好，改改模板什么的没有问题，但是你要去在这个DASE这个架构上做一些修改，那就比较麻烦了，这么说吧：虽然是opensource, 但毕竟人家还是要赚钱的嘛。

之后考虑了多方面因素之后，我们决定自己开发，当然也借鉴了PredictionIO的一些思想，计算部分也同样采用了Spark的MLLib，现在系统已经完成了，我个人比较满意。

2.Streaming Job

目前还在搭建一个BI平台，需要收集和处理app端的用户行为数据，那么我们考虑用Kinesis，开发确实节省很多时间，性能也不错。

转载于:https://my.oschina.net/u/1450520/blog/604315

开始写博客,毕业一年的收获相关推荐

要上进总会有时间的，要放松也总会有理由的——记录2年出版2本书带给我的改变，同时分享写书和写博客的技巧...
2年前,我其实是很开心的,人在外企,加班不多,晚上下班后就躺在沙发上电视或刷连续剧.周末除了出去讲课挣外快,一般也时玩游戏为主,经常会一个下午加晚上,先玩游戏再下棋再看片再听歌.结果发现我的能力脱节了 ...
时隔这么长时间，又回来写博客了
时隔这么长时间,又回来写博客了想想距离上次写博客大概有一年的时间了吧,其实这一年并没有闲着,而是我20年来最忙碌的一年了.假期的实习.旅游.还有学校的项目.但是欣慰的是这一年也是收获最多的一年.现在 ...
如何从现在开始写博客？
在前不久知名博主<纯洁的微笑>在博客园分享了他写博客的心得,获得了读者圈的广泛共鸣,同时也引起了一些老生常谈的争议,这样的讨论在我们长沙.NET技术社区内部也经常发生. 1.写博客的好处 ...
你为什么要写博客？—— 优秀博主必读
我是偶然在逛博客的时候看到别人深受这篇文章的启发,有幸看到这篇文章,以及这篇文章的作者其他我未曾"窥探"到的思想(工作招聘,什么是熟练精通,玩魔方,父母与孩子 and etc.), ...
还在犹豫写不写博客吗？
扬帆起航吧少年为什么我要开始写博客你为什么还在犹豫最后坚持,坚持,坚持!!! 为什么我要开始写博客 The most important reason,我想记录生活 ,记录自己的成长(想一想再 ...
根本不赚钱，你为何还坚持写博客？
前言从大二注册博客至今已有8年码龄了,回忆起点点滴滴,从最开始的编程小白,一遇到不懂的问题就从最开始的编程小白,一遇到不懂的问题就问老师.百度.多少人还记得当你打开编辑器,敲入几行代码,控制台输出: ...
C语言自学之路:养成写博客的习惯，记录自学之路
学习贴学习C语言也有一段时间了,感觉转码之路也挺难的,没有人一起走,只能自己努力坚持下去. 本科是在西安读的大学,机械专业,现在在北京读研,也是机械专业.为什么转码呢? 开始接触我开始认真学C语言 ...
谈谈近期为什么没有写博客的动力
2022.1.12 自硕士毕业至今,算上实习已经工作有一年半了,这一年做了很多项目,收获蛮大的,但是精神压力也随之而来,工作困难其实不可怕,可怕的是遇到一些难题或者瓶颈,连个能深入分享交流的人都没有, ...
工作N年的开发者更该写博客 —— 记参加CSDN开发者生态汇
目录一.CSDN开发者生态汇二.工作N年的开发者更该写博客 1. 知识体系的补全 2.思维方式的重构 3.表达水平的展示一.CSDN开发者生态汇 2022年3月30日,我非常荣幸地参加了CSDN ...

开始写博客,毕业一年的收获

现在的公司

开始写博客,毕业一年的收获相关推荐

最新文章

热门文章