[elixir观察] GenStage 与 Flow

为什么80%的码农都做不了架构师？>>>

在2016的ElixirConf上，Jose介绍了Elixir即将到来的两个新特性。

GenStage 的设计目的在于尽量减少等待时间。例如，消费者向生产者请求10个任务，生产者返回了10个任务，消费者开始处理，处理结束后再次请求另外10个任务。这就需要等待生产者的回复。而在GenStage中，当消费者处理到第5个任务时，就会向生产者发出请求，这样当消费者处理完10个任务，就可以立刻继续后面的任务。

Flow 的目的在于进一步对大量数据的处理进行并发优化。适用于不需要考虑数据顺序的情况。例如统计一篇文章中的词频。Stream和Flow都是lazy的，而Enum是eager的，当检测到eager的操作时。之前的lazy操作才会开始执行。Enum会对整篇文章执行完第一步，再进入第二步；Stream会逐行执行所有步骤；Flow会将所有行分配到多个进程，同时进行处理，因此不能保持顺序。数据量越大，Flow的优势越明显。

转载于:https://my.oschina.net/ljzn/blog/752712

[elixir观察] GenStage 与 Flow相关推荐

[elixir! #0015][译] 学习 GenStage by Joseph Kain
学习Elixir的GenStage 你好! Leraning Elixir的读者!从我的上一篇文章发表已经过去了很长时间.我一直专注于其他技术,并获得了新的工作.我要感谢我的朋友Doug Goldie ...
对C语言进行调试的最好方法是什么?
要了解调试程序的最好方法,首先要分析一下调试过程的三个要素: 应该用什么工具调试一个程序? 用什么办法才能找出程序中的错误? 怎样才能从一开始就避免错误? 应该用什么工具调试一个程序? 有经验的程序员 ...
风控术语手册(银行_消费金融信贷业务)_version6
1.风控系统部分 1.Blaze blaze是FICO公司产品,用于规则管理,是模型ABC卡开发的前身.信贷公司开始放贷时,数据量少,申请用户少,难以建立模型.因此前期一般会用到专家经验判断好坏客户, ...
金融风控中英文术语手册(银行_消费金融信贷业务)_version5
1.风控系统部分 1.Blaze blaze是FICO公司产品,用于规则管理,是模型ABC卡开发的前身.信贷公司开始放贷时,数据量少,申请用户少,难以建立模型.因此前期一般会用到专家经验判断好坏客户, ...
Elixir日常观察 VOL.1
更新了 Logger.metadata1 的文档 #5158 lexmeg :第一段要很简洁,因为它要起到概括作用啊.我们这样写好不好:"Alters the current process ...
如何将 Elixir 模块风格应用在 JS 中
原文:A Proposal: Elixir-Style Modules in JavaScript 作者:Will Ockelmann-Wagner 发表时间:13th August 2018 译者: ...
从一个前端项目实践 Git flow 的流程与参考
Git flow 出自 A successful Git branching model,这里使用了一个前端项目配合本文稿实施了 git flow 并记录流程作出示例和参考,对 hotfix 与持续部 ...
Spring Cloud Data Flow 中的 ETL
来源:SpringForAll社区 1 概述 Spring Cloud Data Flow是一个用于构建实时数据管道和批处理过程的云原生工具包. Spring Cloud Data Flow已准备好用 ...
opencv光流Optical Flow
光流Optical Flow 现在四轴飞行器越来越火,如何在室内进行定位呢?不同于传统四轴的姿态控制,电机驱动,室外定位,都有了一套完整的方案,室内定位还是没有完全成熟.,目前大四轴可以利用的GPS定 ...

[elixir观察] GenStage 与 Flow

[elixir观察] GenStage 与 Flow相关推荐

最新文章

热门文章