数字逻辑要不要认真学

开源搜索和机器学习如何推动对重要内容的洞察

“重要的事很少是紧急的，紧急的事也很少是重要的。” —归功于美国第34任总统德怀特·“艾克”·艾森豪威尔

在当今以数据为驱动，不断连接，以技术为中心的世界中，我们充斥着引人注目的内容，事件和请求。 像我一样，我怀疑大多数Opensource.com读者都喜欢这种生活方式-毕竟，我们的技术人员创造了这种生活方式-除非是当我们不这样做时。 如果像Ike一样，我们能够适当地将紧急事件与重要事件分开，并利用这些潮汐数据来为我们的个人和专业利益谋取利益，我们就会喜欢它。 随着数据大小的增长，这变得越来越难。

以免这成为关于大数据所有事物的荣耀的另一篇“我也是”文章，我将重点放在另一种正在发生的趋势上，我认为在这场竞赛中获得所有数据的真正价值是真正的收获。 ：自动识别重要内容并采取重要措施。 想象一下，一家电话公司通过将您的实时网络监控与实时社交媒体分析相结合，可以自动确定由于紧急情况与音乐会之类的大事件而导致的本地化手机流量峰值的差异，并在负载过大时做出相应的React或停机。

前者情况很重要，后者只是紧急情况。 在所有其他用例中，重要性是当前数据移动的最重要方面。 将所有数据存储并汇总到下一代数据仓库中是很好的用例，但是最终您将用光磁盘（即使很便宜），也无法查看和理解所有这些报告。 但是，您永远不会知道数据中的重要内容以及它如何影响您，客户和公司的需求。

所有这些与开源有什么关系？ 开源库中的创新，特别是搜索，机器学习和自然语言处理（NLP）库，正在为对重要数据的更深入，更令人满意的理解铺平道路。 在我们研究这些工具的作用之前，让我们退后一步来思考在数据上下文中“重要”的含义。

乍一看，知道重要的东西似乎属于波特·斯图尔特的“我一看到就知道”类别，这是大多数人认为理所当然的事情。 我们大多数人可以通过快速阅读主题行或浏览呼叫者ID来判断电子邮件或电话是否重要。 我们很少有人会理解我们如何能够如此Swift地得出这些结论，或者是那些因素决定了那些简单的决定，而对复杂情况下更重要的事情的理解则要复杂得多。 这就是构建软件和系统来解决问题的挑战。 确定重要性包括很多方面，包括但不限于：及时性，个性化，过去的行为，社会影响，内容，含义以及某项是否可行。 例如，现在对您的基础架构进行的安全攻击可能比去年发生的攻击更为重要。 我说可能 ，因为去年的那一年可能有关于如何立即停止这一年的线索，因此非常重要。

尽管面临所有这些挑战，例外和微妙之处，但在识别重要数据方面，我们还是在将小麦与谷壳分离方面取得了很大进展，这在很大程度上要归功于开源。 尤其是，诸如Apache Lucene和Solr之类的搜索引擎技术取得的进步彻底改变了我们处理大规模结构化内容，对其进行排名并及时返回的能力。 近年来，搜索引擎取得了长足的进步，可以无缝收集，整理和整理各种数据类型（文本，数字，时间序列，空间等）中的数据，而不再只是进行快速的关键字查找。 结合用于统计分析的大规模数据处理框架（ Hadoop ， Spark等）， R ，机器学习功能（如Apache Mahout ， Vowpal Wabbit ， MLlib）和NLP库（如斯坦福大学的NLP库 ， Apache OpenNLP ， NLTK等），现在可以构建复杂的解决方案，以接收您的数据，对其进行建模，将其提供给您的用户，然后从他们的行为中学习。

Google，Amazon，Facebook和其他公司已经这样做了多年。 通过开放源代码的力量，我们中的其他人现在可以广泛使用其中的许多技术。

所有这些工作的最终目标是在用户和数据之间建立一个良性循环。 用户与您互动的次数越多，系统越智能。 您的系统越聪明，您的用户就越希望与您进行交互。

本文是由Jason Hibbets协调的Apache Quill专栏的一部分。 通过open@opensource.com与我们联系，在Apache Software Foundation的项目内分享您的成功案例和开源更新 。

翻译自: https://opensource.com/business/15/1/earnestness-being-important

数字逻辑要不要认真学