搜索引擎Autonomy

　Autonomy 是基于语义计算 (MBC) 这一快速发展领域公认的领导者。1996 年成立的 Autonomy 是建立在经剑桥大学研究而产生的独特技术组合之上。公司的迅速发展使得其市值达到了 22 亿美元，并且在全球各地都设有办事机构。

Blinkx是一个强大的视频搜索引擎，可以搜索到福布斯（Forbes）, Reuters, BBC, ABC News, CBS, MSNBC, USA Today等最新的的音频、视频、播客文件、电视节目等，甚至还能搜索到Blip.TV, Metacafe等由用户上传的视频文件。

　　Blinkx TV最吸引人的是它的搜索结果的3秒钟视频展示，可以帮助你迅速了解和找到你想要的视频。与其它视频搜索引擎只索引视频的meta信息（如视频主题，描述，标签，关键字等）不同，Blinkx还使用了视频的音频部分的语音辨认技术，使搜索结果更加精确。Blinkx的搜索结果都有一个rss feed，方便大家聚合和引用视频搜索结果。Blinkx目前已经存储了 700 万小时的视频与音频。

Autonomy的“样板工程”Blinkx 2004年7月，一个位于美国旧金山的创业公司推出了一种新型搜索工具Blinkx，该工具可以提供类似“模糊搜索”或“语义搜索”的功能。也就是说，系统经过“学习”积累了一定“经验”后，可以满足用户类似“最便宜的笔记本电脑是什么”这样的搜索需求。有媒体把这种搜索方式称为“占卜式”搜索，也有人将其称为“职能搜索”，提供Blinkx搜索工具的公司也叫Blinkx。

　　Blinkx不仅可以搜索文本内容，还可以搜索电影电视等多媒体内容，不仅可以搜索互联网内容，还可以搜索本机和局域网上的内容。Blinkx同时还可以搜索不同的文本格式内容，如Text、Word、Excel、PPT、PDF以及各种数据库中的数据格式。

　　Blinkx公司同时发布了提供这种新型搜索功能的两个服务工具，一个是门户网站(www.blinkx.com)，一个是在该网站上可以下载的客户端软件，该软件大小约7MB。尽管这两个工具目前仅支持英德两种语言，而且都只是测试版，但它提供的震撼性功能已经开始让传统搜索巨头们为之瞩目。

　　与传统搜索网站不同的是，在Blinkx的搜索框中键入用户指令，比如“CDMA”，出现的结果可能被系统自动分为10类，可能其中9类与用户的查询期望距离较大，用户就可以将接近的那个结果作为查询条件，进行第二次查询，完成“进阶式”查询，通过这种方式逐步接近目标，最后达到用户期望查询的结果。

　　如果安装了Blinkx的客户端软件，一个小的菜单窗口就会出现在Windows Word、Outlook等几乎所有文档处理窗口的右上方。用户在这些窗口中处理文档时，系统会自动分析这个文档，然后自动从本机或网络上抓取相关文章或链接，以供用户参考。不仅如此，它还可以及时提供与文章内容相关的新闻、产品信息、视频内容等分类信息。简单地说，用户完全可以拿一篇文章来作为“查询关键词”，Blinkx通过对这篇文章进行分析，会给出与这篇文章内容最接近的网络链接或本机文档。这无疑给需要处理大量数据的个人和企业提供了巨大便利。

　　Autonomy公司是Blinkx公司的股东之一，后者的核心技术也来自前者，因为这种密切关系，Blinkx被认为是Autonomy的“样板工程”。此前，Autonomy一直像汽车发动机一样隐藏在幕后。Blinkx发布之前，Autonomy在公众中并没有太大名气；Blinkx发布之后，Autonomy仅有的名气也很快被Blinkx所超越。

　　Autonomy虽然在公众中的知名度不太大，但在商业应用领域中却名声煊赫，并在政府、国防、新闻、金融、电信、教育等领域拥有大量中坚客户。而且，Autonomy还是一个“历史悠久”的IT公司，同时在美国和英国上市，拥有超过1.47亿美元的现金。

　　Autonomy的创始人是剑桥大学的迈克·林克(Mike Lynch)教授。1991年，林克教授创立了Autonomy的前身Nurodynamic公司，后者是林克从一个乐队老板融资3000多美元创建的，该公司主要致力于剑桥大学模式识别研究成果的产业化工作。

　　到1996年时，林克教授已经积累了足够多的客户资源。于是，他向风险投资商借贷了1500万美元，创立了Autonomy。同年，Autonomy推出了世界上第一套智能个性化信息系统，同时发布了它的拳头产品DRE(Dynamic Reasoning Engine，动态推理引擎)和Portal产品系列。

　　18世纪，英国牧师托马斯·贝叶斯曾经试图利用概率论证明上帝的存在，但他未能如愿，不过，他所创立的贝叶斯定律却奠定了现代概率论的基础。两个多世纪以后，这个定律成了Autonomy发家致富的敲门砖。不少数学家认为，贝叶斯定律描述的逻辑是一种跟人类思维模式最接近的数学逻辑，它通过一个概念出现频率的多少和与其他概念之间的关系来决定其成分的重要性。

　　香农信息论则提供一种方法来提取一篇文章诸多概念之中最有意义的部分。香农信息论最基本的理论是：一个词重复频率越高，其内容越不具有概括性，反之，一个词重复频率越低，其内容越丰富。

　　Autonomy中含有一个动态推理引擎(Dynamic Reasoning Engine，DRE)，它是一个扩展性很强的、多线程的核心引擎。信息的概念分析、内容提取、概念模式识别、相关度计算等关键工作都由动态推理引擎来完成。它是一个跨平台的引擎，可以在多种硬件和操作系统环境下优化运行，支持从Intel PC使用的Windows NT到多处理器小型机运行的UNIX等系统环境。它可以与各种不同信息源相连，如互联网、数据库、内部网和本机数据库、文件系统等。当用户发出搜索指令后，它可以通过概念分析、模式识别、相关度计算等方法，从不同的数据源中找到与用户要求最匹配的信息。

　　从“搜索(search)”到“发现(discover)”

　　Autonomy在保留了传统搜索方法的基础上，还发展了新的方法。

　　目前，人类研究的信息搜索技术有四个方向：关键字搜索，模式识别，语义分析，神经网络。除了关键词搜索比较成熟外，其他三项技术还处于待开发状态。模式识别的代表者就是Autonomy，语义分析和神经网络两个技术方向目前尚无压倒性的代表者，这两个技术方向的研究难度相对较大，估计一时半会不会有突破性研究成果。所以，模式识别就成了目前比较先进的信息搜索技术。

　　传统搜索基本上采用“关键词”搜索方式，也就是“非0即1”的方式，它基于严格定义和分类的布尔表达式，即“与、或、非”表达式。这样搜索的最大弊病就是：如果关键词不确定，或者有错误疏漏，用户往往得不到自己想要的搜索结果。

　　但在实际应用中，用户常常很难用具体而明确的关键词来描述自己想找的东西，比如上述的“最便宜的笔记本电脑”等等。甚至在有些时候，搜索出来的结果大部分与这个关键词并没有太大关系，只是结果文章中出现过这个词而已。例如，一个用户希望了解污染对企鹅造成的影响，使用关键词搜索法，键入“企鹅”，搜索结果可能带来一些有用的信息，但同时也有大量不相关的文章，如“企鹅出版公司”、“企鹅牌巧克力”、“企鹅冰箱”等。

　　采用“模式识别”搜索方法，可通过判别相关识别度的高低来对数据进行检索。即它会对用户键入的检索内容进行语意上的分析，然后对海量信息进行概念匹配，找出在内容上最接近的数据提供给用户，所以可以避免传统“关键词检索”造成的漏检情况的发生。比如一篇文章里如果有“大海”这个词，这篇文章有可能和企鹅有关，但是“大海”这个词用在很多不同的地方，有可能文章讲的是别的内容。但是如果一篇文章里有“大海”、“南极”、“黑色”、“白色”、“不会飞”、“羽毛”、“下蛋”、“石油”、“泄露”等这些词，这篇文章是在谈论污染和企鹅的概率就会很高。虽然整篇文章里没有“企鹅”这个词，但是很多相关度较低的词出现在一起就会带来很高的相关度，并且缺少某个描述词对其产生的结果影响微乎其微[x1] 。

　　如果说传统的“关键字”搜索方法为“search”(搜索)的话，autonomy采用的“模式识别”方法则应该称为“discover”(发现)，因为它可以让用户找到一些事前他们不知道的信息。Autonomy产品中提供的“聚类”功能正是“从搜索到发现”的最佳表现。

　　如果一个用户需要知道“本月最热门的IT新闻事件有哪些”，使用Autonomy的“聚类”功能就可以得到近乎完美的答案。第一步，用户先设定一些需要搜索的目标网站，根据“本月最热门的IT新闻事件有哪些”这个需求，这些目标网站自然是一些IT新闻网站；第二步，通过Autonomy的DRE对这些网站上本月内报道的IT新闻进行检索；第三步，对这些新闻进行分类，报道数量最多最频繁的前几件事情就是“本月最热门的IT新闻事件有哪些”的候选者。这是没有计算机帮助时的人工作法，现在，这些步骤都由安装了Autonomy软件的计算机来完成，用户只需要“发动”一下这个系统：给“本月最热门的IT新闻事件有哪些”这个搜索需求设定一些关键参数。

　　当然，设置关键参数对非专业人士而言并不是一件容易的事情，一开始可能有些麻烦，不过，随着这个不断“学习”的系统的后台数据库数据量的增加，用户需要设置的参数可能会越来越少，甚至做到直接用“本月最热门的IT新闻事件有哪些”就可以一步到位搜索到用户所需要的。当然，用户这个系统不可能像google的检索数据库一样包罗万象[x2] ，只能在某些个别领域(如IT新闻、环境污染等)成为一个“专家”，这个“专家”在面对来自其他领域或行业的问题时，一开始一样是个傻瓜。

处理非结构化数据的利器

何谓非结构化数据：相对于结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

　　“只要存在非结构化数据，就对autonomy有需求。”Autonomy公司的代理商卓越动力认为，对于那些非结构化的数据，Autonomy提供的功能是十分有效的。而随着互联网的大规模普及，非结构化数据将越来越多，远远超过了结构化数据的数量。对于企业而言，如何处理数量如此庞大的非结构化数据，比个人的需求更加迫切。

　　企业对文档的处理可分为三个发展阶段。最初是文件系统，通常是树型目录结构的文件管理器。当文件大量出现后，树型目录已经无法管理一些逻辑性和结构性很强同时又关系复杂的数据，于是出现了关系型数据库，通过数据库管理工具对数据进行安全管理、备份管理、分类管理等，也就是把非结构化文档结构化，变成计算机能够读懂的数据和关系。这是第二个阶段。

　　第三个阶段是在互联网出现后，随着大批非结构化数据的出现，单纯将非结构化数据转化成结构化数据的工作需要耗费大量的人力和物力，同时还往往需要把结构化的数据又重新以非结构化方式输出，这样转换来转换去，导致了大量资源浪费和成本支出。所以，如何不转换就能直接处理非结构化数据，成了迫在眉睫的问题，Autonomy的功能正好应运而生。

　　Autonomy通过保持数据原型，通过架设自己的平台来对数据进行管理。从而完成从信息与信息的互动，到人与信息的互动，最终达到人与人的互动。此外，Autonomy还可以建立文字与视音频片段的对应，从而完成新闻媒体里的新闻和谈话节目的数据管理工作。

　　目前，Autonomy在国外比较成功的应用案例集中在媒体、政府机构、金融和信息产业等需要集中处理大量非结构化数据的领域。

　　2003年3月，Autonomy进入中国市场，目前主要集中在电信和政府市场。在企业内部，Autonomy是追求建立符合企业内部数据管理需求的平台，可将放在不同位置的不同类型的数据进行有效梳理。“搜索”不是autonomy的最终目的，抽取最需要的信息进行“信息集成”，搭建知识管理平台才是Autonomy的应用方向[x3] 。

　　Autonomy代理商卓越动力认为，政府机构和一些需要对信息进行监控的机构是该系统在中国的潜在市场。

　　随着互联网的多元化，大量网上违法信息都不以关键词形式出现。例如，政府有关部门要打击网上非法买卖违禁药物，使用“摇头丸”、“兴奋剂”等关键词搜索出来的内容多数是关于药物危害、打击犯罪等方面的正面文章，而出现“兴奋”、“购买”、“单价”等关键词的文章，则与非法买卖违禁药物的相关度最高。通过这种非关键词搜索的“模式识别”搜索，政府监控部门可以有效打击日益猖獗的网上犯罪。

　　资料

　　Autonomy的工作原理

　　Autonomy的核心是建立在独特的信息论和概率论的基础之上的模式识别技术，它可以保证对任何形式的信息：文本文件或基于语音、视频、非结构化或结构化的实际内容的基本理解。

现在网络应用软件主要为三层结构：用户界面层、应用软件层和数据层。这样的结构所存在的问题是，不同的应用软件不能实现信息共享。信息源与信息源之间有不可跨越的屏障，来自不同信息源的信息有不同的格式。Autonomy创建了一个新的信息层：智能信息操作层IDOL，自动把各个信息源和各种文件格式统一在一个智能的信息操作系统之下，这个智能信息操作系统可以提供多种信息操作的功能，比如信息的实施自动链接，信息自动分类，内容概括，信息聚类等。

Autonomy在系统内创建一个新层，即智能数据操作层(intelligent data operating layer, IDOL)，从而使企业系统“以数据为中心”。该操作平台后端与各种数据源相连，可以根据任何语言和格式进行内容搜索，不论内容存放在哪里，自动实时地将总结以及与其类似信息的链接呈现出来。由于autonomy的技术是建立在概率性建模之上，因此不依赖任何语言进行分析，无需维护任何繁琐的词表，IDOL将此看成是意义的抽象符号，它通过词出现时的上下文环境而不是通过严格的语法定以来形成对该词的理解，从而识别进入到autonomy架构中的任何数据的语言特性。

另外，autonomy还具有分类和聚类功能。IDOL自动根据非结构化文本中的概念对信息进行分类，可以保证根据内容对所有数据进行最准确的分类。而自动聚类可以收集大量的文档数据或用户档案信息，并且自动识别出信息内的主要类别，让IDOL自动的持续一致的计算新的信息应该属于哪个类别。

企业非结构化信息搜索的商机，引得众多IT巨头纷纷加入搜索战团，处理非结构化信息的桌面搜索模式成为竞争焦点。微软、IBM、Autonomy、Yahoo、AOL等和Google正在开展直接的竞争。

　　Google推出了Google Scholar和Google Suggest搜索工具测试版，Google Scholar主要致力于学术和科技资料的搜索。Google Suggest功能更为奇特，当用户键入几个关键词后，它就能猜出您搜索的内容。

　　据Google公司内部消息透露，公司正在加紧研制桌面搜索工具的企业版，这将给企业IT管理者更大的搜索信息控制权。企业版搜索工具的显著特点是:具有口令保护功能，支持单系统上多程序搜索。目前，业内尚不知其实际效用。Google桌面搜索功能将整合在Google搜索工具中。

　　微软这位软件巨人，也紧随Google和其它公司创新的步伐，并于2004年12月10日公布了WinFS，又在几天后宣布推出桌面搜索工具测试版本，并称在今年正式的搜索版本将与用户见面。

　　IBM公司的研究人员描述了公司“未来搜索”的概念，并演示了即将生产和销售的几种不同产品。日前，IBM推出了OmniFind，这也是公司解决搜索问题新战略的第一步。据IBM称，这种称之为“非结构性信息管理架构”或是UIMA的模式，将引领第三代信息搜索的潮流。新的搜索工具将使进一步搜索成为可能，这种“发现系统”将能辨别存储信息中潜在的意义，不论这种信息是什么结构(数据库、电子邮件、录像、图片或是视频信息)，不论它是什么语言，都能一网打尽，这种搜索包括业内多年以来都在苦苦探索的“自然语言处理”、外语计算机翻译以及其它棘手的技术。

　　IBM公司负责这项研究工作的人士指出，使用Google搜索方式，用户可找到世界各地不同语言的网页资料，但其速度较慢，而且结果令人迷惑。而IBM采用的是称之为Piquant的语义搜索形式，能对没有出现的知识进行智能搜索。比如，当搜索出一篇关于加拿大总理的文章时，它会自动提示一个问题“谁是加拿大总理”?甚至还会出现一些文章中未出现的东西。

　　最近，Autonomy透露了其新搜索工具的详细情况，Autonomy公司推出的企业桌面搜索工具IDOL(如图2)，具有先进的身份认证和SSL加密技术，它允许用户搜索在电脑桌面、企业网络、网站以及地区数据源上存放的文档、电邮、网站以及多媒体信息。

　　Google的搜索与广告合作伙伴—AOL于2004年10月14日证实它正在测试一种新搜索引擎。这种搜索引擎与Google产品类似，都可以搜索Word和Excel等Microsoft Office文件、照片、音乐，以及来自AOL Instant Messenger的聊天日志和以前看过的IE网页。

　　不久前，雅虎公司宣布使用X1系统作为其桌面搜索工具的基础。AskJeeves、EarthLink以及小型搜索公司dTSearch、Copernic、Accoona也都加入了搜索大战。Copernic也推出了Copernic桌面搜索1.2版本(Copernic Desktop Search Version 1.2)，而ISYS搜索软件公司也宣布将于明年早些时候升级其先前的搜索工具。

　　Autonomy的技术特点

　　Autonomy软件设计的原则是无需用户改变已有的使用习惯，也不用改变已有的系统架构、应用程序和存储结构，甚至不需要改变已有的用户界面。Autonomy在保留了传统搜索方法的基础上，还发展了新的方法，它支持所有的传统式的检索和设置方式，包括关键词、逻辑语言、布尔语句等，同时提供给用户更多更简洁的定义方法，还可以采用自然语言的设置方法或通过反馈的文章代替人工设置，而不需要采用有诸多限制的标准词或关键词。Autonomy通过自身软件架构的灵活性来适应已有系统架构，并可以嵌入到已有的应用系统中去，在熟悉的界面之下提供新的功能。Autonomy通过对文章的概念匹配和关联，摆脱了很多关键词检索的弊病和局限性，所达到的信息内容价值的释放是关键词搜索引擎望尘莫及的。

　　Autonomy中含有一个动态推理引擎(Dynamic Reasoning Engine，DRE)，它是一个扩展性很强的、多线程的核心引擎。信息的概念分析、内容提取、概念模式识别、相关度计算等关键工作都由动态推理引擎来完成。动态推理引擎是一个跨平台的引擎，可以在多种硬件和操作系统环境下优化运行，支持从PC使用的Windows NT操作系统到多处理器小型机运行的Unix等系统环境。它可以与各种不同信息源相连，如互联网、数据库、内部网和本机数据库、文件系统等。当用户发出搜索指令后，它可以通过概念分析、模式识别、相关度计算等方法，从不同的数据源中找到与用户要求最匹配的信息。

　　Autonomy的技术特点和优势主要有以下几点:

　　自动内容综合和精炼 Autonomy让系统了解自己现有信息资产的状况，不论信息源、格式或媒介如何，都可以进行统一的操作。Autonomy能操作的信息包括非结构化的数据，如HTML页面、字处理文档、电子表格、电子邮件及半结构化数据(XML)，以及结构化数据，如RDBMS表格和Lotus Notes。而且，Autonomy还可以综合并且理解丰富的多媒体内容，例如音频、视频和图像的概念。综合是从不同的信息数据库里收集、抽取和导入内容、元数据及安全数据以供Autonomy的企业桌面搜索工具(IDOL)分析的过程。

　　个性化操作基于个人的档案(profile)，Autonomy可以提供广泛的强大的个性化操作，为用户提供条件，让他们登记自己的兴趣，了解与他们个人兴趣喜好相关的信息。Autonomy的自动个性化解决方案，可以实现对目标产品或内容的高度个性化。企业应用的集成提高了生产力，个性化解决方案可以让用户有能力更为突出与众不同的核心竞争力，并且更快地做出正确的决策。

　　信息自动分类 Autonomy独有的自动信息聚类，避免了相关人员的手工分类的麻烦，将相关网站信息进行全自动分类，实时、客观地反映出每一个科学门类的信息变化。这与其它的模板式的自动分类机制有着本质的区别。Autonomy的架构可以识别信息间的主要关系，从而实现内容间的交叉索引对照。最为关键的是，Autonomy的这一切工作是在绝对无需人工干预的情况下进行的，这对于企业的应用来讲是至关重要，全自动化的工作保证了时间、效率、结果的稳定与科学。

　　主动匹配企业的信息需求可能涉及的范围很广，从网站上最酷的新闻到刚刚播放的电视画面，“主动匹配”可以自动帮用户做这项工作，这样用户可以更快地做出正确的决策，消除重复劳动，并且可以在用户日常工作中充分利用整个企业提供的信息系统为各个相关部门和人员提供有价值的信息。主动匹配可以将典型的文档或以数字为中心的用户界面转变成以任务为导向的智能界面，可以识别用户当前的问题，确定相关的信息并且积极主动地提示用户，让用户了解到相关内容。

赵金辉整理

搜索引擎Autonomy相关推荐

PageRank行将过时搜索引擎遭遇范式转移
曾被喻为创新机器的Google,连同盛极一时的古格尔教(Google宗教),正在全球范围内经历一个不可逆转的去魅过程.Google还在创新吗?面对诸多创意迭出的第三代搜索引擎的出现,PageRank ...
影响中国发展的七大垂直搜索引擎
百度进军日本前途未卜,Google开进中国遭遇抄袭门,YAHOO中国再演变脸秀.2007年才刚刚过了三分之一,中国互联网搜索领域已是风声水起.殊不知,在这些互联网大鳄的身边,还潜伏着重重杀机,各类的垂 ...
商业搜索引擎大行其道未来规模将超越ERP
11月27日,继Google发布低端搜索机之后,老牌企业搜索巨头Autonomy也在全球20多个国家同步发行了一款针对低端市场的商业搜索引擎--Ultraseek5.7版本.此前,在Ultraseek ...
影响中国发展的七大垂直搜索引擎！！
影响中国发展的七大垂直搜索引擎!! 2013年07月22日 ⁄ 综合 ⁄ 共 2366字 ⁄ 字号小中大 ⁄ 评论关闭 width="336" height="28 ...
搜索引擎是如何工作的
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章作者:吃瓜的东链接:https://www.jianshu.co ...
微软和海量科技合作推企业搜索引擎新方案
天极网消息记者近日获悉,微软中国公司与天津海量科技发展有限公司(海量科技)达成合作意向,微软中国公司协助海量科技在中国大陆地区推广企业级中文搜索引擎新解决方案-DESE(嵌入式数据库搜索引擎SQL ...
php垂直搜安装,七大垂直搜索引擎
七大垂直搜索引擎 [编辑] 1. 论坛搜索: 代表:奇虎www.qihoo.com 创建于2005年9月.由原雅虎中国3721研发主力团队为技术核心.成立不到200天即获得大批风险投资.被各界冠名&q ...
电子设计搜索引擎引入分析和见解
电子设计搜索引擎引入分析和见解 Electronics Design Search Engine Introduces Analytics and Insights 2020年上半年最受欢迎的组件是什 ...
搜索引擎ElasticSearchV5.4.2系列二之ElasticSearchV5.4.2+kibanaV5.4.2+x-packV5.4.2安装
相关博文: 搜索引擎ElasticSearchV5.4.2系列一之ES介绍搜索引擎ElasticSearchV5.4.2系列二之ElasticSearchV5.4.2+klanaV5.4.2+x-p ...
搜索引擎优化培训教程
很详细的搜索引擎优化培训教材 View more presentations from mysqlops 转载于:https://www.cnblogs.com/macleanoracle/archi ...

搜索引擎Autonomy

搜索引擎Autonomy相关推荐

最新文章

热门文章