前沿科技

自动问答技术

传送门
概念

  • 自动问答(Question Answering, QA)是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务。不同于现有搜索引擎,问答系统是信息服务的一种高级形式,系统返回用户的不再是基于关键词匹配排序的文档列表,而是精准的自然语言答案
    比如微软的小娜,苹果的siri,小米的小爱

研究内容

  • 自动问答系统在回答用户问题时,需要正确理解用户所提的自然语言问题,抽取其中的关键语义信息,然后在已有语料库、知识库或问答库中通过检索、匹配、推理的手段获取答案并返回给用户。上述过程涉及词法分析、句法分析、语义分析、信息检索、逻辑推理、知识工程、语言生成等多项关键技术。

技术方法和研究现状

  • 1)检索式问答;
    这类方法是以检索和答案抽取为基本过程的问答系统,具体过程包括问题分析、篇章检索和答案抽取。
    抽取方法分为基于模式匹配的问答方法和基于统计文本信息抽取的问答方法。
    在运行阶段,系统首先判断当前提问属于哪一类,然后使用这类提问的模式来对抽取的候选答案进行验证。同时为了提高问答系统的性能,人们也引入自然语言处理技术。由于自然语言处理的技术还未成熟,现有大多数系统都基于浅层句子分析。

  • 在一个限定问题类型、限定答案类型的知识比赛表现还行,面对开放式的场景和环境,已有检索式问答系统还有很长的路要走。

  • 2)社区问答
    社区问答系统应运而生,例如 知乎、百度知道等
    社区问答系统有大量的用户参与,存在丰富的用户行为信息,例如用户投票信息、用户评价信息、回答者的问题采纳率、用户推荐次数、页面点击次数以及用户、问题、答案之间的相互关联信息等等,这些用户行为信息对于社区中问题和答案的文本内容分析具有重要的价值。
    最好的检索系统在 Top 10 的准确率可以达到 40%。尽管社区问答系统相对于检索式问答和知识库问答技术简单,但是目前已经商业化

  • 3)知识库问答。
    检索式问答和社区问答尽管在某些特定领域或者商业领域有所应用,但是其核心还是关键词匹配和浅层语义分析技术,难以实现知识的深层逻辑推理,无法达到人工智能的高级目标。
    其目标是把互联网文本内容组织成为以实体为基本语义单元(节点)的图结构,其中图上的边表示实体之间语义关系基于这样的结构化知识,问答系统的任务就是要根据用户问题的语义直接在知识库上查找、推理出相匹配的答案,这一任务称为面向知识库的问答系统或知识库问答。
    评测主要针对于一些限定领域的知识库进行问答。已有方法也取得了不错的结果

未来方向

  • 基于深度学习的端到端自动问答。
    能将自然语言分析过程变为一个可学习的过程。但存在资源问题和算法实现问题

自动问答技术的效果怎么样?以后会用到什么算法:

  • 采用自然语言处理技术,一方面完成对用户疑问的理解;另一方面完成正确答案的生成。综合运用了自然语言处理,信息检索,语义分析,机器学习,人工智能等技术的一种新型信息服务技术,自动问题系统将会自动分析和理解用户自然语言的提问,直接返回用户想要的答案。Pranking算法。

图像识别技术

概念:

  • 图像识别,是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术,并对质量不佳的图像进行一系列的增强与重建技术手段,从而有效改善图像质量。
    百度识图、人脸识别

原理

  • 计算机的图像识别技术和人类的图像识别在原理上并没有本质的区别,人类的图像识别都是依靠图像所具有的本身特征分类,然后通过各个类别所具有的特征将图像识别出来的,当看到一张图片时,我们的大脑会迅速感应到是否见过此图片或与其相似的图片。
    图像识别技术可能是以图像的主要特征为基础的。每个图像都有它的特征,如字母A有个尖,P有个圈、而Y的中心有个锐角等。对图像识别时眼动的研究表明,视线总是集中在图像的主要特征上,也就是集中在图像轮廓曲度最大或轮廓方向突然改变的地方,这些地方的信息量最大。而且眼睛的扫描路线也总是依次从一个特征转到另一个特征上。由此可见,在图像识别过程中,知觉机制必须排除输入的多余信息,抽出关键的信息。同时,在大脑里必定有一个负责整合信息的机制,它能把分阶段获得的信息整理成一个完整的知觉映象。

图像识别技术的过程分以下几步:

  • 信息的获取
  • 预处理
    预处理主要是指图像处理中的去噪、平滑、变换等的操作,从而加强图像的重要特征
  • 特征抽取和选择
    简单的理解就是我们所研究的图像是各式各样的,如果要利用某种方法将它们区分开,就要通过这些图像所具有的本身特征来识别,而获取这些特征的过程就是特征抽取。
  • 分类器设计和分类决策。

模式识别是

  • 人工智能和信息科学的重要组成部分。模式识别是指对表示事物或现象的不同形式的信息做分析和处理从而得到一个对事物或现象做出描述、辨认和分类等的过程。

图像识别在哪些方面的应用

  • 图像识别技术可能是以图像的主要特征为基础的,每个图像都有它的特征。在人类图像识别系统中,对复杂图像的识别往往要通过不同层次的信息加工才能实现。图像识别技术是立体视觉、运动分析、数据融合等实用技术的基础,在导航、地图与地形配准、自然资源分析、天气预报、环境监测、生理病变研究等许多领域可广泛应用。

  • 遥感图像识别
    航空遥感和卫星遥感图像通常用图像识别技术进行加工以便提取有用的信息。该技术目前主要用于地形地质探查,森林、水利、海洋、农业等资源调查,灾害预测,环境污染监测,气象卫星云图处理以及地面军事目标识别等。

  • 军事刑侦
    图像识别技术在军事、公安刑侦方面的应用很广泛,例如军事目标的侦察、制导和警戒系统;自动灭火器的控制及反伪装;公安部门的现场照片、指纹、手迹、印章、人像等的处理和辨识;历史文字和图片档案的修复和管理等等。

  • 生物医学
    图像识别在现代医学中的应用非常广泛,它具有直观、无创伤、安全方便等特点。在临床诊断和病理研究中广泛借助图像识别技术,例如CT(ComputedTomography)技术等。

  • 机器视觉
    作为智能机器人的重要感觉器官,机器视觉主要进行3D图像的理解和识别,该技术也是目前研究的热门课题之一。
    机器视觉的应用领域也十分广泛,例如用于军事侦察、危险环境的自主机器人,邮政、医院和家庭服务的智能机器人。此外机器视觉还可用于工业生产中的工件识别和定位,太空机器人的自动操作等。

数字图像处理:

  • 是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。

无人驾驶技术

传送门
无人驾驶使用的技术有哪些

  • 无人驾驶技术是传感器、计算机、人工智能、通信、导航定位、模式识别、机器视觉、智能控制等多门前沿学科的综合体。按照无人驾驶汽车的职能模块,无人驾驶汽车的关键技术包括环境感知、导航定位、路径规划、决策控制等。

机器学习

通俗理解
概念

  • 像豆瓣、淘宝、QQ音乐这些推荐系统,背后的秘密武器正是机器学习。
  • 机器学习有点像人类的决策过程

举例:挑橘子


  • 我们会发现这个普通的计算机算法有个缺点,那就是:我们得搞清楚影响橘子甜度的所有因素的错综复杂的细节。如果问题越来越复杂,我们就要针对所有的橘子类型,手动地制定挑选规则就变得非常困难。
  • 机器学习算法是由前面的普通算法演化而的来。通过自动地从提供的数据中学习,它会让我们的程序变得更“聪明”。
  • 我们从市场上的橘子里随机的抽取一定的样品(在机器学习里叫做训练数据),制作成下面的一张表格,上面记着每个橘子的物理属性,比如颜色,大小, 产地 等。(这些橘子的属性称之为特征)。还记录下这个橘子甜不甜(这叫做标签)。

传送门

机器学习一般分为:监督学习、非监督学习、半监督学习、增强学习。监督学习,就是人们常说的分类,通过已有的训练样本去训练得到一个最优模型,再利用这个模型将所有的输入映射为相应的输出,对输出进行简单的判断从而实现分类的目的,也就具有了对未知数据进行分类的能力,监督学习里典型的例子就是KNN、SVM(拉普拉斯核,sigmoid核)。无监督学习:机器自己学习(聚类算法是无监督学习的一种),事先没有任何训练样本,而需要直接对数据进行建模。增强学习:特征就是从现有的状态出发,不断的优化自己的策略。

机器学习算法中的过拟合(使用正则化可以减小过拟合的程度)、欠拟合:过拟合指的是模型对于训练数据拟合程度过当的情况。当某个模型过度的学习训练数据中的细节和噪音,以至于模型在新的数据上表现很差,我们称过拟合发生了。这意味着训练数据中的噪音或者随机波动也被当做概念被模型学习了。而问题就在于这些概念不适用于新的数据,从而导致模型泛化性能的变差。过拟合更可能在无参数非线性模型中发生,因为学习目标函数的过程是易变的具有弹性的。决策树(属于监督学习)就是一种无参数机器学习算法。过拟合:在训练数据上表现良好,在未知数据上表现差。欠拟合:在训练数据和未知数据上表现都很差。

迁移学习:通俗来讲,就是运用已有的知识来学习新的知识,核心是找到已有知识和新知识之间的相似性,用成语来说就是举一反三。由于直接对目标域从头开始学习成本太高,我们故而转向运用已有的相关知识来辅助尽快地学习新知识。迁移学习就是在一个数据集上训练卷积神经网络时,去掉最后一层,在不同的数据集上重新训练模型的最后一层。直观来讲,就是重新训练模型以识别不同的高级特征。因此,训练时间会减少很多,所以在没有足够的数据或者需要太多的资源时,迁移学习是一个很有用的工具。

什么是机器学习?讲讲具体的算法。

广义来说,有三种机器学习算法

  • 监督式学习

    • 工作机制:这个算法由一个目标变量或结果变量(或因变量)组成。这些变量由已知的一系列预示变量(自变量)预测而来。利用这一系列变量,我们生成一个将输入值映射到期望输出值的函数。这个训练过程会一直持续,直到模型在训练数据上获得期望的精确度。监督式学习的例子有:回归、决策树、随机森林、K – 近邻算法、逻辑回归等。
  • 非监督式学习

    • 工作机制:在这个算法中,没有任何目标变量或结果变量要预测或估计。这个算法用在不同的组内聚类分析。这种分析方式被广泛地用来细分客户,根据干预的方式分为不同的用户组。非监督式学习的例子有:关联算法和 K – 均值算法。
  • 强化学习

    • 工作机制:这个算法训练机器进行决策。它是这样工作的:机器被放在一个能让它通过反复试错来训练自己的环境中。机器从过去的经验中进行学习,并且尝试利用了解最透彻的知识作出精确的商业判断。 强化学习的例子有马尔可夫决策过程。

什么是数据挖掘

**数据挖掘:**数据挖掘是从大量的数据中通过算法搜索得到其中信息的过程,侧重数据的清洗和梳理。说白了,数据挖掘就是一种利用大数据进行分析问题的手段,问题一直会有,解决问题的手段也就一直有存在的必要。数据挖掘的任何一个研究点都可能会遇到“大数据”问题

  • 数据挖掘是一个用数据发现问题、解决问题的学科。
  • 通常通过对数据的探索、处理、分析或建模实现。

数据挖掘应用

  • 广告位点击预估
  • 信用卡风控评估
  • 用户流失干预

数据挖掘的一般过程包括以下这几个方面:

  • 1、 数据预处理

    • 之所以有这样一个步骤,是因为通常的数据挖掘需要涉及相对较大的数据量,这些数据可能来源不一导致格式不同,也许有的数据还存在一些缺失值或者无效值,如果不经处理直接将这些‘脏’数据放到我们的模型中去跑,非常容易导致模型计算的失败或者可用性很差,所以数据预处理是我们所有数据挖掘过程中都不可或缺的一步
  • 2、 数据挖掘

    • 完成了数据的预处理,我们通常进行的特征的构造然后放到特定的模型中去计算,利用某种标准去评判不同模型或组合模型的表现,最后确定一个最合适的模型用于我们的后处理
  • 3、 后处理

    • 后处理的过程相当于我们已经发现了那个我们想要找到的模式,我们会去应用它或者用合适的方式将其表示出来

模式

  • 这是指我们找出数据间的潜在的联系模式。比方说两个数据存在强关联的关系,这里就得提到那个大数据经常讲的啤酒尿布的故事,通过对数据的分析,发现买尿布的男性通常也会买点啤酒,那么商家根据这个可以将这两种商品打包出售来提高业绩

聚类分析

  • 从定义上讲,聚类就是针对大量数据或者样品,根据数据本身的特性研究分类方法,并遵循这个分类方法对数据进行合理的分类,最终将相似数据分为一组,也就是“同类相同、异类相异”。
  • 物以类聚

数据分析与数据挖掘的区别是什么?

  • 从分析的目的来看,数据分析一般是对历史数据进行统计学上的一些分析,数据挖掘更侧重于利用机器学习来预测,一般应用于分类、聚类、推荐、关联规则

大数据和机器学习的联系

  • **数据是信息,是依据。**其背后隐含着大量不易被我们感官识别的信息、知识、规律等等,如何揭示这些信息、规律趋势,成了当前许多机器学习者关心的问题数据十分杂乱,经过梳理和清洗,才能够称为信息。信息会包含很多规律,我们需要从信息中将规律总结出来,称为知识(Knowledge)。而知识改变命运。所以数据的应用分这四个步骤:数据、信息、知识、智慧。
  • **机器学习的任务是在基于大数据量的基础上,发掘其中蕴含的有用信息。**其处理的数据越多,机器学习就越能体现优势,数据起到了机器学习算法迭代优化的效果

生活中数据挖掘和大数据的应用(可见前详情)

数据挖掘应用:

  • 电子商务推荐系统:通过数据挖掘,可以建立起买家档案,根据买家的喜好等,向他们推荐最符合他们需求的商品。Facebook、潘多拉、塔吉特。
  • 美国在线音乐网站潘多拉特别聘请一些音乐专家,赋予每首歌400种不同的属性。如果你表示喜欢一首歌,程序会自动寻找跟这首歌“基因”相同的歌曲,猜测你也会喜欢并采用推荐引擎技术推荐给你。借助这种人海战术,潘多拉网站已经分析了74万首歌曲。

大数据的应用:医疗领域:

  • 大数据应用:疫情预测、疫情路径追踪、物资分配

  • 在这次疫情中,大数据可对新冠肺炎追踪传播路径,专家利用大数据技术梳理感染者的生活轨迹,追踪人群接触史成功锁定感染源及密切接触人群,为疫情防控提供宝贵信息。例如某位患者曾表示自己并无重点疫区接触史,但经过大数据排查,发现其曾经至少接触过三位来自重点疫区的潜在患病人士。可见大数据技术通过追踪移动轨迹、建立个体关系图谱等,在精准定位疫情传播路径,防控疫情扩散方面的重要作用。

你对人工智能有什么了解,强人工智能可能实现吗?

  • 人工智能其实很早就有了,神经网络从人脑的原理得到了一些启发,但其原理还是有本质不同的。这些神经网络呢也引起了一阵轰动,但由于当时缺乏大量的标注数据以及足够的计算资源,很难进行深层次的神经网络的训练,大部分网络离解决具体的实际问题十分遥远

  • 人工智能分化出的主要学科

    • 计算机视觉,自然语言处理,机器学习和机器人学
    • 人脸识别刷脸支付就属于计算机视觉的范畴;
    • 智能语音助手Siri Alexa就属于自然语言处理这块;
    • 而各种网站上的广告和商品推荐算法就属于机器学习的范畴了。
  • 人工智能是计算机科学的重要分支之一。它企图了解智能实质, 并生产出一种新的能以人类智能相似的方式做出反应的智能机器, 机器人、自然语言识别处理、专家系统、图像识别等技术均属于人工智能范畴。

人工智能的能力阶段

  • 弱人工智能:仅在特定领域、既定规则中拥有强大的智能
  • 强人工智能:不受领域、规则限定,拥有与人类媲美的智能
  • 超人工智能:在所有领域都拥有超越人类的智能

现代人工智能的研究方法

  • 把智能问题转化为消除不确定性的问题,通过大数据+超级计算来消除不确定性
  • 用若干个简单模型来代替复杂模型,最大限度利用计算机技术的进步,用数据量、计算量来节约研究时间

计算机视觉

  • 研究如何让计算机代替人眼对目标进行识别、跟踪、测量,并根据要求处理图像

应用领域

  • 图像搜索(包括人脸识别)
  • 智能安防
  • 照片分类与处理
  • 直播监管
  • 无人驾驶

深度学习

概述

传送门
这篇文章讲得太好了,生动易懂

  • 深度学习首先是一种机器学习。深度学习的基础,叫做神经网络,这本身就是一种机器学习算法。近年来,随着深度学习的火热和深入人心,人们渐渐将这一概念独立出来,由此有了深度学习和传统机器学习的区分。其实,都只是算法,一种解决问题的办法,而已

  • 用专业的术语来说,计算机用来学习的、反复看的图片叫“训练数据集”;“训练数据集”中,一类数据区别于另一类数据的不同方面的属性或特质,叫做“特征”;计算机在“大脑”中总结规律的过程,叫“建模”;计算机在“大脑”中总结出的规律,就是我们常说的“模型”;而计算机通过反复看图,总结出规律,然后学会认字的过程,就叫“机器学习”。

如何让计算机识字

  • 决策树的机器学习方法,大概就是if else类型,但是这种算法太简单,很难适应现实世界的不同情况

  • 进阶,人们想出字其实就是空间中的一大堆点。只要我们对每个字的特征提取得足够好,空间中的一大堆点就会大致分布在三个不同的范围里。这时,让计算机观察这些点的规律,看能不能用一种简明的分割方法(比如在空间中画直线),把空间分割成几个相互独立的区域,尽量使得训练数据集中每个字对应的点都位于同一个区域内。如果这种分割是可行的,就说明计算机“学”到了这些字在空间中的分布规律,为这些字建立了模型

  • 但是这种方法很难适应各种问题,后面很多年里,数学家和计算机科学家就是被类似的问题所困扰。但这个世界实在是复杂多样、变化万千,无论人们为计算机选择了多么优雅的建模方法,都很难真正模拟世界万物的特征规律。

  • 由此引出深度学习

深度学习

  • 模型

  • 深度学习就是把计算机要学习的东西看成一大堆数据,把这些数据丢进一个复杂的、包含多个层级的数据处理网络(深度神经网络),然后检查经过这个网络处理得到的结果数据是不是符合要求——如果符合,就保留这个网络作为目标模型,如果不符合,就一次次地、锲而不舍地调整网络的参数设置,直到输出满足要求为止。

  • 通俗讲:计算机就是不断调节 闸门 使得输出结果符合要求,至于水管网络内部,每个阀门为什么要如此调节,为什么要调节到如此程度,人们并不知道。相当于黑箱子,人们通常只知道深度学习模型是否工作,却很难说出,模型中某个参数的取值与最终模型的感知能力之间,到底有怎样的因果关系。

  • 深度学习大致就是这么一个用人类的数学知识与计算机算法构建起整体架构,再结合尽可能多的训练数据,以及计算机的大规模运算能力去调节内部参数,尽可能逼近问题目标的半理论、半经验的建模方式。

原理

  • 其实每一种算法,究其根本,都是一种数学表达。无论是机器学习,还是深度学习,都是试图找到一个函数,这个函数可以简单,可以复杂,函数的表达并不重要,只是一个工具,重要的是这个函数能够尽可能准确的拟合出输入数据和输出结果间的关系。

  • 深度学习的强大是有数学原理支撑的,这个原理叫做“万能近似定理”(Universal approximation theorem)。这个定理的道理很简单 —— 神经网络可以拟合任何函数,不管这个函数的表达是多么的复杂。
    这样一种“万能近似”,很多时候是输入和输出在数值上的一种耦合,而不是真的找到了一种代数上的表达式。

一些问题:
深度学习是什么:

  • 基于深度置信网络(DBN)提出非监督贪心逐层训练算法,是机器学习中一种基于对数据进行表征学习的方法,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据。应用:计算机视觉、语音识别,自然语言处理。

深度学习的深度是什么:

  • 我认为深度学习的深度在于特征的层次的抽象提取,因为浅层一般提取的都是诸如纹理,结构,色彩这些基础的特征。

深度学习是不是越深越好:

  • 理论上来说网络越深表达能力越强,能处理的训练数据也更多,但是训练算法未必支持。

    深度学习算法?架构?著名期刊? 算法:yolo v3、bp、knn 架构:卷积神经网络(CNN),长短期记忆网络(LSTM)。
    期刊:IJCV(国际计算机视觉期刊)、PR(模式识别)。

神经网络

什么是CNN(卷积神经网络),它与传统感知机的区别?
卷积神经网络中感受野:卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的区域大小。神经网络参数共享:用一个卷积核去卷积一张图,这张图每个位置是被同样数值的卷积核操作的,权重是一样的,也就是参数共享。神经网络中使用的损失函数:L1(L1正则化是指权值向量中各个元素的绝对值之和)
L2(L2正则化是指权值向量中各个元素的平方和然后再求平方根) cross entropy softmax loss
focal loss。
曲线拟合和曲线插值:插值是拟合的一种方法。插值方法求出的插值多项式要求所有的数据点都在曲线上,而拟合求出的插值多项式只要反应数据的基本趋势就可以了,并不要求所有的数据点都在拟合曲线上。
解释NP难,NP完全:需要在指数时间内求解的问题。将所有可以在多项式时间内验证的问题称为NP问题。
多目标优化:本质在于,大多数情况下,某目标的改善可能引起其他目标性能的降低,同时使多个目标均达到最优是不可能的,只能在各目标之间进行协调权衡和折中处理,使所有目标函数尽可能达到最优。

MapReduce和Spark的区别:一个 MapReduce 任务只能包含一次 Map (形成key-value)和一次
Reduce(聚合),计算完成之后,MapReduce
会将运算结果写回到磁盘中供下次计算使用。如果所做的运算涉及大量循环,那么整个计算过程会不断重复地往磁盘里读写中间结果。这样读写数据会引起大量的网络传输以及磁盘读写,极其耗时。一个Spark
任务并不止包含一个Map
和一个Reduce,而是由一系列的Map、Reduce构成。这样,计算的中间结果可以高效地转给下一个计算步骤,提高算法性能。最大的不同:spark是可以将某个特定的且反复使用的数据集的迭代算法高效运行,mapreduce处理数据需要与其他节点的或是框架保持高度并行,无法实现这样的效果。
交叉验证:将原始数据进行分组,一部分做为训练集来训练模型,另一部分做为测试集来评价模型。K折交叉验证。
K-近邻分类算法(简称KNN)的定义:通过计算每个训练数据到待分类元组的距离,取和待分类元组距离最近的K个训练数据,K个数据中哪个类别的训练数据占多数,则待分类元组就属于哪个类别。
SGD:随机梯度下降。梯度下降算法是应用于神经网络反向传播过程的计算梯度,然后更新参数,最终找到最优的位置。
IOU:用于测量真实和预测之间的相关度,相关度越高,该值越高。 对称加密算法和非对称加密算法:


​ 偏序关系:R是集合A上的一个关系,若R满足自反性、反对称性、传递性,称R为A上的偏序关系。

图像分类五大方法:KNN(K-邻近算法)、SVM(支持向量机)、BP神经网络、CNN和迁移学习。

常见对的激活函数:sigmoi、relu(相对于sigmoi,具有:防止梯度消失、输出具有稀疏性、简单计算等优势)、tanh。作用是:非线性化。输出0,1。

贝叶斯算法的公式,应用,举例子说明。

人工智能

**概念:**人工智能就是使得机器能够胜任一些通常需要人类智能才能完成的复杂工作。

**前景:**人工智能具有很好的前景,构建智慧城市,让AI进入生活,充分利用城市资源,去减少环境污染、解决交通拥堵等问题具有科研性

大数据

https://www.cnblogs.com/Towerb/articles/12823181.html

  • 大数据:指的是在有限时间内无法用常规工具进行捕捉、管理和处理的数据集合,是需要处理才能具有决策力、洞察力的海量高增长率的信息。大数据技术首要的是提供存储和计算能力,其次是洞察数据中隐含的意义。大数据依赖于硬件设备的升级,数据挖掘依赖于数据挖掘算法的不断优化创新。

云计算

传送门

  • 云化就是把每个人手中的独立资源集中起来,放在一个地方进行统一管理,然后动态分配给每个人使用。
  • 云计算,就是把计算资源集中起来,这个计算资源,包括CPU、内存、硬盘等硬件,还有软件。
  • 云计算就是让用户使用互联网来使用在云端的应用,数据,或者服务。

云计算核心技术:

  • 虚拟化技术(虚拟化的最大好处是增强系统的弹性和灵活性,降低成本、改进服务、提高资源利用效率。)、分布式数据存储技术、编程模型、大规模数据管理技术、分布式资源管理、信息安全、云计算平台管理技术、绿色节能技术等等。

分布式存储:

  • 分布式存储技术,将数据存储在不同的物理设备中。这种模式不仅摆脱了硬件设备的限制,同时扩展性更好,能够快速响应用户需求的变化。Google的GFS和Hadoop开发的开源系统HDFS是比较流行的两种云计算分布式存储系统。

云计算有哪三种服务方式
IaaS:

  • Infrastructure-as-a-Service(基础设施即服务)
  • 就是提供硬件相关的服务。以前,你要建个网站,建个FTP,需要自己买服务器和交换机等硬件设备,现在不用了,可以使用IaaS服务商提供的IaaS服务。

PaaS:

  • Platform-as-a-Service(平台即服务)
  • P就是Platform,平台。某些时候也叫做中间件。基于硬件之上,平台开发都可以在这一层进行。PaaS服务提供商提供各种开发和分发应用的解决方案,比如虚拟服务器和操作系统,以及数据库系统等。

SaaS:

  • Software-as-a-Service(软件即服务)
  • 这一层是和你的生活每天接触的一层,在这一层上,就可以直接访问和使用服务功能了!例如通过网页浏览器收发电邮,订购商品,查看航班信息等。在你的面前,就是具体的应用服务。


云计算优点

  • 能力强。云计算可以达到很庞大的规模,例如Google公司的云计算,就有100多万台服务器,这意味着超强悍的计算能力。
  • 很可靠。云计算采用各种容灾措施,可以保证服务的高可靠性,比本地服务更稳妥。
  • 灵活性。云计算很灵活,可以根据用户需求或规模提供相适应的资源,并支持动态伸缩,想多就多,想少就少。
  • 低成本。云计算看上去很庞大,很花钱,但实际上,因为节点更为廉价,资源动态管理,所以,用户花的钱反而更少,可以根据自己的使用情况定制服务,控制成本。

虚拟环境和云计算的区别

  • 云计算是个概念,而不是具体技术。虚拟化是一种具体技术,指把硬件资源虚拟化,实现隔离性、可扩展性、安全性、资源可充分利用等特点的产品。目前云计算,大多是依赖虚拟化,通过把多台服务器实体虚拟化后,构成一个资源池,实现共同计算,共享资源。

区块链

总结

  • 区块链:分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式,狭义来讲,区块链是一种按照时间顺序将数据区块以顺序相连的方式组合成的一种链式数据结构,并以密码学方式保证的不可篡改和不可伪造的分布式账本。
  • 区块链本质上是一个去中心化的分布式账本数据库

中心

  • 你要在某宝上买一部手机,交易流程是:你将钱打给支付宝-支付宝收款后通知卖家发货-卖家发货-你确认收货-支付宝把钱打给卖家。
  • 在这个过程中,虽然你是在和卖家交易,但是这笔交易还牵扯到了除了你和卖家的第三方,即支付宝,你和卖家的交易都是围绕支付宝展开。因此,如果支付宝系统出了问题便会造成这笔交易的失败。并且虽然你只是简单的买了一个手机,但是你和卖家都要向第三方提供多余的信息。因此考虑极端情况,如果支付宝跑路了或者是拿了钱不却不承认你的交易,那么你就悲剧了。

去中心化

  • 去中心化的处理方式就要显得简单很多,你只需要和卖家交换钱和手机,然后双方都声称完成了这笔交易,就OK了 去中心化
  • 去中心化是区块链技术的颠覆性特点,它无需中心化代理,实现了一种点对点的直接交互,使得高效率、大规模、无中心化代理的信息交互方式成为了现实。

在去中心化以后,整个系统中没有了权威的中心化代理,信息的可信度和准确性便会面临问题。

  • 问题1:点对点的通信,双方不可能在这种情况下达到信息的一致性。严谨一点,就是“在分布式计算上,试图在异步系统和不可靠的通道上达到一致性是不可能的”
  • 问题2:在一个去中心的系统中,有一些节点是坏掉的,它们可能向外界广播错误的信息或者不广播信息,在这种情况下如何验证数据传输的准确性。

区块链技术的诞生

  • 简单的去中心化借贷模型
  • 100块钱类似与比特币

如何防伪

  • 在我创造查克拉的时候给我的查克拉打上标记(更准确地说,我是给我喊的那句“我创造了10个查克拉”打上标记,比如标记为001),这样以后在每一笔交易的时候,我在高喊“我给了某某1个查克拉!”的时候,会附加上额外的一句话:“这1个查克拉的来源是记为001的那条记录,我的这句话标记为002!”。我们再抽象一点,某人喊话的内容的格式就变成了:“这句话编号xxx,上一句话的编号是yyy,我给了某某1个查克拉!”,这样就解决了伪造的问题

记账奖励

  • 相当于挖矿,抢占第一个记账的权利
  • 凭啥你喊一句话我就帮你记?我的小本本不要钱么?”。为了激励大家帮我传话和记账,我决定给第一个听到我喊话并且记录在小本本上的人一些奖励:第一个听到我喊话并记录下来的人,你就凭空得到了1个查克拉,这个查克拉是整个系统对你幸苦记账的报酬,而你记录了这句话之后,要马上告诉其它人你已经记录好了,让别人放弃继续记录这句话,并给你自己的记录编号让别人有据可查,然后你再把我的话加上你的记录编号一起喊出来,供下一个人记账。

谁说的

  • 在这个系统中,如果我和另一个人C几乎同时地喊出一句:“为了艾泽拉斯!”。由于听众所处的位置不同,一定会有人先听到我说的那句话,而另外一些人则先听到C的那句话,如果我们规定只能有一个人说出这句话,那到底这句话是谁说的?
  • 解决 加大计算难度,写字速度相当于算力
  • 为了解决这个问题,我又追加了新的规则:每个人在记录小本本的时候,需要脱鞋然后用脚拿笔,在小本本上用正楷体书写!有了这个规定,由于用脚写字难度很大,每个人至少需要10分钟才能写完,而且由于每个人用脚写字的熟练度不通,写完这句话所用的时间也不同,因此一定会有人先写完然后高呼“我写完了!那句话是LaiW3n喊的!”,这样其它正在写这句话的人便会停笔,然后在小本本上重新开始写“那句话是来文写的,上一句的编号是xxx”

计算机三维建模

  • 计算机三维建模:三维建模是指在计算机上建立完整的产品三维数字几何模型的过程。计算机中通过三维建模建立的三维数字形体,称为三维数字模型,简称三维模型。正是因为有了三维模型的基础,人们可继续开展如CAD、CAE等工作。人脑中的物体形貌在真实空间中展现出来的过程就是三维建模过程。建模方法:软件建模,视频建模,仪器建模。

自然语言

为什么自然语言理解很难?

  • 自然语言理解。

    • 理解基于两个定义:一个是基于表示的。一个是基于行为的。
    • 语言的特性。
      • 不完全规则性。
      • 递归性。
      • 比喻性。
      • 知识关联性。
      • 交互性。
  • 自然语言理解的困难。
  • 人们的错觉。
    • 认识不到计算机的自然语言理解极其困难这一事实。

自然语言的处理策略。

  • 自然语言理解是困难的。但是自然语言处理却是可行的。这也是现在自然语言处理研究的目标。
  • 两大策略。
    • 任务驱动。

      • 任务驱动的自然语言处理就是在具体的应用中构建系统。可以帮助避开在自然语言理解之后能存在的一些问题。
      • 人工智能系统都遵循这样的规律。我们称为人工智能闭环。人工智能系统可以在这个闭环中不断改进,提升智能水平。当任务确定时,就更容易开展基于人工智能闭环的技术开放。
    • 混合模式。
      • 可以认为自然语言处理经历的三代技术发展的演进
      • 第一代基于规则。
        • 规则方法可以有效的利用能给定的知识。所需数据少。
      • 第二代基于统计。
        • 比起规则方法能够更好的应对不确定性。
      • 第三代属于现在基于深度学习。
        • 山东学习有更强的模式学习能力。
      • 未来的发展方向应是将这些不同的技术有效的结合起来。既采用混合模式

智能传感器与5G

智能感知不仅包括通过各类传感器获取外部信息的能力,也包括通过记忆、学习、判断、推理等信息处理过程,认知现实环境和对象类别与属性的能力。在机器视觉、目标识别、态势感知、智能搜索等诸多领域中,基于智能感知的解决方案已呈现出具有架构灵活、可拓展、可配置等无可比拟的技术优势。

随着5G网络的落地延伸,数据的几何级递增,人工智能新方法不断出现,计算设备处理能力与集成度的提升,智能感知的需求和能力正进一步向纵深领域拓展,创新性应用持续涌现,并对智能感知与信息处理从速率、精度、安全性等方面提出了更高的要求。本实验室时刻关注该领域前沿技术的最新进展,顺应学科发展潮流,以现实世界的智能感知与信息处理为核心,面向实际应用领域,践行“将研究扎根于现实需求中,论文写在产品系统里,成果转化在市场上,在实践中锻炼人才培养人才”的理念,开展相关基础性研究以及应用研究。

5G十大应用场景

  • 车联网:远控驾驶、编队行驶、自动驾驶。

    • 这些技术都需要安全、可靠、低延迟和高带宽的连接。这些连接特性在高速公路和密集城市中至关重要。只有5g可以同时满足这样严格的要求。
  • 云VR:需要大量的数据传输,存储和计算功能,这些数据和计算密集型任务如果转移到云端,就能利用云端服务器的数据存储和高速计算能力。
    • 这将带来设备成本降低。
    • 云服务访问速度。
  • 智能制造。
    • 创新是制造业的核心,其主要发展方向有精益生产,数字化工作流程以及生产柔性化。在传统模式下,制造商依靠有线技术来连接应用。无线解决方案在带宽,可靠性和安全性等方面都存在局限性。
  • 智慧能源。
    • 馈线自动化系统对于将可再生能源整合到能源电网中具有特别重要的价值。移动运营商能够与能源供应商优势互补,这使得他们能够进行智能分析并实施响应异常信息。从而实现更快速准确的电网控制。
  • 无线医疗。
    • 医疗行业开始使用可穿戴或便携设备集成远程诊断。远程手术和远程医疗监控等解决方案。
  • 无线家庭娱乐。
  • 联网无人机。
    • 武器技术将增强无人机运营企业的产品和服务。以最小的延迟传输大量的数据。
  • 社交网络。
  • 智慧城市。
    • 比如监控交通流量和数据安全的视频摄像头。
    • 云提供的灵活的数据存储以及数据分析人工智能服务。对于视频监控系统所有者独立的存储系统有较大的前期资本支出和持续的运营成本。虽然这些成本可以通过规模效应得到改善,而云存储则可以根据需要动态调整成本。

脑机接口

脑机接口(brain-computer interface, BCI),是在人脑与计算机或其它电子设备之间建立的直接的交流和控制通道 。通过这种通道 ,人就可以直接通过脑来表达想法或操纵设备 ,而不需要语言或动作

  • 这篇文章是关于基于脑电脑机接口系统的情绪识别研究综述与分类。首先是回顾已经发表的论文,来对脑机接口在不通过环境下的情绪识别的各种应用概念有一定理解。然后发现基于脑电图的情绪检测器干的发表数量呈爆炸式增长。预计该研究将呈指数型增长。(脑机接口(brain-computer interface, BCI)技术的发展和研究促进了情绪的检测和分类)

  • 挑战。

    • 与技术相关的挑战包括:传感器阻抗、系统可用性和实时约束。在处理设备时,还有其他一些事情需要考虑,比如感知的突发性、信息传递率和高错误率,脑机接口系统中感知接口和翻译算法的准确性和可靠性
    • 用户相关,我们需要考虑参与者或BCI技术患者的不熟悉程度、评分之间的差异,以及设置和准备的持续时间。
  • 预测:

    • 在2至5年内能改善的情况

      • 研究参与者或患者对BCI电子设备的熟悉程度;
      • 移动设备的情绪和情感应用程序的扩散
      • 增加BCI系统的多学科合作
    • 大约6到9年的时间里
      • 改进的技术传感器正在快速发展
    • 在10年以上的时间里
      • 预计机器学习和模式识别算法将会更好
  • 应用

    • 利用基于脑电图的情绪检测为帕金森病患者提供帮助、监测、评估和诊断的想法

    • 在游戏研究中,有一些文章试图检测玩家的情感状态,以适应特定的游戏特点,如难度等级,惩罚,和鼓励

    • 神经营销学。这个新领域的目标是通过成像技术和生理参数识别来了解消费者对市场刺激的反应。由于顾客在销售区域的感受强烈地受到环境感知的影响,对情绪反应的识别可以揭示真实的消费者偏好,并改善和帮助(购买)过程

    • 基于脑电图的实验研究[144]也用于确定吸烟者对健康警告的反应开始不同的时间点.他们的目标是通过评估选择性注意取向和测量情绪处理来确定图形化的香烟包装健康警告的效果

    • 索了脑电图情绪检测系统作为监测注意力水平和测量工作量的手段[176,188]。一个重要的用途是在安全关键任务中监控警惕性水平,如驾驶和监视

复试导师问题——前沿科技相关推荐

  1. 瞄准前沿科技,美团是不务正业还是另有所图?

    文 | 曾响铃 来源 | 科技向令说(xiangling0815) "科技公司有两种,一种是科技产品,它的产品本身就是科技:另一种是科技驱动经营,它的科技能力能让它更好地管理业务.组织,有好 ...

  2. Worktile荣登2020中关村国际前沿科技创新大赛大数据与云计算领域TOP10

    12月23日,历时七个月的2020中关村国际前沿科技创新大赛总决赛落下帷幕,Worktile入选2020中关村国际前沿科技创新大赛大数据与云计算领域TOP10. 中关村国际前沿科技创新大赛于2017年 ...

  3. 前沿科技 | 中科院科学家在关于运动规划的环路机制研究方面获进展

    来源:中国科学院网站 今年5月11日,Nature Communications在线发表了题为<皮层上丘环路在记忆依赖感知决策任务中的作用机制>的研究论文,该研究由中国科学院科学家团队-- ...

  4. 图解未来50年前沿科技趋势与22个预测

    任何理论研究,必须具有符合未来发展趋势的预测,才能体现其可能的价值.近15年来,我们深入研究互联网结构的变化,提出在过去50年里,互联网从网状结构进化成为大脑模型是21世纪前沿科技爆发的根源,包括物联 ...

  5. 前沿科技山雨欲来,四大领域存创新机会

    来源:北极光创投 摘要:最近,北极光创投董事总经理杨磊,发表了<前沿科技山雨欲来>的主题演讲,他认为目前全球正处于前沿科技爆发前夜,他看好计算构架变革.移动终端.机器人.生物科技与IT融合 ...

  6. 斯坦福大学、DARPA与硅谷公司共同分析前沿科技发展趋势

    来源:科技日报   作者:张梦然 日前,斯坦福大学研究团队.美国国防部高级研究计划局(DARPA)以及硅谷创投公司和米资本的专家们,共同研讨了技术将如何重塑行业和社会等问题.他们分析了现今全球前沿科技 ...

  7. 硅谷人眼中的2018年十大前沿科技预测

    来源: 和米资本 近日,由斯坦福大学的顶级学术研究团队.美国国防部高级研究计划局.硅谷最具创新力和影响力的创业公司以及和米资本一起精心策划,共同探讨技术将如何重新塑造行业和社会等问题,分析预测了201 ...

  8. 云栖科技评论第48期:前沿科技对世界的改造 我们这代人只完成了1%

    1.数字经济版图呈中美双分趋势 日本IT行业为前景担忧 数字经济版图呈中美双分趋势 日本IT行业为前景担忧 [新闻摘要]<日本经济新闻>日前刊文称,数字经济的势力版图呈现中国和美国两强双分 ...

  9. 互联网巨头前沿科技产品一览

    当前,以物联网.大数据等为代表的数据革命初露端倪,互联网科技创新从"波浪式"转向常态化,以谷歌.苹果.阿里巴巴.腾讯为代表的互联网科技巨头正在通过前沿科技产品的研发力求在激烈的市场 ...

  10. 互联网下半场新征程启航,AI、大数据等前沿科技助力传统零售产业转型

    基于AI.大数据和云服务等技术,传统零售变革升级为"新零售",而在技术之外,我们还需要警惕什么? 19-20日,全球互联网经济大会-GIEC2018春季峰会在南京楚翘城会议中心举行 ...

最新文章

  1. Spark Streaming Backpressure分析
  2. 白话Elasticsearch60-数据建模实战_Join datatype 父子关系数据建模
  3. 亚马逊抢甲骨文的 Java 饭碗,推出 Corretto
  4. python查看文件夹文件的所有权限,Python判断某个用户对某个文件的权限
  5. git 清空log_[译] 我个人的 Git 技巧备忘录
  6. static、final、static final 用法
  7. jQuery学习笔记--目录
  8. linux 服务器 重新启动 慢,Linux系统启动缓慢解决方法[阮胜昌]
  9. java键盘事件键值表_Java的20年:重大事件的时间表
  10. 【转载】Java中String类的方法及说明
  11. sklearn交叉验证2-【老鱼学sklearn】
  12. 运维人员的三种层次:看看你是背锅侠,还是闪修侠?
  13. Android 编程经典200例 (pdf)资源
  14. Qt-高分辨率drawImage模糊问题
  15. SSL/TLS中的DH算法、DHE算法、 ECDHE算法介绍
  16. 微信公众平台消息接口开发 小黄鸡(小贱鸡)机器人 微信公众平台 公众号聊天机器人 ,消息,接口,小黄鸡,小贱鸡,机器人...
  17. 近几年CVPR图像压缩总结
  18. 我的世界局域网游戏环境搭建
  19. 高考生男生学铁路好还是计算机好,男生学铁路什么专业好?附铁路最好的5个专业...
  20. 【AIX】AIX中级试题

热门文章

  1. Golang语言编程规范
  2. 查看CSDN历史下载明细
  3. 佳能g2810打印机扫描怎么用_佳能g2810怎么自动清洗
  4. List map转json
  5. Kotlin 官方参考文档 中文版_kotlin-reference-chinese.pdf
  6. Python运维开发工程师养成记
  7. 解析oracle sqllder日志,sqlloader 参数
  8. web-----简单小游戏项目
  9. matlab 怎么保存,matlab怎么保存程序
  10. 变分模态分解(VMD)原理-附代码