复杂网络的起源与发展

本篇将是神经网络的入门篇,要理解这个概念我们先要理解复杂网络的起源

  概述

从随机网络到无尺度网络,复杂性蕴含于万物之间的链接,我们看到在网络中,表面的无序和深层的有序共存。网络普遍具有先发优势、适者生存、健壮和脆弱并存的特点,枢纽节点和层级结构在各种网络中广泛存在。这些复杂网络的规律,成了我们今天高效利用大数据,进而发展人工智能的一把钥匙。本篇文章的思想核心是:链接是无处不在的,复杂网络的本质是无尺度网络。充分理解网络无尺度的特点,对于我们理解和分析各种复杂事物大有裨益。抓住复杂网络中的枢纽节点,是我们处理复杂数据的基本原则,也是人工智能背后的深度神经网络的重要基础。

  随机网络

  在过去,人们认为网络都是随机形成的,把这些网络都叫作随机网络。一场酒会上人们从互不相识到彼此认识,就是一个随机网络形成的过程。每个人都不知道自己会认识谁,会认识几个人,所有节点之间的链接都是不确定的。这种随机网络的形成速度非常快,门槛也非常低。只要每个人认识至少一个人,这100个人就能全部链接起来。在现实生活中,每个人都认识很多人,所以链接更加紧密。由此产生了一个非常著名的理论,叫作六度分隔。你和这世界上任何一个人之间,最多通过6个人就能搭上关系。用随机网络来解释,每个人认识100个人,那么通过6个中间人,能搭上关系的人理论上有1万亿人,是地球人口的140倍,这就是随机网络的力量。同理,链接无处不在,拥有海量信息的互联网也能做到从任何一个网页出发,平均只需要19次点击,就能跳转到另外任何一个网页。在自然界的食物链网络中,任何两个物种之间的平均间隔只有两个物种。六度分隔和类似的现象在生活中非常常见。

  枢纽节点

  在随机网络的基础上,产生了枢纽节点和无尺度网络模型的概念。枢纽节点指的是在一个网络中比其他节点拥有更多链接的节点。在人类社会中,枢纽节点就是那些社交面非常广、朋友非常多的人。网络的真实结构不是随机网络那样均匀分布的,现实生活中有些善于交际的人微信好友有几千人,有些爷爷奶奶的微信好友只有家里的几口人。一个网络的结构,主要是枢纽节点在支配、在起作用,而不是所有节点。我们人类社会能够保持紧密链接,靠的就是枢纽节点联系起不同的社交圈子。“社交圈”指的是一群人关系非常紧密,在整个社交网络中就是一个“小世界”,每个小世界里都有枢纽节点,他们除了圈子里的人,还认识很多圈外的人。这样就划分出了强关系和弱关系。同一个圈子里的人,他们的关系非常紧密,这是强关系。而从枢纽节点向其他圈子伸出去的橄榄枝,就是弱关系。在这样一个网络里,节点之间的重要性差别巨大,服从二八定律。二八定律说的是20%的成员占据了80%的资源,少数成员占有非常重要的位置。无尺度网络指的是:所有节点的重要性都服从于二八定律,有少量的枢纽节点非常重要,大量的节点没有那么重要,这样的网络,我们就叫它无尺度网络,因为无法用同样的尺度去衡量每一个节点。无尺度网络的提出,颠覆了人们长期以来对复杂网络的认识。所有网络中都必然存在这种两极分化,而均匀的、完全随机的节点分布是不存在的。从随机网络,到无尺度网络,人们对复杂网络的认识加深了一步:随机网络是无序的、是杂乱无章的,而无尺度网络就是无序和有序并存的,一旦抓住枢纽节点,整个网络的结构就变得清晰,无序之中浮现出有序。

复杂网络的共有特点:先发优势、适者生存和健壮性与脆弱性并存

先发优势

  网络中越早产生的节点越容易成为枢纽节点。因为一个网络在开始时,节点数量不多,后来产生的节点,总是倾向于链接网络中已有的节点,最早的一批节点能获取到最多的链接。

在微信公众号这样一个复杂网络中,节点的数量已经超过了2000万个,很多人羡慕做得早的公众号,它们中很多都成为了10万+的大号。后来进入这个网络的人,不管是后进场的公众号,还是后来关注公众号的用户,都愿意靠近已经存在于网络中的重要节点,这就是先发优势。

示例理解

适者生存

  竞争力更强,适应度更高的节点,能获取到的链接会更多

一个公众号起步很晚,2016年年初才开始更新,短短一年的时间里,粉丝数从0涨到了800万。它在公众号这样一个无尺度网络中成为了新的枢纽节点。因为它竞争力强,适应度高,它获取到的链接就会更多。一个公众号如果文章写得多写得好,能够引起更多人的共鸣和分享欲,即便一开始粉丝很少,但是在朋友圈得到的分享就会特别多,就能迅速成为无尺度网络中的枢纽节点。这就是所有复杂网络中共有的第二个特点:适者生存,优胜劣汰。

示例理解

健壮性与脆弱性并存

  健壮,是非枢纽节点被破坏后不影响复杂网络的结构,所以网络体现出健壮性的特点。因为除了枢纽节点以外的其他节点对整个网络来说都是次要的,砍掉这种节点,不会影响整个网络的连通。

就像砍掉壁虎的尾巴,并不会要了它的命,甚至过一阵子还会再生一条尾巴出来。而脆弱性指的是:一旦枢纽节点被破坏,整个系统就会迅速崩塌,网络的结构发生了重大变化。就像戳中了壁虎的心脏,壁虎很快就会死亡。因为心脏是它的枢纽节点,即便身体的其他部分都完好无损,也无济于事。复杂网络因此具有健壮性和脆弱性并存的特点。

示例理解

神经网络的介绍

  现在最流行的深度神经网络分为两种:一种是处理空间分布数据的卷积神经网络,另一种是处理时间分布数据的循环神经网络。它们的结构特点,都与无尺度网络有着密不可分的关系。

卷积神经网络(CNN) Convolutional Neural Network

  卷积神经网络可以用来做图片识别,它对图片的分析方法和我们分析无尺度网络一样,要抓住枢纽节点。比如在一个分辨猫和狗的识图软件中,每一层神经网络都需要处理一种能把它们明显分开的特征,比如对脸部的分析,再把处理任务进一步细化,交给下一层去处理,比如瞳孔的粗细,直到最后一层处理单个像素。整个神经网络就是把区别猫和狗的任务拆解成许多任务,一层一层处理,抓住枢纽节点,刻画重要特征。

循环神经网络(RNN) Recurrent Neural Network

  循环神经网络可以用来做文字翻译,最新的应用就是“神经网络翻译”。过去的机器翻译,是把一句话里的字词做切分以后逐个翻译,再拼凑起来,经常出错。但是神经网络翻译会把一整句话看成表达完整意思的网络,进行整体分析。每一个字词作为枢纽节点的同时会寻找前后文中常见搭配的关键字词,寻找邻近的枢纽节点,从而区分出整句话中文字的重要性差异,把握住语句的基本结构和修饰性成分,从而实现更准确的翻译。神经网络翻译的错误率,比原来的机器翻译降低了55%到85%。

关于复杂网络与神经网络,人工智能和大数据的关系

复杂网络是树根,大数据是树干,神经网路是树枝,人工智能是树叶

  分析大数据的方法,以及人工智能背后的深度神经网络,都和无尺度网络有着非常紧密的关系。虽然网络科学的发展日新月异,但是最前沿的科技中同样渗透着无尺度网络,这个网络模型已经成为科学家搭建复杂网络、分析复杂网络的基础设施。复杂网络纵有千姿百态,无尺度都是它不变的内核。对无尺度网络的深刻洞察和广泛应用,加上海量的大数据对网络节点进行不断的训练和调整,才有深度神经网络和人工智能的存在。传统的人工智能依赖科学家给它输入各种规则模型,只能解决一些规则清楚的问题。但是今天的人工智能已经能自己解决一些模糊的、规则不明确的问题,因为支撑它的是能够进行深度学习的神经网络。这种网络的特点是,具有多层结构,每一层神经网络都有很多个关键的节点,它们接收上一层处理完的数据结果,共同解决一个问题,把自己这一层的输出结果传递到下一层去做进一步的处理。

本篇总结

  1. 复杂网络纵有千姿百态,无尺度都是它不变的内核。
  2. 如果说随机网络是无序的、是杂乱无章的,那么无尺度网络就是无序和有序并存的。表面上,每个节点都散乱地链接着其他节点,但是一旦抓住枢纽节点,整个网络的结构就变得清晰起来,无序之中就浮现出了有序。
  3. 对无尺度网络的深刻洞察和广泛应用,再加上海量的大数据对网络节点进行不断的训练和调整,才有深度神经网络和人工智能的存在。
  4. 复杂网络是树根,大数据是树干,神经网络是树枝,人工智能 AI 是树叶。我们既要看到繁茂的枝叶和粗壮的树干,也要看到树根奠定了它们赖以生长的基础。

参考文献

  • 《Network Science》. Albert-László Barabási
  • Convolutional neural network . 维基百科

转载于:https://www.cnblogs.com/mayite/p/9161724.html

复杂网络是怎么应用于神经网络上相关推荐

  1. 【GNN】谷歌、阿里、腾讯等在大规模图神经网络上必用的GNN加速算法

    点击上方,选择星标或置顶,每天给你送上干货 作者 | 对白 出品 | 对白的算法屋 今天我们来聊一聊在大规模图神经网络上必用的GNN加速算法.GNN在图结构的任务上取得了很好的结果,但由于需要将图加载 ...

  2. ConvMixer:7行PyTorch代码实现的网络,就能在ImageNet上达到80%+的精度!

    关注公众号,发现CV技术之美 本文分享论文『Patches Are All You Need?』,提出<ConvMixer>,只需 7 行 pytorch 代码实现的网络,就能在 Imag ...

  3. 沐神点赞!同济子豪兄精读AI经典论文,包括图像分类、目标检测、生成对抗网络、轻量化卷积神经网络等领域...

    读研/读博的你,是不是符合: 毕设/研一/博一科研小白刚进课题组,不知道如何写开题报告和综述? 前沿顶会.期刊论文.综述文献浩如烟海,不知道学习路径,无从下手? 导师放养,既不懂也不管,师兄各忙各的, ...

  4. NeurIPS 2022 Oral | 摘下悬在神经网络上的达摩克利斯之剑:从模型层面获得对抗鲁棒性保证...

    点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 点击进入->CV微信技术交流群 本文是NeurIPS 2022入选论文Rethinking Lipsc ...

  5. 二值网络——开启小而快神经网络时代

    摘要:这种使用浮点计算的神经网络要求的大存储空间和大计算量,严重阻碍了其在手机.手表和移动机器人等设备上的应用.二值神经网络设法让计算主要在正1或负1间进行,几十倍地降低了网络大小和计算量,但一直以来 ...

  6. 企业为实现网络营销更要将网络营销重点放在用户价值上

    随着近些年互联网行业发展趋势的变幻,各行各业之间网络营销竞争环境愈加激烈,在这种大背景下的企业网络营销发展越发艰难,而那些还停滞在传统营销方式中的企业意识到网络营销的开展势在必行,企业整体发展方向理应 ...

  7. 网络协议 8 - TCP协议(上):性恶就要套路深

    网络协议 8 - TCP协议(上):性恶就要套路深 原文:网络协议 8 - TCP协议(上):性恶就要套路深 系列文章: 网络协议 1 - 概述 网络协议 2 - IP 是怎么来,又是怎么没的? 网络 ...

  8. 网络通信原理与IP地址的分配原理,网络七层由下往上分别为物理层、数据链路层、网络层、传输层、会话层、表示层和应用层

    互联网协议入门 介绍:https://www.ruanyifeng.com/blog/2012/05/internet_protocol_suite_part_i.html 每一层要进行通信,每一层都 ...

  9. 苹果7 无线流量连接不上网络连接服务器,iPhone7连不上wifi无线网的四种解决方法...

    iPhone7连不上wifi无线网的四种解决方法 重新打开无线 如果是出门在外,想要连接一个以前没有连接过的无线网络,但又连接不上的话,可以先尝试关闭无线,再打开无线试试.在「设置」列表中,可以关闭. ...

最新文章

  1. R语言ggplot2可视化:ggplot2可视化半小提琴图(Half Violin Plots)
  2. 【web前端】可筛选[输入搜索]的select(重写)
  3. 如何添加显示桌面图标置于快速启动栏
  4. ngx_lua module 模块安装
  5. Mac OS X下Maven的安装与配置
  6. Java前沿分享:value或许成为java的新关键字
  7. GitHub上最受欢迎的Android开源项目TOP20
  8. 无线覆盖项目地勘——无线地勘记录
  9. wxWidgets:wxHTML 概述
  10. Java PECS
  11. 物联网卡linux,Server Develop (六) Linux epoll总结
  12. 人在斯坦福,刚上CS224n
  13. java 同步 set_Java Collections synchronizedSet()用法及代码示例
  14. selenium python 文本框输入信息_selenium python向富文本框中输入内容
  15. All about the “paper”
  16. 《Shell 脚本学习指南 》 -- 背景知识与入门 [第一、二章]
  17. vs2017安装失败解决
  18. onkeyup事件只能输入数字,字母,下划线等
  19. 双稳态继电器工作原理图_一种双稳态继电器的制作方法
  20. 『杭电1982』Kaitou Kid - The Phantom Thief (1)

热门文章

  1. springboot 解决缓慢的http攻击
  2. 关于GCC属性中的弱符号(weak symbol)
  3. 什么是RSS?RSS是什么
  4. CSS Sprite
  5. 使用WebSocket搭建一个智能聊天系统
  6. STM32与中显串口屏的通信
  7. 关于TopoJSON以及制作方法
  8. 注意力机制在NLP问题中的介绍与调查-论文翻译
  9. 每日问答——PMP题库训练2
  10. Pathon 连接数据库