从〇开始可微神经搜索DARTS分析第〇章：意义与基础结构
可微神经搜索DARTS（全称Differentiable Architecture Search），是神经架构搜索NAS（全称Nerual Architcture Search）的分支，首先简要介绍NAS。
意义：
传统的机器学习解决实际问题的过程大概可以划分为问题分析，抽象建模，设计神经网络，调试修改模型，训练测试，投入应用等阶段，其中设计神经网络的部分通常需要大量的反复测试，耗费大量的人力与时间，而面对新数据集、新性能要求、新问题等应用需求，又需要重新对模型进行调试修改。
基于上述原因，人们开始研究如何自动化地构造神经网络，于是神经架构搜索的概念在2017ICLR被提出。
Zoph B, Le Q V. Neural architecture search with reinforcement learning[J]. arXiv preprint arXiv:1611.01578, 2016.
基于Cell的NAS：
为了便于算法自动构造神经网络，基于Cell结构的NAS被提出（另外有基于Chain结构的NAS），它的主要思想是将一个局部网络构造块称为一个Cell，也称微观结构（micro architecture）如下图右侧所示，一个Cell中有2个输入节点，4个中间节点和一个输出节点，每个节点是一个特征图（feature map）代表网络中数据流的中间过程，Cell中的节点通过操作边进行连接构成局部网络，这些操作边对应着某种神经网络计算比如卷积池化残差等等。将Cell进行堆叠（文献中称为stack）便构成宏观结构（macro architecture），每个Cell的两个输入节点分别对应前一个Cell和前前一个Cell的输出，于是我们获得了完整的神经网络。
Xie L, Chen X, Bi K, et al. Weight-sharing neural architecture search: A battle to shrink the optimization gap[J]. arXiv preprint arXiv:2008.01475, 2020.
从〇开始可微神经搜索DARTS分析第〇章：意义与基础结构相关推荐
- 比可微架构搜索DARTS快10倍，第四范式提出优化NAS算法
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 神经架构搜索一直被认为是高算力的代表,尽管可微架构搜索的概念非常吸引人,但它目前的 ...
- 【介绍】GNES ——Pythonic的直观方式快速构建神经搜索框架
来自腾讯AI Lab肖涵(肖涵博士,腾讯AI Lab GNES项目组负责人)大神的开源项目,非常赞: GNES Flow.GNES Flow让你通过"Pythonic"的直观方式快 ...
- 从神经搜索到多模态应用
本文约5400字,建议阅读10分钟 从神经搜索到多模态应用,这里的神经搜索指的是在搜索系统中用神经网络模型. 提到神经搜索就必然想到多模态数据,因为神经网络相比于传统搜索方式,其最大的优势就在于可以很 ...
- 分享回顾｜我们是神经搜索少年团！
在坚持开放协作精神,具备全球影响力的 Jina AI 开源社区,每天都有来自世界各地的开发者来到这里,因为技术产生联结,因为联结产生共创. 在 10 月,Jina AI 联合太极图形.OpenMLDB ...
- 说了那么多，到底什么是「神经搜索」？
从人脑神经网络到深度学习神经网络,来自 Jina AI 的 Jack 将带大家从 0 到 1 认识「搜索」及「神经搜索」. 什么是神经搜索?它与普通搜索有什么区别?它能解决哪些问题?又有哪些优势和劣势 ...
- 开源之夏 2022 | 申请 Jina AI 社区任务，成为业界领先的神经搜索开源项目贡献者
目录 Jina AI 项目任务详情一览 项目一:近似最近邻搜索算法 HNSW 的改进与优化 项目二:支持基于 Redis 的近似最近邻搜索 项目三:基于深度学习的3D物体特征表达与学习 报名申请 Ji ...
- 《深入理解 Spring Cloud 与微服务构建》第十四章 服务链路追踪 Spring Cloud Sleuth
<深入理解 Spring Cloud 与微服务构建>第十四章 服务链路追踪 Spring Cloud Sleuth 文章目录 <深入理解 Spring Cloud 与微服务构建> ...
- 【NET CORE微服务一条龙应用】第三章 认证授权与动态权限配置
[NET CORE微服务一条龙应用]第三章 认证授权与动态权限配置 介绍 系列目录:[NET CORE微服务一条龙应用]开始篇与目录 在微服务的应用中,统一的认证授权是必不可少的组件,本文将介绍微服务 ...
- 开放搜索查询分析服务架构解读
简介:搜索行为在后端都会有大量的数据计算和处理才会召回符合用户需求的搜索结果,本次分享结合自建搜索业务中查询分析服务常见的问题及难点,介绍阿里云开放搜索查询分析具备的能力及解决方案,并深度解读阿里巴巴 ...
最新文章
- 推荐一个单元测试模拟框架：Nsubstitute
- 1.为什么使用spring boot
- 2022年4月8日体检
- 学习threeJS(一)--第一个threeJs
- 树莓派超声波模块测距
- 企业数字化转型的加速引擎 — 2019年中国数字中台行业研究报告
- java中的并发类_java中并发常用工具类
- Flink运行时架构
- Chrome运行时性能瓶颈分析
- android 事务管理软件,安卓 Android基于安卓移动终端的个人事务管理系统
- java不大于6位_末尾带4的完全平方数的数量并且打印输出_Java计算一个数加上100是完全平方数，加上168还是完全平方数...
- webpack 多入口打包配置示例
- 2022年最新宁夏机动车签字授权人模拟试题及答案
- k620显卡linux驱动下载,NVIDIA英伟达Quadro系列专业显卡官方驱动
- MySQL-8.0.11-winx64.zip安装教程(Win10操作系统)
- TcaplusDB X 光与夜之恋，来谈一场高沉浸式的恋爱吧
- Java基础英语单词表
- Android中MVC，MVP和MVVM的区别
- 百度地图缩放级别与比例尺的关系
- 网校平台对在线教育的好处