2.1 人工智能项目开发与规划

人工智能项目开发的目标:发现与明确问题

  • 技术角度:需要思考AI系统性能能达到预期吗,需要多少数据,能否获取足够的数据,需要多久的时间
  • 业务角度:需要解决什么问题,商业目的是什么

数据准备

重要性:

  1. 在大部分的人工智能项目中,数据采集与数据清洗占据了79%的工作量
  2. 训练数据的规模越大,越能带来更好的 AI 模型的性能

流程:

  1. 数据采集:观测数据、人工收集、调查问卷、线上数据库
  2. 数据清洗:去除缺失、重复、内容错误、不需要的数据
  3. 数据标注:分类、画框、标注、注释
  4. 数据划分:划分出训练集与测试集,通常为8:2
  5. 数据验收:合法性、准确性、完整性、一致性
  6. 数据管理:实现数据有效管理的关键是数据组织

问题:

  1. 数据不足
  2. 数据隐私泄露
  3. 分类质量低
  4. 数据质量低

特征工程

数据和特征决定了机器学习的上限,而模型与算法只是逼近该上限。

特征工程是指从原始数据转换为特征向量的过程,是机器学习最重要的起始步骤,会直接影响机器学习的效果,通常需要大量的时间来完成。

特征工程的基本方法:

  1. 特征选择:从给定的特征集合中选出相关特征子集的过程。去除无关特征可以降低计算复杂度
  2. 特征提取:在特征选择前,提取的对象是原始数据,目的是自动构建新特征,将原始数据转换成一组具有明显物理意义(如几何特征、纹理特征)或统计意义的特征
  3. 特征构建:从原始数据中人工构建新特征,需要花时间观察原始数据,思考问题的潜在形式与数据结构,对数据的敏感和机器学习实战经验能帮助特征构建

2.1 人工智能项目开发与规划相关推荐

  1. 2.4 人工智能项目开发与验收

    2.4 人工智能项目开发与验收 模型性能评估与测试 分类任务的评价指标: 评价指标:评价指标的选择会影响如何比较和测量算法的性能 泛化性:从目标领域内的训练数据到任意其他数据上的性能良好 准确率:正确 ...

  2. 人工智能项目开发规划与准备

    目录 1.发现与明确问题 2.人工智能项目的开发周期 3.数据准备 4.特征工程 4.1特征工程是什么 4.2 特征工程的基本方法 1.发现与明确问题 技术角度:需要思考AI系统性能能达到预期吗?需要 ...

  3. python人工智能项目开发实例-人工智能学习路线图,整理近200个实战案例与项目...

    Created by 唐宇迪 人工智能实战就业(面试)学习路线图 这个项目是干什么的? 整理这个项目的初衷是方便同学们快速开启人工智能自学计划,在学习过程中少走弯路用最快的效率入门Ai并开始实战项目, ...

  4. 美国中央情报局CIA正通过开发人工智能项目,收集与检索社交媒体情报

    据外媒 9 月 11 日报道,美国中央情报局( CIA )正通过开发人工智能程序访问.收集与检索社交媒体情报. 美国 CIA 技术开发副主任 Dawn Meyerriecks 在情报与国家安全峰会上发 ...

  5. Java语言开发在线购物推荐网 购物商城推荐系统 基于用户、物品的协同过滤推荐算法 SSM(Spring+SpringMVC+Mybatis)开发框架 大数据、人工智能、机器学习项目开发

    Java语言开发在线购物推荐网 购物商城推荐系统 基于用户.物品的协同过滤推荐算法 SSM(Spring+SpringMVC+Mybatis)开发框架 大数据.人工智能.机器学习项目开发ShopRec ...

  6. Java语言开发在线音乐推荐网 音乐推荐系统 网易云音乐爬虫 基于用户、物品的协同过滤推荐算法 SSM(Spring+SpringMVC+Mybatis)框架 大数据、人工智能、机器学习项目开发

    Java语言开发在线音乐推荐网 音乐推荐系统 网易云音乐爬虫 基于用户.物品的协同过滤推荐算法 SSM(Spring+SpringMVC+Mybatis)框架 大数据.人工智能.机器学习项目开发Mus ...

  7. FPGA项目开发之时钟规划

    FPGA项目开发之时钟规划 当我刚开始我的FPGA设计生涯时,我对明显更小.更不灵活的 FPGA(想想 XC4000XL / Clcyone3/4和 Spartan)和工具的非常简单的时钟规则之一是尽 ...

  8. 使用Java+SSM(Spring+SpringMVC+Mybatis)开发在线美食推荐网 美食推荐系统 美食天下美食爬虫 基于用户、物品的协同过滤推荐算法实现 大数据、人工智能、机器学习项目开发

    使用Java+SSM(Spring+SpringMVC+Mybatis)开发在线美食推荐网 美食推荐系统 美食天下美食爬虫 基于用户.物品的协同过滤推荐算法实现 大数据.人工智能.机器学习项目开发Fo ...

  9. Java开发在线购物推荐网 购物商城推荐系统 基于用户、物品的协同过滤推荐算法 京东商城爬虫 SSM(Spring+SpringMVC+Mybatis)开发框架 大数据、人工智能、机器学习项目开发

    Java开发在线购物推荐网 购物商城推荐系统 基于用户.物品的协同过滤推荐算法 京东商城爬虫 SSM(Spring+SpringMVC+Mybatis)开发框架 大数据.人工智能.机器学习项目开发Sh ...

最新文章

  1. XII Open Cup named after E.V. Pankratiev. GP of Eastern Europe (AMPPZ-2012)
  2. 非对称加密算法之RSA算法实现
  3. SAP算号器 license key Developer Access Key 完美解决方案
  4. 用SMS2003部署Windows XP SP3:SMS2003系列之十
  5. HTTP 错误 403.14 - Forbidden Web 服务器被配置为不列出此目录的内容
  6. LiteSpeed Web服务器“恢复所有侦听器”解决方法
  7. 深入理解iPhone静态库
  8. Linux文件压缩解压命令
  9. Python清理微信僵尸粉
  10. android免费图标_20个免费和高质量的Android图标集—最佳
  11. ysoserial exploit/JRMPClient
  12. gtest学习笔记--5 死亡测试
  13. [Git[ 解决 git branch -M main error: refname refs/heads/master not found
  14. 虚拟机centOS6 Linux系统关于yum install mirror报错 路径报错
  15. 我工作这十年-中国在崛起
  16. 复杂指令集与精简指令集的原子操作
  17. BT种子破案,FBI可以,你也行
  18. 智牛股_第5章_Netty+PowerDesigner
  19. Spring——面向切面编程(AOP)
  20. 全程综合水处理器的结构原理

热门文章

  1. 计算给定数据集的香农熵
  2. mysql索引 实验报告_索引实验报告
  3. rtl8192fu无线网卡在Linux下打驱动
  4. 耶鲁大学心态:送给正在奋斗的人
  5. java 生成缩略图并返回字节数组_关于提取后台图片数据时自动生成缩略图程序...
  6. leetcode 792 匹配子序列的单词数(哈希表+双指针)
  7. mysql身份证校验码_sql 语句 验证身份证号码
  8. Science:84万起事故统计显示,公路上“此处事故多发”警示牌会导致更多交通事故...
  9. 记一次webpack4.x打包兼容ie8 的经历
  10. java实现线程三种方式_详解三种java实现多线程的方式