微软释出了Pix2story,让用户只要指定图片,人工智能就能看图说故事。微软提到,他们试图教导人工智能创意,试图将人工智能发展至另一个层次,而在Pix2story中,他们让人工智能发挥创意结合特定类型产生故事。微软提到,说故事是人的天性之一,在写作被发明之前,人们就透过讲故事分享价值观,而编写故事并非一件简单的事,特别如果是光靠看图片,并以各类艺术类型(Genre)写出故事。自然语言处理技术发展至今,是作为推动计算机与人类互动革新的领域,微软试着让自然语言处理能以更自然和更聚焦的方式叙事。

微软在Azure上开发了Pix2Story,这是一个应用类神经网络的网页应用程序,用户只要选择图片,Pix2Story就会发挥创意为该张照片编写出一小段冒险、科幻和惊悚类型风格的故事。而该系统的架构设计,首先要从上传的照片取得图说,并将这些图说输入至递归神经网络(Recurrent Neural Network)模型,根据图片以及文体产生故事。产生输入照片图说的方法,微软以MS COCO图说数据集的30万张图片,训练了视觉语意嵌入模型,对上传的图像进行分析和产生的图说。视觉语义嵌入负责将输入的图片转换成图说,这部分包含两个模型,第一个是卷积神经网络,用于萃取称为注释向量的特征向量。第二个模型则是长期短期记忆(Long Short-Term Memory)网络,透过上下文向量、先前的隐藏状态以及先前产生的单词,一次产生一个单词。

另外,还要以不同的艺术类型产生故事,为此微软以2千部小说,花费两个星期训练编码译码(Encoder-Decoder)模型。微软将小说的段落映射到Skip-thought向量(Vector),而这是一种可以生成用于不同任务的通用型语句表达的模型。微软提到,在这个项目中,他们训练编码译码模型,并使用书本中文字的连续性,来重建编码段落周围的句子。编码器会将句子映像到向量中,而译码器接着对该向量进行调整,为来源句子进行类型翻译。由于视觉语意嵌入模型输入给Skip-thought模型短句子,则输出也会是短句子,因此当结果想要输出是更加叙事的段落,则需要对输入做风格转换,这意味要使用Skip-thought向量表达,将输入设置加上成想要输出包含的特征,这个操作的公式为Skip-thought的输入等于,图片编码图说减去平均所有图说编码,再加上相似长度的编码段落以及预期输出的特征。

微软让人工智能看图写故事写出惊悚故事相关推荐

  1. python小猴子摘桃子的故事_小猴子摘桃子看图写话

    展开全部 看图写话技巧: 1.开头空两格.有几幅图就写几个自然段. 2.第一句要明确写e68a843231313335323631343130323136353331333433636234清:什么时 ...

  2. 《花雕学AI》02:人工智能挺麻利,十分钟就为我写了一篇长长的故事

    ChatGPT最近火爆全网,上线短短两个多月,活跃用户就过亿了,刷新了历史最火应用记录,网上几乎每天也都是ChatGPT各种消息.国内用户由于无法直接访问ChatGPT,所以大部分用户都无缘体验.不过 ...

  3. 小白兔写话_小白兔的看图写话

    小白兔的看图写话 时间: 2019-01-08 20:11:28 | 作者:陈浩翔 从前的某一天,阳光明媚,小白兔到外面逛街,买吃的,买衣服!因为冬天已 经到了,所以它要买衣服.它现在所在的地方在泰国 ...

  4. 心田花开一二年级看图写话高分写作技巧教程

    一二年级的看图写话是为了三年级的作文打基础.同时也是培养孩子的认知能力.形象思维能力.想象能力和表达能力的良好途径.培养孩子以上能力情况下,如果想要获得写作高分也需要一定技巧,心田花开通过1.看图写话 ...

  5. 小白兔写话_聪明的小白兔看图写话

    内容简介:有一只孤独又美丽的小白兔住在一个大山坡,小白兔每天往自己的身上撒好香的香水,有一只狡猾的狐狸就住.. 本文<聪明的小白兔看图写话>由小学生作文大全整理,仅供参考.如果觉得很不错, ...

  6. 钉钉日志范文100篇_看图写话范文328:暑假旅行(4篇)

    范文01:暑假旅行400字 暑假,我们一家去了嘉兴游玩.嘉兴南湖因红船而成为革命圣地.老爸对于中国近代革命史可谓是如数家珍:"星星之火可以燎原!你们看,当初共产党就是在这么小的一艘船里点燃了 ...

  7. 机器人摘果子看图写话_看图写话——聪明的小白兔

    荷叶伞 一天早上,小白兔提着篮子高高兴兴地来到了美丽的大森林.她采啊采,采了满满一篮子的大蘑菇. 突然,乌云密布,电闪雷鸣,下起了倾盆大雨.小白兔没有雨伞,怎么办呢?她看见池塘边有许多绿油油的荷叶.她 ...

  8. 小猴吃桃matlab,看图写话:小猴吃桃精彩选篇

    看图写话:小猴吃桃精彩选篇 两只聪明的小猴子 一天上午,风和日丽.佳佳和皮皮到小溪边玩耍,忽然皮皮开心的大叫:"快看那边有好多又大又红的桃子!"这时佳佳也高兴的欢呼着,馋的它们开水 ...

  9. 二年级机器人伙伴看图写话_期末考试一二年级看图写话22篇,附范文!

    1.十二生肖开大会 转眼间,一年又接近了尾声,十二生肖又要开大会了.你看,有机灵的老鼠,有勤奋的老牛,有凶猛的老虎,有可爱的兔子,有神秘的龙,有帅气的小马,有温顺的绵羊,有雄赳赳的公鸡,还有淘气的小狗 ...

最新文章

  1. Linux System Programming -- Appendix
  2. Cortana小娜:城市信息提醒
  3. java编码技巧_两个Java初学者编码技巧
  4. PHY管理接口(MDIO)
  5. 记一次sql优化之索引的引用
  6. 安装 Docker Machine
  7. GO国内镜像加速模块下载
  8. Hadoop 生态学习
  9. DBA突破35岁难题的三种策略
  10. 编码器rtsp规则-各厂商
  11. mysql 本月第几周_Mysql 计算当前日期是本月第几周:一个自定义算法
  12. 201015.阅读和了解什么是形式化方法
  13. 全国海关分区图(含副厅)
  14. 自己动手来做一寸或两寸照片(使用工具)
  15. 帝国CMS系统目录结构介绍
  16. 不疯魔不成活,还是偏执狂?
  17. 数据分析5-银行客户风险评估实战
  18. deepin15.9的linux内核版本,深度Deepin 15.9操作系统首次更新内容
  19. 2022年武汉经开区首次进入规模以上工业企业奖励资金申报条件时间及资料
  20. 洛谷3166 数三角形

热门文章

  1. 寻找图像中的局部极大点
  2. 用python悄悄记录了室友的抖音在线时间
  3. 一键脚本搭建wrieguard
  4. opencv 实现ps油漆桶【一】
  5. PM面试时问面试官什么问题
  6. 汉字经键盘到显示器显示的过程
  7. 电脑很大,电脑声音很大怎么回事
  8. 准工业级代码分享:Python用于自动生成EXCEL周期报告
  9. 隐藏a-tabe属性列
  10. 计算一个 32 位无符号整数有多少个位为 1