前言

这几年深度学习的爆发带来了一个未曾预料到的结果,Python这个曾经小众的语言突然之间变得炙手可热。究其原因,在Python的生态中我们可以容易的找到许多的资源。例如,NumPy用于数据计算、Matplotlib用于数据可视化以及MXNet、PyTorch、TensorFlow等一众深度学习框架。相比之下,尽管Java语言仍是最流行的语言之一,拥有为数众多的开发者,尤其在企业市场拥有最广泛的应用基础,但事实上我们很难找到合适的用于深度学习的Java工具或者框架。现有的为数不多的工具仍存在着许多的不足,例如:易用性不高,使用的仍是“低级”的API;绑定于具体的深度学习框架,缺乏框架无关的特性等等。

2020年2月的TIOBE程序语言指数

StackOverflow开发人员的调查结果2019

Deep Java Library概述

这就要引出今天的主角Deep Java Library(简称DJL)。简单来说,DJL是一个使用Java API简化模型训练、测试、部署和使用深度学习模型进行推理的开源库深度学习工具包,开源的许可协议是Apache-2.0。对于Java开发者而言,可以在Java中开发及应用原生的机器学习和深度学习模型,同时简化了深度学习开发的难度。通过DJL提供的直观的、高级的API,Java开发人员可以训练自己的模型,或者利用数据科学家用Python预先训练好的模型来进行推理。如果您恰好是对学习深度学习感兴趣的Java开发者,那么DJL无疑将是开始深度学习应用的一个最好的起点。

???? 想要了解更多亚马逊云科技最新技术发布和实践创新,敬请关注在上海、北京、深圳三地举办的2021亚马逊云科技中国峰会!点击图片报名吧~

DJL是在现有深度学习框架的基础上使用原生Java概念构建的的开发库。它为开发者提供了深度学习的最新创新和使用前沿硬件的能力,例如GPU、MKL等。简单的API抽象并简化了开发深度学习模型所涉及的复杂性,使得这个新的框架更易于学习和应用。有了model-zoo中绑定的预训练模型集,开发者可以立即开始将深度学习的SOTA成果集成到Java应用当中。总所周知,JAVA的设计思想有这样的一句“Write once,run anywhere”(WORE)。同样,DJL的设计目标也设定为不依赖于具体的引擎和深度学习框架,可以随时切换框架。原则上,基于DJL开发人员可以编写在任何引擎上运行的代码。DJL目前提供了Apache MXNet的实现,预期TensorFlow与PyTorch的支持也将在不久后发布。从目前的实现来看,DJL使用了JNA(Java Native Access)来实现Apache MXNet操作的调用。

DJL 提供了对于基础环境的管理。为了保证最佳的性能,提供了基于硬件配置的自动CPU/GPU选择。DJL提供了对多GPUs的支持,可以自动检测是否有可用的GPU。如果GPU可用,它将默认运行在一个GPU上,除非程序中制定使用的GPU数量。

在模型的训练期间,如果希望在多个GPU上进行训练,或者希望限制使用GPU的数量(对于较小的数据集,您可能希望限制GPU的数量),则必须通过设置设备来配置TrainingConfig。例如,如果您有8个可用的GPU,并且您希望训练器在5个GPU上进行训练,您可以如下配置它。

int maxNumberOfGpus = 5;TrainingConfig config = new DefaultTrainingConfig(initializer, loss).setOptimizer(optimizer).addEvaluator(accuracy).setBatchSize(batchSize)// Set the devices to run on multi-GPU.setDevices(Device.getDevices(numberOfGpus));

对于Java开发者,DJL的API抽象了用于开发模型的常用函数,使得Java开发人员能够利用现有的知识简化向机器学习以及深度学习的转换。相信这一点应该是Java 开发者最希望看到的。关于DJL 的抽象架构我们可以通过下图进行理解。

Deep Java Library的使用

计算机视觉(CV)是目前深度学习发展最为成熟的领域。其中,目标检测是一种与计算机视觉和图像处理相关的计算机技术,用于在数字图像和视频中检测某一类语义对象(如人、建筑物或汽车)的实例。目标检测在计算机视觉的许多领域都有应用,包括图像检索和视频监控。接下来,我们来展示一个目标检测的例子,体验一下DJL的实际表现。该模型使用来自DJL的model-zoo的预先训练的Single Shot Detector(SSD)模型,帮助我们从图像中识别西雅图海鹰队(一支职业美式橄榄球球队)的队员。

要将DJL用于应用程序项目,可以使用IntelliJ IDEA来创建gradle项目,并将以下内容添加到build.gradle配置中。

接下来,我们就用这张含橄榄球员的图片进行处理。

针对这张图片使用下面的这一段代码来进行推理。这段代码从model-zoo加载一个SSD模型,然后从模型中创建一个预测器,并使用predict函数来识别图像中的对象。然后一个通过一个helper utility函数在检测到的对象周围画上框线。

这一段代码标识出图像中的三个橄榄球运动员,并将结果保存为工作目录下的图片文件ssd.png

这段代码的长度不大,理解起来也比较容易。我们可以很容易地进行调整,可以测试来自model-zoo的其他模型或者针对自己的需要作出改变。但是DJL 带来的但乐趣远不止如此。可以使用问题问答模型来训练您自己的智能化应用,或者使用图像分类模型来识别杂货架上的商品等等。

在DJL的github上有更多有意思的例子,https://github.com/awslabs/djl/tree/master/examples

最后,这个介绍能够让你DJL产生兴趣。此外,也请记住DJL 的三个最有意思的特性:

  • 框架无关

  • 为Java 开发者而准备

  • 易于开发部署

注意:

  • 项目地址 :https://github.com/awslabs/djl

  • DJL需要JDK 8(或更高版本)。建议使用JDK 8,因为JDK 11+存在一些已知的问题。问题包括SpotBugs与JDK 11+不兼容。如果使用JDK 11+,SpotBugs将不会被执行。

  • 目前DJL尚不支持分布式模型训练。

本篇作者

费良宏

亚马逊云科技首席开发者布道师

在过去的20多年一直从事软件架构、程序开发以及技术推广等领域的工作。他经常在各类技术会议上发表演讲进行分享,他还是多个技术社区的热心参与者。他擅长Web领域应用、移动应用以及机器学习等的开发,也从事过多个大型软件项目的设计、开发与项目管理。目前他专注与云计算以及互联网等技术领域,致力于帮助中国的 开发者构建基于云计算的新一代的互联网应用。

听说,点完下面4个按钮

就不会碰到bug了!

听说这个深度学习工具包,可以拯救Java开发者?相关推荐

  1. Facebook 发布深度学习工具包 PyTorch Hub,让论文复现变得更容易

    近日,PyTorch 社区发布了一个深度学习工具包 PyTorchHub, 帮助机器学习工作者更快实现重要论文的复现工作.PyTorchHub 由一个预训练模型仓库组成,专门用于提高研究工作的复现性以 ...

  2. Nat Commun|单细胞ATAC-seq深度学习工具包AtacWorks,简单、高效且适用

    染色质转座酶可及性测序技术(ATAC-seq)可利用Tn5转座酶直接测量染色质可及性,已被广泛应用于鉴定转录因子对染色质的影响,构建细胞调控网络以及定位潜在的不同发育和疾病相关的表观遗传变化.最近,单 ...

  3. 启动图一键生成工具_一键即运行!清华团队推出图深度学习工具包CogDL v0.1

    一行代码命令可以做什么? "一行命令可以实现'一条龙'运行实验." 访问 http://github.com/THUDM/cogdl 一键体验! 近年来,结构化数据的表示学习备受业 ...

  4. 深度学习框架不能“包治百病”,开发者如何选出最适合自己的?

    随着深度学习关注度和势头上升,深度学习被越来越多的企业和组织的生产实践结合起来.这时,无论是对于深度学习相关专业的初学者,还是已经在企业和组织中从事工业场景应用和研发的开发者来说,选择一个适合自己,适 ...

  5. 程序员深度学习!高端java培训课程

    前言 我们说 Kafka 是一个消息队列,其实更加确切的说:是 Broker 这个核心部件.为何这么说?你会发现我们可以通过控制台. Java 代码. C++ 代码.甚至是 Socket 向 Brok ...

  6. Groovy学习()面向Java开发者的Groovy

    第一段Groovy代码 // first groovy program for(int i = 0; i < 3; i++) {System.out.println("ho " ...

  7. 基于AI的计算机视觉识别在Java项目中的使用(三) —— 搭建基于Docker的深度学习训练环境

    深度学习在哪里? 我们已然生活在数字时代,一天24小时我们被数字包围.我们生活中的方方面面都在使用数字来表达.传递.存储.我们无时无刻不在接收数字信息,而又无时无刻不在生产数字信息. 在数字世界中,可 ...

  8. 30个深度学习库:按Python、C++、Java、JavaScript、R等10种语言分类

    30个深度学习库:按Python.C++.Java.JavaScript.R等10种语言分类 包括 Python.C++.Java.JavaScript.R.Haskell等在内的一系列编程语言的深度 ...

  9. 化学人学python有前途吗-Java之父点赞的开源Java深度学习框架,你不学下吗?

    深度学习领域中有很多面向Python开发者的资源与教程,比如使用NumPy进行数据分析.使用MatPlotlib进行可视化等:深度学习框架方面,TensorFlow.PyTorch.MXNet等常用框 ...

  10. 盘点27个机器学习、深度学习库最频繁使用的 Python 工具包(内含大量示例,建议收藏)

    目前,随着人工智能的大热,吸引了诸多行业对于人工智能的关注,同时也迎来了一波又一波的人工智能学习的热潮,虽然人工智能背后的原理并不能通过短短一文给予详细介绍,但是像所有学科一样,我们并不需要从头开始& ...

最新文章

  1. 8086PC机的内存地址空间分配
  2. java集合类根接口:Collection和Map
  3. 微课|中学生可以这样学Python(2.1.2节):常量与变量
  4. 2018-2019-2 20175320实验三《敏捷开发与XP实践》实验报告
  5. 视频、画面、语言、文字与脑海、心灵
  6. Linux 内核--任务0的运行(切换到用户模式)move_to_user_mode
  7. classmethod staticmethod一些领悟
  8. 基于SSM实现在线考试及题库管理系统
  9. SetWindowsHookEx 全局钩子
  10. 现成源码抢单软件开发|服务器
  11. 计算机与控制工程学院用英语怎么说,计算机与控制工程学院副院长童向荣老师2017年开学典礼致辞...
  12. 写技术博客的一些心得体会
  13. js脚本根据身份证号获取性别、年龄、家庭地址、生日
  14. android分区卸载命令行,Android ADB命令 将apk安装到系统应用及删除方法
  15. MySQL注入直接获取Shell的前提条件
  16. 站点部署 廖雪峰的官方网站
  17. 网站运维如何监控云主机服务
  18. 手把手教你搭建入门级免费私有云盘NAS——基于syncthing——基础篇(树莓派、PC机)
  19. 什么叫做石英表_石英表和机械表区别是什么?
  20. 关于数据库触发器(trigger)的简单使用操作

热门文章

  1. meta是什么意思中文_Meta 的意思是什么?
  2. mysql的分页——limit、offset
  3. java程序员创业需要_java程序员出路有哪些
  4. 使用虚拟机连接真实服务器,太一星晨:虚拟化和应用交付演绎珠联璧合
  5. 波导缝隙天线(一)[搬运]
  6. Spring-IOC与AOP是解决什么问题的?
  7. linux下安装MySQL-server-5.6.28
  8. 链家混三个月底薪_深圳链家正式入职,我想对应届毕业生说
  9. Unity拼图小游戏
  10. WSUS 3.0 的部署