数据源加速见官方文档(必须使用DAAL自己的库):

Data Management

  • Numeric Tables
  • Tensors
  • Data Sources
  • Data Dictionaries
  • Data Serialization andDeserialization
  • Data Compression
  • Data Model

可以看到支持的数据源:同数据类型的table(matrix),不同类型的table,以及从DB文件取数据、数据序列化、压缩等。

在这些定制的数据源上,Intel DAAL使用自己底层的CPU进行硬件加速!下面摘自其官方:

Intel DAAL addresses all stages of the data analytics pipeline: preprocessing, transformation, analysis, modeling, validation, and decision-making.

Intel DAAL is developed by the same team as the Intel® Math Kernel Library (Intel® MKL)—the leading math library in the world. This team works closely with Intel® processor architects to squeeze performance from Intel processor-based systems.

Specs at a Glance

Processors Intel Atom®, Intel Core™, Intel® Xeon®, and Intel® Xeon Phi™ processors and compatible processors
Languages Python*, C++, Java*
Development Tools and Environments

Microsoft Visual Studio* (Windows*)

Eclipse* and CDT* (Linux*)

Operating Systems Use the same API for application development on multiple operating systems: Windows, Linux, and macOS*
统计特征的计算加速例子:
# file: low_order_moms_dense_batch.py
#===============================================================================
# Copyright 2014-2018 Intel Corporation.
#
# This software and the related documents are Intel copyrighted  materials,  and
# your use of  them is  governed by the  express license  under which  they were
# provided to you (License).  Unless the License provides otherwise, you may not
# use, modify, copy, publish, distribute,  disclose or transmit this software or
# the related documents without Intel's prior written permission.
#
# This software and the related documents  are provided as  is,  with no express
# or implied  warranties,  other  than those  that are  expressly stated  in the
# License.
#===============================================================================## <a name="DAAL-EXAMPLE-PY-LOW_ORDER_MOMENTS_DENSE_BATCH"></a>
## \example low_order_moms_dense_batch.pyimport os
import sysfrom daal.algorithms import low_order_moments
from daal.data_management import FileDataSource, DataSourceIfaceutils_folder = os.path.realpath(os.path.abspath(os.path.dirname(os.path.dirname(__file__))))
if utils_folder not in sys.path:sys.path.insert(0, utils_folder)
from utils import printNumericTableDAAL_PREFIX = os.path.join('..', 'data')# Input data set parameters
dataFileName = os.path.join(DAAL_PREFIX, 'batch', 'covcormoments_dense.csv')def printResults(res):printNumericTable(res.get(low_order_moments.minimum),              "Minimum:")printNumericTable(res.get(low_order_moments.maximum),              "Maximum:")printNumericTable(res.get(low_order_moments.sum),                  "Sum:")printNumericTable(res.get(low_order_moments.sumSquares),           "Sum of squares:")printNumericTable(res.get(low_order_moments.sumSquaresCentered),   "Sum of squared difference from the means:")printNumericTable(res.get(low_order_moments.mean),                 "Mean:")printNumericTable(res.get(low_order_moments.secondOrderRawMoment), "Second order raw moment:")printNumericTable(res.get(low_order_moments.variance),             "Variance:")printNumericTable(res.get(low_order_moments.standardDeviation),    "Standard deviation:")printNumericTable(res.get(low_order_moments.variation),            "Variation:")if __name__ == "__main__":# Initialize FileDataSource to retrieve input data from .csv filedataSource = FileDataSource(dataFileName,DataSourceIface.doAllocateNumericTable,DataSourceIface.doDictionaryFromContext)# Retrieve the data from input filedataSource.loadDataBlock()# Create algorithm for computing low order moments in batch processing modealgorithm = low_order_moments.Batch()# Set input arguments of the algorithmalgorithm.input.set(low_order_moments.data, dataSource.getNumericTable())# Get computed low order momentsres = algorithm.compute()printResults(res)  

转载于:https://www.cnblogs.com/bonelee/p/9702982.html

Intel DAAL AI加速——支持从数据预处理到模型预测,数据源必须使用DAAL的底层封装库...相关推荐

  1. Xtreme1如何利用AI加速多模态训练数据的处理

    直播回顾|Xtreme1如何利用AI加速多模态训练数据的处理 10月13日,倍赛科技CTO刘世林博士在OpenMMLab社区开麦直播活动中带来了以<释放数据潜力,打造AI加速引擎>为主题的 ...

  2. R语言机器学习Caret包(Caret包是分类和回归训练的简称)、数据划分、数据预处理、模型构建、模型调优、模型评估、多模型对比、模型预测推理

    R语言机器学习Caret包(Caret包是分类和回归训练的简称).数据划分.数据预处理.模型构建.模型调优.模型评估.多模型对比.模型预测推理 目录

  3. 深入浅出python机器学习_9.1.5_通过数据预处理提高模型的准确率_MinMaxScaler

    # 导入红酒数据集from sklearn.datasets import load_wine# 导入MLP神经网络from sklearn.neural_network import MLPClas ...

  4. 数据预处理与数据分类预测

    熵(entropy)指的是体系的混乱的程度,它在控制论.概率论.数论.天体物理.生命科学等领域都有重要应用,在不同的学科中也有引申出的更为具体的定义,是各领域十分重要的参量. 数据预处理 数据预处理技 ...

  5. 14、yolov5-6中数据预处理、模型输出nms单独计算、onnxruntime的gpu版本前向推理

    1.数据输入预处理.模型输出nms等 import os import torch import time import math import cv2 import numpy as np impo ...

  6. Kaggle经典数据分析项目:泰坦尼克号生存预测!1. 数据概述与可视化2. 数据预处理3. 模型训练4. 模型优化(调参)

    ↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习 ,不错过 Datawhale干货 作者:陈锴,中山大学,Datawhale成员 最近有很多读者留言,希望 ...

  7. 计算机视觉中的数据预处理与模型训练技巧总结

    来源丨机器学习小王子,转载自丨极市平台 导读 针对图像分类任务提升准确率的方法主要有两条:一个是模型的修改,另一个是各种数据处理和训练的技巧.本文在精读论文的基础上,总结了图像分类任务的11个tric ...

  8. 【干货】计算机视觉中的数据预处理与模型训练技巧总结

    来源丨机器学习小王子 编辑丨极市平台 针对图像分类任务提升准确率的方法主要有两条:一个是模型的修改,另一个是各种数据处理和训练的技巧.本文在精读论文的基础上,总结了图像分类任务的11个tricks. ...

  9. python线性回归模型预处理_线性回归-2 数据预处理与模型验证评估

    主要内容数据向量化处理 特征放缩 上采样和下采样 重采样和交叉验证 模型验证 python 代码实现 1. 数据向量化处理 对于给定的m个样本,假设最终的拟合函数是 为拟合的权重系数,则有 损失函数改 ...

最新文章

  1. JAVA类的构造方法
  2. 行业新闻 | 阿里发力知识图谱研究 悉数囊括顶尖学者探讨合作
  3. 云联惠身份认证需要多长时间_欧盟REACH认证需要多长时间【周期、费用、有效期】...
  4. java orcl自动_Oracle自动生成编号
  5. 计算机专业410分能上哪些大学,2021年高考410分能报什么学校
  6. matlab极坐标下的二维傅里叶变换_形象理解二维傅里叶变换
  7. 如何避免OOM 异常?
  8. C++ 引用计数技术及智能指针的简单实现
  9. 使用MNIST数据集训练出来的模型预测自己手写数据
  10. WebM视频格式怎么转换成MP4
  11. vmware上用kali破解wifi
  12. 7-18(查找) 新浪微博热门话题(30 分)
  13. comsol学习之模拟杯中水对流-二维轴对称流体传热
  14. HTML简单表格的制作
  15. SSM项目之注册页面知识点整理
  16. ndows 资源管理器,windows资源管理器如何打开
  17. 基于JSP动漫论坛的设计与实现(含源文件)
  18. ECMAScript6 入门
  19. 64匹马8个跑道问题
  20. 基于web的电子图书管理系统

热门文章

  1. php中怎么让主键自增长,php – 使用复合主键生成自动增量ID
  2. linux class device
  3. dw按钮图片滚动js_使用 React Hooks 实现仿石墨的图片预览插件(巨详细)
  4. 古塔问题matlab,基于 Matlab 对古塔变形趋势探究的数学模型
  5. php redis管道,php redis pipeline怎么用 - 翟码农技术博客
  6. oracle的sequence是什么,关于Oracle的序列(Sequence)使用内容是什么呢?
  7. 【以太坊】搭建测试网络之ubuntu系统安装golang环境以及helloworld
  8. linux下的last以及lastb命令
  9. php的echo 和 return的区别
  10. 【深度学习】LSTM神经网络解决COVID-19预测问题(一)