Intel DAAL AI加速——支持从数据预处理到模型预测,数据源必须使用DAAL的底层封装库...
数据源加速见官方文档(必须使用DAAL自己的库):
Data Management
- Numeric Tables
- Tensors
- Data Sources
- Data Dictionaries
- Data Serialization andDeserialization
- Data Compression
- Data Model
可以看到支持的数据源:同数据类型的table(matrix),不同类型的table,以及从DB文件取数据、数据序列化、压缩等。
在这些定制的数据源上,Intel DAAL使用自己底层的CPU进行硬件加速!下面摘自其官方:
Intel DAAL addresses all stages of the data analytics pipeline: preprocessing, transformation, analysis, modeling, validation, and decision-making.
Intel DAAL is developed by the same team as the Intel® Math Kernel Library (Intel® MKL)—the leading math library in the world. This team works closely with Intel® processor architects to squeeze performance from Intel processor-based systems.
Specs at a Glance
Processors | Intel Atom®, Intel Core™, Intel® Xeon®, and Intel® Xeon Phi™ processors and compatible processors |
Languages | Python*, C++, Java* |
Development Tools and Environments |
Microsoft Visual Studio* (Windows*) Eclipse* and CDT* (Linux*) |
Operating Systems | Use the same API for application development on multiple operating systems: Windows, Linux, and macOS* |
# file: low_order_moms_dense_batch.py
#===============================================================================
# Copyright 2014-2018 Intel Corporation.
#
# This software and the related documents are Intel copyrighted materials, and
# your use of them is governed by the express license under which they were
# provided to you (License). Unless the License provides otherwise, you may not
# use, modify, copy, publish, distribute, disclose or transmit this software or
# the related documents without Intel's prior written permission.
#
# This software and the related documents are provided as is, with no express
# or implied warranties, other than those that are expressly stated in the
# License.
#===============================================================================## <a name="DAAL-EXAMPLE-PY-LOW_ORDER_MOMENTS_DENSE_BATCH"></a>
## \example low_order_moms_dense_batch.pyimport os
import sysfrom daal.algorithms import low_order_moments
from daal.data_management import FileDataSource, DataSourceIfaceutils_folder = os.path.realpath(os.path.abspath(os.path.dirname(os.path.dirname(__file__))))
if utils_folder not in sys.path:sys.path.insert(0, utils_folder)
from utils import printNumericTableDAAL_PREFIX = os.path.join('..', 'data')# Input data set parameters
dataFileName = os.path.join(DAAL_PREFIX, 'batch', 'covcormoments_dense.csv')def printResults(res):printNumericTable(res.get(low_order_moments.minimum), "Minimum:")printNumericTable(res.get(low_order_moments.maximum), "Maximum:")printNumericTable(res.get(low_order_moments.sum), "Sum:")printNumericTable(res.get(low_order_moments.sumSquares), "Sum of squares:")printNumericTable(res.get(low_order_moments.sumSquaresCentered), "Sum of squared difference from the means:")printNumericTable(res.get(low_order_moments.mean), "Mean:")printNumericTable(res.get(low_order_moments.secondOrderRawMoment), "Second order raw moment:")printNumericTable(res.get(low_order_moments.variance), "Variance:")printNumericTable(res.get(low_order_moments.standardDeviation), "Standard deviation:")printNumericTable(res.get(low_order_moments.variation), "Variation:")if __name__ == "__main__":# Initialize FileDataSource to retrieve input data from .csv filedataSource = FileDataSource(dataFileName,DataSourceIface.doAllocateNumericTable,DataSourceIface.doDictionaryFromContext)# Retrieve the data from input filedataSource.loadDataBlock()# Create algorithm for computing low order moments in batch processing modealgorithm = low_order_moments.Batch()# Set input arguments of the algorithmalgorithm.input.set(low_order_moments.data, dataSource.getNumericTable())# Get computed low order momentsres = algorithm.compute()printResults(res)
转载于:https://www.cnblogs.com/bonelee/p/9702982.html
Intel DAAL AI加速——支持从数据预处理到模型预测,数据源必须使用DAAL的底层封装库...相关推荐
- Xtreme1如何利用AI加速多模态训练数据的处理
直播回顾|Xtreme1如何利用AI加速多模态训练数据的处理 10月13日,倍赛科技CTO刘世林博士在OpenMMLab社区开麦直播活动中带来了以<释放数据潜力,打造AI加速引擎>为主题的 ...
- R语言机器学习Caret包(Caret包是分类和回归训练的简称)、数据划分、数据预处理、模型构建、模型调优、模型评估、多模型对比、模型预测推理
R语言机器学习Caret包(Caret包是分类和回归训练的简称).数据划分.数据预处理.模型构建.模型调优.模型评估.多模型对比.模型预测推理 目录
- 深入浅出python机器学习_9.1.5_通过数据预处理提高模型的准确率_MinMaxScaler
# 导入红酒数据集from sklearn.datasets import load_wine# 导入MLP神经网络from sklearn.neural_network import MLPClas ...
- 数据预处理与数据分类预测
熵(entropy)指的是体系的混乱的程度,它在控制论.概率论.数论.天体物理.生命科学等领域都有重要应用,在不同的学科中也有引申出的更为具体的定义,是各领域十分重要的参量. 数据预处理 数据预处理技 ...
- 14、yolov5-6中数据预处理、模型输出nms单独计算、onnxruntime的gpu版本前向推理
1.数据输入预处理.模型输出nms等 import os import torch import time import math import cv2 import numpy as np impo ...
- Kaggle经典数据分析项目:泰坦尼克号生存预测!1. 数据概述与可视化2. 数据预处理3. 模型训练4. 模型优化(调参)
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习 ,不错过 Datawhale干货 作者:陈锴,中山大学,Datawhale成员 最近有很多读者留言,希望 ...
- 计算机视觉中的数据预处理与模型训练技巧总结
来源丨机器学习小王子,转载自丨极市平台 导读 针对图像分类任务提升准确率的方法主要有两条:一个是模型的修改,另一个是各种数据处理和训练的技巧.本文在精读论文的基础上,总结了图像分类任务的11个tric ...
- 【干货】计算机视觉中的数据预处理与模型训练技巧总结
来源丨机器学习小王子 编辑丨极市平台 针对图像分类任务提升准确率的方法主要有两条:一个是模型的修改,另一个是各种数据处理和训练的技巧.本文在精读论文的基础上,总结了图像分类任务的11个tricks. ...
- python线性回归模型预处理_线性回归-2 数据预处理与模型验证评估
主要内容数据向量化处理 特征放缩 上采样和下采样 重采样和交叉验证 模型验证 python 代码实现 1. 数据向量化处理 对于给定的m个样本,假设最终的拟合函数是 为拟合的权重系数,则有 损失函数改 ...
最新文章
- JAVA类的构造方法
- 行业新闻 | 阿里发力知识图谱研究 悉数囊括顶尖学者探讨合作
- 云联惠身份认证需要多长时间_欧盟REACH认证需要多长时间【周期、费用、有效期】...
- java orcl自动_Oracle自动生成编号
- 计算机专业410分能上哪些大学,2021年高考410分能报什么学校
- matlab极坐标下的二维傅里叶变换_形象理解二维傅里叶变换
- 如何避免OOM 异常?
- C++ 引用计数技术及智能指针的简单实现
- 使用MNIST数据集训练出来的模型预测自己手写数据
- WebM视频格式怎么转换成MP4
- vmware上用kali破解wifi
- 7-18(查找) 新浪微博热门话题(30 分)
- comsol学习之模拟杯中水对流-二维轴对称流体传热
- HTML简单表格的制作
- SSM项目之注册页面知识点整理
- ndows 资源管理器,windows资源管理器如何打开
- 基于JSP动漫论坛的设计与实现(含源文件)
- ECMAScript6 入门
- 64匹马8个跑道问题
- 基于web的电子图书管理系统
热门文章
- php中怎么让主键自增长,php – 使用复合主键生成自动增量ID
- linux class device
- dw按钮图片滚动js_使用 React Hooks 实现仿石墨的图片预览插件(巨详细)
- 古塔问题matlab,基于 Matlab 对古塔变形趋势探究的数学模型
- php redis管道,php redis pipeline怎么用 - 翟码农技术博客
- oracle的sequence是什么,关于Oracle的序列(Sequence)使用内容是什么呢?
- 【以太坊】搭建测试网络之ubuntu系统安装golang环境以及helloworld
- linux下的last以及lastb命令
- php的echo 和 return的区别
- 【深度学习】LSTM神经网络解决COVID-19预测问题(一)