由于疫情影响，这几天在家学习编程，整理了基于c++语言的机器学习算法库。目前大部分机器学习库都是面向pyhton语言的，尽管很python包的底层语言是c++，但c++用户使用起来很麻烦，这里整理了一些对c++比较优化的机器学习算法库，包括：Dlib，DLL，L2，MLpack，ensmallen，opennn，opencv等。下面对这些库进行简单介绍：

(1)Dlib——C++机器学习库

http://dlib.net/

Dlib的官网称：Dlib是一个现代的C++工具包，实现了大量机器学习的相关算法和工具，可用于在C++环境下创建复杂的软件来解决现实问题。目前，Dlib在工业界和学术界都得到了广泛的应用，包括机器人，嵌入式设备，移动电话和大规模的高性能计算环境等。

Dlib的帮助文档非常规范，针对每个API接口的解释也相当全面，而且Dlib还提供了非常详细的入门参考。更为难能可贵的是，Dlib的博客更新也非常频繁，官方人员经常通过博客分享基于Dlib实现的有趣的应用项目。实际上，Dlib也并非随着近两年的人工智能热潮才发起的项目，相对而言，它的历史非常悠久，早在2002年，Dlib的维护团队就已经开始着手开发了。

鉴于Dlib包含了为数众多的算法实现， Dlib的运行效率应该与scikit-learn接近，甚至有可能超越后者。

(2)高性能深度学习库(DLL)

https://github.com/wichtounet/dll

DLL是一个库，其目的是提供一种C++实现的受限玻尔兹曼机(RBM)和深度信念网络(DBN)以及它们的卷积版本。它还支持一些更标准的神经网络。它提供的功能比较单一，不建议使用。

(3)L2：用C++中从零开始实现的多维数组和深度学习库

https://github.com/bkkaggle/L2

L2是个深度学习库，采用标准的c++17编写。它包含多维数组类，张量，数组处理和numpy有类似的操作方式，也支持大部分的矩阵操作。基于多维数组类，又设计了其他深度学习常用的数据模型，包括参数，层，损失函数、优化器、训练器等，使用L2时不用关注底层的实现，只需拼装这些数据模型即可。

缺点是不支持gpu，目标函数、优化器、判断单元等数据模型较少，灵活性不强。后续版本可能会改善。

(4)Mlpack,，快速、灵活的C++机器学习库

https://www.mlpack.org/

MLPACK是一个快速、灵活的机器学习库，用C++编写，旨在提供快速、可扩展的最先进的机器学习算法的实现。MLPACK将这些算法提供为简单的命令行程序、Python绑定和C++类，然后可以将它们集成到更大规模的机器学习解决方案中。

mlpack建立在Armadillo线性代数库、ensmallen函数优化库和Boost的部分基础上。

(5)ensmallen，灵活的C++高效数学优化库

https://www.ensmallen.org/

ensmallen提供了一组简单的抽象函数，用于编写要优化的目标函数。它还提供了一套大量的标准和尖端优化器，可以用于几乎任何数学优化任务。其中包括全批量梯度下降技术、小批量技术、无梯度优化器和约束优化，非常适合用于处理机器学习的优化问题。

ensmallen提供的优化器有46种，分别是：    AdaBound，    AdaDelta，    Adagrad，    Adam，    AdaMax，    AMSBound，    AMSGrad，    Augmented Lagrangian，    Big Batch SGD，   CMAES，    CNE，    DE，    Eve，    Frank-Wolfe，    FTML (Follow the MovingLeader)，   Gradient Descent，    Grid Search，    Hogwild! (Parallel SGD)，    IQN，    Katyusha，    L-BFGS，    Lookahead，    LRSDP (low-rank SDPsolver)，   Momentum SGD，   Nadam，   NadaMax，   Nesterov Momentum SGD，   OptimisticAdam，    Padam，    PSO，    Primal-dual SDP Solver，    Quasi-Hyperbolic MomentumUpdate SGD (QHSGD)，    QHAdam，    RMSProp，    Simulated Annealing (SA)，    Simultaneous PerturbationStochastic Approximation (SPSA)，    Stochastic Recursive Gradient Algorithm(SARAH/SARAH+)，   Standard SGD，  Stochastic Coordinate Descent (SCD)，    Stochastic Gradient Descent with Restarts(SGDR)，   Snapshot Stochastic Gradient Descent with Restarts (SnapshotSGDR)，    SMORMS3，    Standard stochasticvariance reduced gradient (SVRG)，   SPALeRA Stochastic Gradient Descent(SPALeRASGD)，   SWATS，   WNGrad

使用起来很简单，几行代码即可，比如：

(6)opennn，强大的C++神经网络库

http://www.opennn.net/

OpenNN是一个用于高级分析的免费神经网络库。它解决了能源、营销、健康等领域的许多实际应用。OpenNN包含复杂的算法和实用程序，用于处理以下机器学习解决方案：回归、分类、预测、挖掘。优点是并行能力强。

(7)opencv

https://opencv.org/

openc是非常著名的计算机视觉库，它提供了完备的矩阵运算、图像处理、视觉处理、机器学习等方面的算法，使用起来简单快捷。penCV 的应用领域非常广泛，包括图像拼接、图像降噪、产品质检、人机交互、人脸识别、动作识别、动作跟踪、无人驾驶等。OpenCV 还提供了机器学习模块，你可以使用正态贝叶斯、K最近邻、支持向量机、决策树、随机森林、人工神经网络等机器学习算法。新的版本中，深度学习还专门作为一个模块独立出来，添加了新的算法。相关的学习材料也很多。

总结，虽然现在很多机器学习的库都封装成了python的接口，但底层大部分都是c++完成的。做人工智能编程时，99%的代码用python编写，1%用c++写，但真正后台运算量方面c++占据99%，python代码的运算量仅占1%。用c++写才有可能改进库的不足。

这里没有把TensorFlow，paddlepaddle等深度学习的库考虑进来，是因为它们对c++实在是不友好。