java spark 朴素贝叶斯算法(naive-bayes)

配置

配置请看我的其他文章点击跳转

spark官方文档

点击跳转官方文档

其它文章

推荐一个在蚂蚁做算法的人写的文章，不过他的文章偏专业化，有很多数学学公式。我是看的比较懵。点击跳转

数据

训练数据

预测数据

实体类

用了swagger和lombok 不需要的可以删掉

import io.swagger.annotations.ApiModel;
import io.swagger.annotations.ApiModelProperty;
import lombok.Data;import javax.validation.constraints.Max;
import javax.validation.constraints.Min;
import javax.validation.constraints.NotEmpty;/*** 分类算法传参* 比如决策树 随机森林 朴素贝叶斯** @author teler* @date 2020-10-09*/@Data
@ApiModel("朴素贝叶斯")
public class ClassifyEntity {/*** 测试数据*/@ApiModelProperty("测试数据")@NotEmpty(message = "参数不能为空")String trainFilePath;/*** 数据路径*/@ApiModelProperty("数据路径")@NotEmpty(message = "参数不能为空")String dataFilePath;/*** 测试模型的数据比例*/@ApiModelProperty("测试模型的数据比例")@Min(value = 0, message = "最小比例为0")@Max(value = 1, message = "最大比例为1")double testDataPct;/*** 测试模型准确率阈值*/@ApiModelProperty("测试模型准确率阈值")@Min(value = 0, message = "最小比例为0")@Max(value = 1, message = "最大比例为1")double testThreshold;}

算法实现

里面有些方法是为了保留小数不需要的自己改


@Resource
private transient SparkSession sparkSession;@Override
public Map<String, Object> naiveBayes(ClassifyEntity record) {System.out.println("========== 朴素贝叶斯算法开始 ==========");Map<String, Object> map = new HashMap<>();Dataset<Row> source = getDataSetByHdfs(record.getTrainFilePath());//训练数据map.put("training", toList(source));//根据比例从数据源中随机抽取数据 训练数据和测试数据比例 建议设为0.8Dataset<Row>[] splits = source.randomSplit(new double[]{record.getTestDataPct(), 1 - record.getTestDataPct()},1234L);//训练和测试数据Dataset<Row> trainingData = splits[0].cache();Dataset<Row> testData = splits[1].cache();NaiveBayes nb = new NaiveBayes();NaiveBayesModel model = nb.fit(trainingData);//准确率Dataset<Row> testResult = model.transform(testData);Dataset<Row> predictionAndLabels = testResult.select("prediction", "label");MulticlassClassificationEvaluator evaluator = new MulticlassClassificationEvaluator().setLabelCol("label").setPredictionCol("prediction").setMetricName("accuracy");//准确率map.put("accuracy", NumberUtil.roundDown(evaluator.evaluate(predictionAndLabels), 3));//计算结果Dataset<Row> dataSource = getDataSetByHdfs(record.getDataFilePath());Dataset<Row> datasetRow = model.transform(dataSource).select("features", "label", "prediction");//平滑指数map.put("smoothing", NumberUtil.roundDown(model.getSmoothing(), 3));//数据map.put("data", toList(datasetRow));return map;
}

getDataSetByHdfs方法

这个方法我与上面的方法放在一个类中，所以sparkSession没重复写

/*** 从hdfs中取数据** @param dataFilePath 数据路径* @return 数据集合*/private Dataset<Row> getDataSetByHdfs(String dataFilePath) {//屏蔽日志Logger.getLogger("org.apache.spark").setLevel(Level.WARN);Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF);Dataset<Row> dataset;try {//我这里的数据是libsvm格式的 如果是其他格式请自行更改dataset = sparkSession.read().format("libsvm").load(dataFilePath);log.info("获取数据结束 ");} catch (Exception e) {log.info("读取失败:{} ", e.getMessage());}return dataset;}

toList

/*** dataset数据转化为list数据** @param record 数据* @return 数据集合*/private List<Map<String, String>> toList(Dataset<Row> record) {log.info("格式化结果数据集===============================");List<Map<String, String>> list = new ArrayList<>();String[] columns = record.columns();List<Row> rows = record.collectAsList();for (Row row : rows) {Map<String, String> obj = new HashMap<>(16);for (int j = 0; j < columns.length; j++) {String col = columns[j];Object rowAs = row.getAs(col);String val = "";//如果是数组 //这一段不需要的可以只留下else的内容if (rowAs instanceof DenseVector) {if (((DenseVector) rowAs).values() instanceof double[]) {val = ArrayUtil.join(Arrays.stream(((DenseVector) rowAs).values()).map(rowVal -> NumberUtil.roundDown(rowVal, 3).doubleValue()).toArray(), ",");} else {val = rowAs.toString();}} else {val = rowAs.toString();}obj.put(col, val);log.info("列：{},名：{},值：{}", j, col, val);}list.add(obj);}return list;}

java spark 朴素贝叶斯算法(naive-bayes)相关推荐

复习04统计学习方法(朴素贝叶斯算法Naive Bayes)---图片版
朴素贝叶斯（naive bayes）原理小结
朴素贝叶斯(naive bayes)原理小结 1. 朴素贝叶斯的学习 1.1 基本假设:条件独立性 1.2 朴素贝叶斯分类器 1.3 后验概率的含义 2. 参数估计 2.1 极大似然估计 2.2 贝叶 ...
朴素贝叶斯（Naive Bayes）分类和Gaussian naive Bayes
朴素贝叶斯(Naive Bayes) 参考资料:https://www.cnblogs.com/pinard/p/6069267.html 朴素贝叶斯最关键的就是 (强制认为每种指标都是独立的 ...
【机器学习sklearn】高斯朴素贝叶斯 Gaussian naive bayes
贝叶斯Bayes - Thomas Bayes 前言一.贝叶斯决策论(Bayesian decision theory) 二.实例:高斯朴素贝叶斯 Gaussian Naive Bayes (Gau ...
朴素贝叶斯（Naive Bayes）(原理+Python实现)
朴素贝叶斯(Naive Bayes)(原理+Python实现) 创作背景算法分类生成类算法判别类算法区别知识补充朴素贝叶斯算法举个栗子求解思路求解过程(数学计算) 代码实现自己实现 ...
python机器学习-朴素贝叶斯（Naive Bayes）模型建立及评估（完整代码+实现效果）
实现功能: python机器学习-朴素贝叶斯(Naive Bayes)模型建立及评估. 实现代码: # 导入需要的库 from warnings import simplefilter simplef ...
朴素贝叶斯（naive bayes）分类
1. 概念回顾 1.1 条件概率公式条件概率是指在事件B发生的条件下,事件A发生的概率.条件概率表示为P(A∣B)P(A|B)P(A∣B),读作"A在B发生的条件下发生的概率". ...
朴素贝叶斯（Naive Bayes）：鸢尾花分类项目（不调库，手工推）
一.数据来源 1.数据来源:kaggle 2.数据样式通过对数据"萼片.花瓣的长度.宽度(sepal_length.sepal_width.petal_length.petal_width ...
【机器学习实战】第4章朴素贝叶斯（Naive Bayes）
第4章基于概率论的分类方法:朴素贝叶斯朴素贝叶斯概述贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.本章首先介绍贝叶斯分类算法的基础--贝叶斯定理.最后,我们 ...

java spark 朴素贝叶斯算法(naive-bayes)

配置

spark官方文档

其它文章

数据

训练数据

预测数据

实体类

算法实现

getDataSetByHdfs方法

toList

java spark 朴素贝叶斯算法(naive-bayes)相关推荐

最新文章

热门文章