贝叶斯、朴素贝叶斯及调用spark官网 mllib NavieBayes示例

标签：dataset   one   法则   tps   schedule   net   load   apach   build   

贝叶斯定理便是基于下述贝叶斯公式：

P(A|B)随着P(A)和P(B|A)的增长而增长，随着P(B)的增长而减少，即如果B独立于A时被观察到的可能性越大，那么B对A的支持度越小

朴素贝叶斯 

朴素贝叶斯算法是假设各个特征之间相互独立,使用贝叶斯公式进行分类的。请参考：https://blog.csdn.net/amds123/article/details/70173402 

spark NavieBayes 官方示例代码如下：

import org.apache.spark.ml.classification.NaiveBayes
import org.apache.spark.ml.evaluation.MulticlassClassificationEvaluator
import org.apache.spark.sql.SparkSession

object NavieBayesDemo {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder
      .appName("NavieBayesDemo").master("local")
      .config("spark.sql.warehouse.dir", "C:\\study\\sparktest")
      .getOrCreate()
    // Load the data stored in LIBSVM format as a DataFrame.
    val dataset=spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")
    // Split the data into training and test sets (30% held out for testing)
    val Array(tranningData,testData)=dataset.randomSplit(Array(0.7,0.3),seed = 1234L)

    // Train a NavieBayes model
    val model = new NaiveBayes().fit(tranningData)
    // Select example rows to display.
    val predictions=model.transform(testData)
    predictions.show()

    // Select (prediction, true label) and compute test error
    val evaluator = new MulticlassClassificationEvaluator()
      .setLabelCol("label")
      .setPredictionCol("prediction")
      .setMetricName("accuracy")
    val accuracy = evaluator.evaluate(predictions)
    println(s"Test set accuracy = $accuracy")
    
    spark.stop()
  }
}

运行结果如下：  

贝叶斯、朴素贝叶斯及调用spark官网 mllib NavieBayes示例

标签：dataset   one   法则   tps   schedule   net   load   apach   build   

原文地址：https://www.cnblogs.com/abcdwxc/p/9842765.html