QuantileDiscretizer（分位數(shù)離散化）將一列連續(xù)型的數(shù)據(jù)列轉(zhuǎn)成分類型數(shù)據(jù)。通過取一個(gè)樣本的數(shù)據(jù)，并將其分為大致相等的部分，設(shè)定范圍。其下限為 -Infinity(負(fù)無窮大) ，上限為+Infinity(正無窮大)。

通過設(shè)置numBuckets（桶數(shù)目）來所需離散的數(shù)目。但如果樣本數(shù)據(jù)只劃分了3個(gè)區(qū)間，此時(shí)設(shè)置numBuckets為4，則仍只劃分為3個(gè)區(qū)間。代碼如下：

object QuantileDiscretizerExample {
  def main(args: Array[String]) {
    val spark = SparkSession.builder().master("local[*]").appName("QuantileDiscretizerExample").getOrCreate()
    val sc = spark.sparkContext
    val sqlContext = spark.sqlContext
    import sqlContext.implicits._

    val data = Array((0, 18.0), (1, 19.0), (2, 8.0), (3, 5.0), (4, 2.2))
    val df = sc.parallelize(data).toDF("id", "hour")
    df.show()
    val discretizer = new QuantileDiscretizer()
      .setInputCol("hour")
      .setOutputCol("result")
      .setNumBuckets(3)

    val result = discretizer.fit(df).transform(df)
    result.show()

    sc.stop()
  }
}

其結(jié)果如下：

+---+----+------+
| id|hour|result|
+---+----+------+
|  0|18.0|   2.0|
|  1|19.0|   2.0|
|  2| 8.0|   1.0|
|  3| 5.0|   1.0|
|  4| 2.2|   0.0|
+---+----+------+