本文旨在介紹 Spark 讀取tinyInt字段時，如何處理精度損失的情況

MySQLDialect

spark中，mysql的方言主要約定了數(shù)據(jù)庫中varbinary、bit和tinyint類型的特殊映射，其他類型使用默認映射，源碼如下：

private case object MySQLDialect extends JdbcDialect {
  override def getCatalystType(
      sqlType: Int, typeName: String, size: Int, md: MetadataBuilder): Option[DataType] =   {
    if (sqlType == Types.VARBINARY && typeName.equals("BIT") && size != 1) {
      md.putLong("binarylong", 1)
      Option(LongType)
    } else if (sqlType == Types.BIT && typeName.equals("TINYINT")) {
      Option(BooleanType)
    } else None
  }
  ....
}

從源碼中可以看出，當spark取出表的scheme中，類型名為tinyint的字段，會被處理為Boolean型。而mysql中tinyint的sqlType都會默認處理為bit，所以如果數(shù)據(jù)庫中的這類字段中，存儲了0、1之外的值，拉取數(shù)據(jù)時則會出現(xiàn)數(shù)據(jù)失真。

處理方式：

在JDBC的URL中加入?yún)?shù)：tinyInt1isBit=false

spark JDBC的源碼分析，可以參考文檔：Spark JDBC系列--源碼簡析