NiFi 示例將 MySQL 中數(shù)據(jù)導(dǎo)出并轉(zhuǎn)換為 JSON 發(fā)送到 Kafka

  1. 添加 ExecuteSQL 處理器
    1. 添加 ExecuteSQL 到面板
      image
    2. 配置 ExecuteSQL
      image
    3. 配置 DBCPConnectionPool

      更改 DBCPConnectionPool 配置,直到將 state 從 Invalid 變?yōu)?Disable


      image

      數(shù)據(jù)庫連接池配置信息


      image

      啟用 DBCPConnectionPool


      image
      image
      image
      image
  1. 任務(wù)成功或失敗時的處理方式
    image

    image

    .

  2. 添加 ConvertAvroToJSON 處理器

    添加 ConvertAvroToJSON 到面板,無需修改任何配置


    image
  1. 添加 PublishKafka 處理器
    1. 添加 PublishKafka_0_10 到面板
      image
    2. 配置 PublishKafka_0_10
      1. PLAINTEXT

        image

      2. SSL

        image
      3. SASL_SSL

        連接阿里云 kafka 配置


        image

        注意:

        1. 修改 ${NIFi_HOME}/conf/bootstrap.conf 配置文件中 java.arg.16 ,然后重啟 NiFi 服務(wù)。
          [root@cdh01 nifi-1.10.0]$ cat conf/bootstrap.conf | grep java.arg.16
          #java.arg.16=-Djavax.security.auth.useSubjectCredsOnly=true      # 默認
          java.arg.16=-Djava.security.auth.login.config=/root/kafka_conf/kafka_client_jaas.conf
          [root@cdh01 nifi-1.10.0]$ cat /root/kafka_conf/kafka_client_jaas.conf
          KafkaClient {
            org.apache.kafka.common.security.plain.PlainLoginModule required
            username="123456"
            password="123456";
          };
          
        2. 增加 sasl.mechanism 配置
          image
    3. 配置 StandardSSLContextService

      提示: PLAINTEXT 無需配置此項

      更改 StandardSSLContextService 配置,直到將 state 從 Invalid 變?yōu)?Disable

      image

      配置 StandardSSLContextService
      如無 Keystore 則不用配置 Keystore 相關(guān)屬性
      image

      啟用 StandardSSLContextService

      image

      image
  1. 連接處理器
    image
  2. 啟動處理器
    image
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容