入門

本教程介紹如何將您的數(shù)據(jù)文件加載到Druid。

在本教程中，我們假設(shè)您已經(jīng)按照快速入門中所述下載了Druid，并將其在本機(jī)上運(yùn)行。并且您不需要事先加載任何數(shù)據(jù)。

上述步驟完成后，你就可以通過(guò)編寫自定義的提取規(guī)范來(lái)加載自己的數(shù)據(jù)集了。

編寫提取規(guī)范

您可以使用Druid批量加載進(jìn)程將文件數(shù)據(jù)加載到Druid。在quickstart/wikiticker-index.json有一個(gè)批量提取規(guī)范的示例，根據(jù)需求可以自行修改。
最重要的問(wèn)題是：

{
  "type" : "index_hadoop",
  "spec" : {
    "ioConfig" : {
      "type" : "hadoop",
      "inputSpec" : {
        "type" : "static",
        //2.數(shù)據(jù)集路徑，多個(gè)文件使用逗號(hào)分隔
        "paths" : "quickstart/wikiticker-2015-09-12-sampled.json"
      }
    },
    "dataSchema" : {
      //1.應(yīng)該調(diào)用什么數(shù)據(jù)集
      "dataSource" : "wikiticker",
      "granularitySpec" : {
        "type" : "uniform",
        "segmentGranularity" : "day",
        "queryGranularity" : "none",
        //6.加載的時(shí)間的范圍或者間隔
        "intervals" : ["2015-09-12/2015-09-13"]
      },
      "parser" : {
        "type" : "hadoopyString",
        "parseSpec" : {
          "format" : "json",
          "dimensionsSpec" : {
            //4.有哪些字段作為維度
            "dimensions" : [
              "channel",
              "cityName",
              "comment",
              "countryIsoCode",
              "countryName",
              "isAnonymous",
              "isMinor",
              "isNew",
              "isRobot",
              "isUnpatrolled",
              "metroCode",
              "namespace",
              "page",
              "regionIsoCode",
              "regionName",
              "user"
            ]
          },
          "timestampSpec" : {
            "format" : "auto",
            //3.哪個(gè)字段應(yīng)該視為時(shí)間戳
            "column" : "time"
          }
        }
      },
      //5.哪些字段作為指標(biāo)
      "metricsSpec" : [
        {
          "name" : "count",
          "type" : "count"
        },
        {
          "name" : "added",
          "type" : "longSum",
          "fieldName" : "added"
        },
        {
          "name" : "deleted",
          "type" : "longSum",
          "fieldName" : "deleted"
        },
        {
          "name" : "delta",
          "type" : "longSum",
          "fieldName" : "delta"
        },
        {
          "name" : "user_unique",
          "type" : "hyperUnique",
          "fieldName" : "user"
        }
      ]
    },
    "tuningConfig" : {
      "type" : "hadoop",
      "partitionsSpec" : {
        "type" : "hashed",
        "targetPartitionSize" : 5000000
      },
      "jobProperties" : {}
    }
  }
}

如果您的數(shù)據(jù)里面沒(méi)有記錄時(shí)間，您可以用當(dāng)前時(shí)間標(biāo)記每一行數(shù)據(jù)，或者也可以用一個(gè)固定時(shí)間戳去標(biāo)記所有行，例如"2000-01-01T00:00:00.000Z"。
讓我們以網(wǎng)頁(yè)瀏覽數(shù)據(jù)集為例， Druid支持TSV，CSV和JSON，開(kāi)箱即用。 請(qǐng)注意，Druid不支持嵌套的JSON對(duì)象，因此如果您使用JSON，則應(yīng)提供包含平面對(duì)象的文件。

{"time": "2015-09-01T00:00:00Z", "url": "/foo/bar", "user": "alice", "latencyMs": 32}
{"time": "2015-09-01T01:00:00Z", "url": "/", "user": "bob", "latencyMs": 11}
{"time": "2015-09-01T01:30:00Z", "url": "/foo/bar", "user": "bob", "latencyMs": 45}

確保文件末尾沒(méi)有換行符。 如果將此文件保存到名為“pageviews.json”的文件，則對(duì)于此數(shù)據(jù)集：

• 數(shù)據(jù)集叫做 "pageviews"
• 數(shù)據(jù)位于"pageviews.json"中
• 時(shí)間戳是 "time"字段
• "url" 和 "user"字段適合作為數(shù)據(jù)維度
• 網(wǎng)頁(yè)的訪問(wèn)量（count統(tǒng)計(jì)）和總耗時(shí)（sum(latencyMs)）是很好的指標(biāo)，當(dāng)我們加載數(shù)據(jù)的時(shí)候收集這些統(tǒng)計(jì)值，可以讓我們能夠很容易在查詢時(shí)計(jì)算平均值。
• 數(shù)據(jù)涵蓋的時(shí)間范圍是 2015-09-01 (包含) 到2015-09-02 (不包含)。

你可以將現(xiàn)有的索引文件quickstart/wikiticker-index.json，copy到新文件。

cp quickstart/wikiticker-index.json my-index-task.json

然后通過(guò)更改這些部分修改它：

"dataSource": "pageviews"
"inputSpec": {
  "type": "static",
  "paths": "pageviews.json"
}

"timestampSpec": {
  "format": "auto",
  "column": "time"
}

"dimensionsSpec": {
  "dimensions": ["url", "user"]
}

"metricsSpec": [
  {"name": "views", "type": "count"},
  {"name": "latencyMs", "type": "doubleSum", "fieldName": "latencyMs"}
]

"granularitySpec": {
  "type": "uniform",
  "segmentGranularity": "day",
  "queryGranularity": "none",
  "intervals": ["2015-09-01/2015-09-02"]
}

運(yùn)行任務(wù)

要運(yùn)行此任務(wù)，請(qǐng)確保索引任務(wù)能夠讀取pageviews.json：
如果你是本機(jī)運(yùn)行（沒(méi)有配置到hadoop的連接，這也是Druid默認(rèn)值），那么將pageviews.json放到Druid的根目錄下。
如果Druid配置了hadoop集群連接，那么將pageviews.json上傳到HDFS。并且調(diào)整上面提取規(guī)范的配置路徑。
向Druid Overlord上提交你的索引任務(wù)，就可以開(kāi)始進(jìn)行索引了，在標(biāo)準(zhǔn)Druid安裝中，URL為http://OVERLORD_IP:8090/druid/indexer/v1/task 。

curl -X 'POST' -H 'Content-Type:application/json' -d @my-index-task.json OVERLORD_IP:8090/druid/indexer/v1/task

如果你的所有東西都是在本機(jī)運(yùn)行，你可以使用localhost

curl -X 'POST' -H 'Content-Type:application/json' -d @my-index-task.json localhost:8090/druid/indexer/v1/task

如果此任務(wù)發(fā)生任何錯(cuò)誤（例如狀態(tài)為FAILED），可以通過(guò)overlord控制臺(tái)上的"Task log"進(jìn)行故障排查(http://www.localhost/console.html)。

數(shù)據(jù)查詢

您的數(shù)據(jù)應(yīng)該在一到兩分鐘就能完全可用，在Coordinator控制臺(tái)http://localhost:8081/#/ 可以監(jiān)控進(jìn)度。
一旦數(shù)據(jù)完全可用，就可以通過(guò)任意支持的查詢方法查詢數(shù)據(jù)了。

深入閱讀

想更深入了解批量加載數(shù)據(jù)，請(qǐng)閱讀批量數(shù)據(jù)提取章節(jié)

原文鏈接：http://druid.io/docs/0.9.2/tutorials/tutorial-batch.html