386個標準csv文件，9列，912M，6839927行，

如果是默認index的配置進入es，即5個shards，1個replica，那么占用 3.2G的空間。

那么，通過下面的方式，設(shè)置0個replica，1個shard

PUT _template/<template_name>
{
  "index_patterns": "*",
  "settings" : {
    "number_of_replicas" : 0,
    "number_of_shards" : 1
  },
  "version"  : 1
}

然后，再在 grok 解析那里，把原始的message舍去（如果不需要全文索引的話）。那么最后占用空間是1.6G。在kibana上 GET _cat/indices?v 展示的是 1gb
在導(dǎo)入的過程中可以發(fā)現(xiàn)，這個占用空間會增長到 2.3G 甚至更多。然后回落、再漲、再回落。
這里是有一個數(shù)據(jù)壓縮的過程，下次再仔細介紹。

大約8分30秒，這684w的數(shù)據(jù)進入es。平均速度是 13411 TPS。
使用的是一個虛擬機，16G 內(nèi)存，600G SATA，4核，Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz。給ES開的內(nèi)存是

-Xms1g
-Xmx1g

曾經(jīng)一個正兒八經(jīng)的3實體機集群，SATA盤，從kafka接數(shù)據(jù)，可以達到25w TPS。