ENdoSnipe Insight+ Importer の使い方

version: ENdoSnipe Insight+ 1.8.0, Elastic Stack 6.3.2

update: 2018/09/20

はじめに
セットアップ
インポートファイル仕様
データのインポート
インポート時にエラーが発生した場合
インポート済みデータの削除
Discoverでのデータの表示
Vegaでのデータ利用
カラムタイプの変更
データを再投入する場合
timezoneの指定

はじめに

ENdoSnipe Insight+ Importer はデータを Elasticsearch に簡単にインポートすることができるツールです。中央にあるドラッグ＆ドロップ部分に CSV / Excel / JSON Lines ファイルをドラッグ＆ドロップするだけでデータをインポートできます。

Importer トップ画面

セットアップ

プラグインのインストール
テンプレートの投入
kibana.ymlの編集

プラグインのインストール

Importer は Kibanaプラグインとして提供されます。 kibana-plugin コマンドにより、次のように配置した媒体を指定してインストールしてください。

./bin/kibana-plugin install file:///tmp/endosnipe/product/endosnipe-kibana-importer-1.8.0.632.zip

テンプレートの投入

Kibana の「Dev Tools」から次を実行してテンプレート情報を登録してください。

PUT _template/endosnipe
{
  "index_patterns": [
    ".kibana-endosnipe-*",
    "ens-*"
  ],
  "settings": {
    "number_of_shards": "1",
    "number_of_replicas": "1"
  }
}

kibana.ymlの編集

config/kibana.yml の次の箇所を編集してください。

x-pack security を有効にしている場合は、elasitcユーザとそのパスワードを設定します。

elasticsearch.username: "elastic"
elasticsearch.password: "elasticpass"

Importer でインポートできるファイルサイズには上限があります。デフォルトは1MBです。このファイルサイズの上限設定を変更する場合は、次の設定値を変更します。この設定例では20MBに設定しています。

server.maxPayloadBytes: 20971520

Vegaと連携する場合には、次の設定を追加してください。

vega.enableExternalUrls: true

インポートファイル仕様

CSVファイル

1行目にヘッダを記載し、2行目以降がデータとなります。ヘッダ名がフィールド名になります。
文字コードはUTF-8、改行コードはCR+LFかLFとしてください。
データ内にカンマを含む場合はデータをダブルクォーテーションで囲んでください。

Excelファイル

xls, xlsxに対応しています。
形式はcsvと同等で1行目にヘッダを記載し、2行目以降がデータとなります。
最初のシートのみが対象となります。
数値データを3桁ずつのカンマで表現している場合にはstringとして取り込まれす。数値として取り込むには3桁ずつのカンマでの表現を解除してください。

JSON Lines

jsonlines.orgを参照してください。
1行が完全なJSONオブジェクトであり、改行によってデータを分割します。

共通事項

データを投入するとindex名は「ens-拡張子-ファイル名」となります。
各カラムのデータはデータの形式によってdata typeが自動的に決定されます。
同じカラムのデータで整数と小数が混在している場合には、小数で統一するとエラーがなく投入できます（例：10と14.5というデータがある場合には、10を10.0と変換し、全てのデータが小数になるようにします。Excelの機能で桁を合わせると簡単です）。
データが空のカラムは対象のフィールド自体がドキュメントに設定されません。
「_id」など、先頭がアンダーバーで始まるフィールド名がある場合にはデータ登録ができません。

データのインポート

中央にあるドラッグ＆ドロップ部分に CSV / Excel / JSON Lines ファイルをドラッグ＆ドロップするだけでデータをインポートできます。

Importer トップ画面

インポート時にエラーが発生した場合

データ投入時にエラーが発生すると「投入時エラーの表示」リンクが表示されます。リンクをクリックするとエラーの内容を確認することができます。

_id が行数となります。投入したファイルの対象行を確認してください。CSVとExcelの場合は1行目がヘッダ行となりますので、2行目が _id=1 となります。

投入時エラー

インポート済みデータの削除

インポートしたデータはインポート済みデータ一覧からチェックボックスで選択し、「インデックスを削除する」ボタンを押下すると削除できます。

インポート済みデータの削除

Discoverでのデータの表示

操作部の一番左にある「Discoverを開く」ボタンを押下すると Discover で対象データを表示することができます。

Discoverを開く

Vegaでのデータ利用

操作部の中央にある「JSON出力リンク」ボタンを押下すると次のようにURLが表示されます。

JSON出力リンク

「URLをコピー」ボタンを押下することでクリップボードにコピーすることができます。このリンクは対象のindexのデータをjson形式で返すエンドポイントを示すもので、Vegaでデータを扱う際に利用できます。

cars.csvを試しに投入し、リンクをコピーします。VisualizeでVegaを選択し、VegaのEditorに次のように定義すると投入したデータをVegaを使って可視化できます（url部にコピーしたURLを定義します）。

{
  "$schema": "https://vega.github.io/schema/vega-lite/v2.json",
  "description": "A scatterplot showing horsepower and miles per gallons for various cars.",
  "data": {
    "url": "http://localhost:5601/api/endosnipe-kibana-importer/export/ens-csv-cars"
  },
  "mark": "point",
  "encoding": {
    "x": {
      "field": "Horsepower",
      "type": "quantitative"
    },
    "y": {
      "field": "Miles_per_Gallon",
      "type": "quantitative"
    }
  }
}

Vega