生涯未熟

生涯未熟

プログラミングをちょこちょこと。

Elasticsearchのbulk APIのMaxファイルサイズを探る

elastic searchと書くとElasticsearchに怒られることを知った今日此の頃。

今回はElasticsearchのbulk APIにどのくらいのサイズのファイルを突っ込めるのか探っていきます。

bulk APIに関する公式ドキュメントはここ

www.elastic.co

一言で言うとbulk importしてくれるAPIですね。

で、JSONを細かく切って色々探ってみたんですが、どうも100MBを超えるJSONファイルをぶっこむと死ぬようです。

なので、100MBを超えるJSONファイルをbulk APIに突っ込む際は、split コマンドなりで100MBを超えないように分割してから突っ込みましょう。