elastic searchと書くとElasticsearchに怒られることを知った今日此の頃。
今回はElasticsearchのbulk APIにどのくらいのサイズのファイルを突っ込めるのか探っていきます。
bulk APIに関する公式ドキュメントはここ
一言で言うとbulk importしてくれるAPIですね。
で、JSONを細かく切って色々探ってみたんですが、どうも100MBを超えるJSONファイルをぶっこむと死ぬようです。
なので、100MBを超えるJSONファイルをbulk APIに突っ込む際は、split コマンドなりで100MBを超えないように分割してから突っ込みましょう。
