生涯未熟

生涯未熟

プログラミングをちょこちょこと。

2018-08-14から1日間の記事一覧

Sparkにおける不正なCSV読み込みへの立ち向かい方

Apache Sparkを使い、あるデータをHDFSにCSVとして保存し、保存したCSVから読み込んだデータをDBに格納するということを想定して、もし不正なCSVファイルが紛れ込んでいたらどうする?ということを考えていく。 状況 この疑問が生じた発端となった不正なCSV…