最近数百万行のCSVデータを扱うことが増えたのですが読み込むだけでかなりのメモリを消費してしまうので、メモリの消費を抑えるジェネレータ関数をPythonで作りました。
ソースコードは以下のとおりです。
第一引数にファイルのパスを入れて下さい。ヘッダーを除きたい場合は、第二引数をTrueにしてください。
最近数百万行のCSVデータを扱うことが増えたのですが読み込むだけでかなりのメモリを消費してしまうので、メモリの消費を抑えるジェネレータ関数をPythonで作りました。
ソースコードは以下のとおりです。
第一引数にファイルのパスを入れて下さい。ヘッダーを除きたい場合は、第二引数をTrueにしてください。