【Linuxコマンド】CSVファイルの指定列で重複する行を削除する方法

【Linuxコマンド】CSVファイルの指定列で重複する行を削除する方法です。

コマンドは以下のとおりです。

コマンドの動作は以下のとおりです。

  • catコマンドでファイルの内容を出力
  • awkコマンドの-Fオプション(-F,)でカンマ区切りを処理
  • 連想配列の変数aに2列めの値$2を格納し、同じ値が現れるたびに変数aをインクリメントします
  • ! により変数aが 0 のとき、つまり最初にその行が現れたときだけ条件が真になり出力されます
  • 出力された行をunig.csvに書き込み

以上です。

お気軽にコメントをどうぞ

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください