行の並べ替え・重複削除

行単位でテキストを整理するツール。メールアドレスやIDのリスト、ログ、設定値の重複確認や並べ替えに使える。

行の並べ替え・重複削除

並び順
オプション
32文字
出力(6行 → 4行)
apple
banana
item2
item10

使い方

  1. 整理したいテキストを1行1項目で入力する。
  2. 並び順と、重複削除・空行削除などのオプションを選ぶ。
  3. 出力の行数を確認してコピーまたは保存する。

こんな用途に

  • メールアドレスやIDのリストから重複を除きたいとき。
  • 設定値やimport文、単語リストを並べ替えたいとき。
  • ログの行を逆順にして新しい順に読みたいとき。

仕組み

  • 前後の空白削除、空行削除、重複削除、並べ替えの順に処理。
  • 並べ替えはIntl.Collatorによる日本語の照合順序で、数値順を選ぶとitem2がitem10より前になる。

確認ポイント

  • 数値順を有効にすると、file2がfile10より前に並ぶ自然順ソートになる。
  • 前後の空白削除を有効にすると、インデントの違いだけの行も重複とみなす。
  • 大文字小文字を無視した重複削除では、最初に出現した行を残す。

手元でやるには

並べ替えて重複削除

必要環境: sort(macOS/Linux標準搭載)
sort -u input.txt

数値順で並べ替え

必要環境: GNU sort、macOS sort
sort -V input.txt

よくある質問

日本語はどの順で並ぶ?

Intl.Collatorによる日本語の照合順序で、記号・数字・英字・かな・漢字の順に並ぶ。ひらがなとカタカナは同じ音なら隣り合う。漢字は読み(ふりがな)順にはならない。

並び順を変えずに重複だけ削除できる?

並び順を「そのまま」にして重複削除を有効にする。

関連ツール