重複行の削除

このツールでできること

1行1件のリストから、重複している行を取り除きます。 最初に現れたものを残し、2回目以降を削除します。

表示される情報

• 重複を除いた結果（コピーできます）
• 元の行数と、除いたあとの行数
• 削除された行数
• どの内容が何件重複していたか

削除された件数だけでなく中身が分かるため、 「なぜ重複したのか」を確認する用途にも使えます。

オプション

オプション	効果
各行の前後の空白を無視する	「田中 」と「田中」を同じものとして扱います
大文字と小文字を区別しない	「ABC」と「abc」を同じものとして扱います
空行を残す	既定では空行は取り除かれます

表記ゆれが原因で重複が検出されない場合は、先に 全角・半角の変換で表記をそろえるとうまくいきます。

入力内容は送信されません

処理はすべてブラウザの中で行われます。 顧客名簿やメールアドレスの一覧など、外部に出せないデータでもご利用いただけます。

重複していた内容も確認できます

削除した結果だけでなく、どの行が重複していたかと、その出現回数も表示します。 「消えた」だけでは、意図した行が消えたのか判断できないためです。

名簿の突き合わせでは、重複そのものが調べたい対象になることがあります。 同じ人が2回登録されている、同じ商品コードが別の行にある、といった状態を 見つけるために使えます。

大文字と小文字を区別しない設定

メールアドレスやコードでは、大文字と小文字の違いが実質的に意味を持たないことがあります。 区別しない設定にすると、[email protected] と [email protected] を 同じものとして扱います。

一方、パスワードや識別子のように大文字小文字が意味を持つデータでは、 区別する設定のままにしてください。

前後の空白の扱い

行末に空白が付いているだけで、見た目が同じでも別の行として扱われます。 コピー&ペーストで作った一覧では、これがよく起こります。

このツールは前後の空白を取り除いてから比較するので、 「見た目が同じなのに重複と判定されない」という事故を避けられます。 ただし行の途中にある空白は残すため、 「田中 太郎」と「田中　太郎」（全角空白）は別の行になります。

表記ゆれをそろえたい場合は、先に 全角・半角の変換を通してください。

重複を残したい場合との使い分け

重複を消すべきかどうかは目的によります。 配布先の一覧を作るなら消すべきですが、 アンケートの回答のように「同じ答えが何件あったか」を数えたい場合は、 消してしまうと集計できません。

このツールは出現回数を表示するので、 消さずに件数だけを知りたい場合にも使えます。

こんなときに使います

• メールの配布先リストから、重複した宛先を取り除くとき
• 2つの名簿を結合したあとで、同じ人を1つにまとめるとき
• ログから重複を除いて、実際の種類数を数えるとき
• 商品コードや管理番号の重複登録を見つけるとき

なお、並び順は元の順序を保ちます。 最初に現れた行を残し、2回目以降を削除する方式です。 並べ替えてから重複を消したい場合は、 先に行の並べ替えを通してください。