重複行の削除

このツールでできること

1行1件のリストから、重複している行を取り除きます。 最初に現れたものを残し、2回目以降を削除します。

表示される情報

• 重複を除いた結果（コピーできます）
• 元の行数と、除いたあとの行数
• 削除された行数
• どの内容が何件重複していたか

削除された件数だけでなく中身が分かるため、 「なぜ重複したのか」を確認する用途にも使えます。

オプション

オプション	効果
各行の前後の空白を無視する	「田中 」と「田中」を同じものとして扱います
大文字と小文字を区別しない	「ABC」と「abc」を同じものとして扱います
空行を残す	既定では空行は取り除かれます

表記ゆれが原因で重複が検出されない場合は、先に 全角・半角の変換で表記をそろえるとうまくいきます。

重複していた内容も確認できます

削除した結果だけでなく、どの行が重複していたかと、その出現回数も表示します。 「消えた」だけでは、意図した行が消えたのか判断できないためです。

名簿の突き合わせでは、重複そのものが調べたい対象になることがあります。 同じ人が2回登録されている、同じ商品コードが別の行にある、といった状態を 見つけるために使えます。

大文字と小文字を区別しない設定

メールアドレスやコードでは、大文字と小文字の違いが実質的に意味を持たないことがあります。 区別しない設定にすると、[email protected] と [email protected] を 同じものとして扱います。

一方、パスワードや識別子のように大文字小文字が意味を持つデータでは、 区別する設定のままにしてください。

前後の空白の扱い

行末に空白が付いているだけで、見た目が同じでも別の行として扱われます。 コピー&ペーストで作った一覧では、これがよく起こります。

このツールは前後の空白を取り除いてから比較するので、 「見た目が同じなのに重複と判定されない」という事故を避けられます。 ただし行の途中にある空白は残すため、 「田中 太郎」と「田中　太郎」（全角空白）は別の行になります。

表記ゆれをそろえたい場合は、先に 全角・半角の変換を通してください。

見た目が同じでも重複と判定されないとき

比較しているのは見た目ではなく文字そのものです。 画面上は区別が付かないのに、別の行として扱われる組み合わせがあります。

見え方	実際の違い
田中太郎 と 田中太郎	片方が全角、片方が半角
ｶﾞ と ガ	半角カナと全角
ガ と カ゛	濁点が1文字になっているか、分かれているか
A と Ａ	半角英字と全角英字
- と ‐ と −	ハイフン・全角ハイフン・マイナス記号

とくに厄介なのが3行目です。 どちらも画面には「ガ」と出るのに、 内部では1文字と2文字で違います。目で見て探すのは無理です。

心当たりがある場合は、先に 全角・半角の変換を通して表記をそろえてから、 このツールにかけてください。順番を逆にすると、 そろえる前の状態で重複判定をすることになり、取りこぼします。

重複を残したい場合との使い分け

重複を消すべきかどうかは目的によります。 配布先の一覧を作るなら消すべきですが、 アンケートの回答のように「同じ答えが何件あったか」を数えたい場合は、 消してしまうと集計できません。

このツールは出現回数を表示するので、 消さずに件数だけを知りたい場合にも使えます。

名簿の突き合わせで使います

配布先リストに残った重複、結合した名簿の中の同じ人、商品コードや管理番号の二重登録。 ログから重複を除いて、実際に何種類あったかを数える使い方もあります。

なお、並び順は元の順序を保ちます。 最初に現れた行を残し、2回目以降を削除する方式です。 並べ替えてから重複を消したい場合は、 先に行の並べ替えを通してください。