【初心者向け】Pythonで重複行削除ツールを作ろう！｜Python100本ノック Lesson 19

# Lesson 19: 重複行削除ツール（基本版：順序保持）

src = "names.txt"     # 入力ファイル
dst = "unique.txt"    # 出力ファイル

seen = set()
unique_lines = []

with open(src, "r", encoding="utf-8") as f:
    for line in f:
        line = line.rstrip("\n")  # 改行のみ除去（空白は保持）
        if line not in seen:
            seen.add(line)
            unique_lines.append(line)

with open(dst, "w", encoding="utf-8") as f:
    for line in unique_lines:
        f.write(line + "\n")

print(f"重複を削除しました：{src} → {dst}")
print(f"元の行数：{len(seen) + (len(unique_lines) - len(seen))} / ユニーク行数：{len(unique_lines)}")

# Lesson 19: 重複行削除ツール（改良版：空白・大文字小文字を無視）

src = "names.txt"
dst = "unique_normalized.txt"

def norm(s: str) -> str:
    # 先頭末尾の空白を除去し、小文字化して比較キーを作る
    return s.strip().lower()

seen = set()
unique_lines = []

with open(src, "r", encoding="utf-8") as f:
    for raw in f:
        raw = raw.rstrip("\n")
        key = norm(raw)
        if key not in seen:
            seen.add(key)
            # 保存は“元の表示”を優先：raw を書き出す
            unique_lines.append(raw)

with open(dst, "w", encoding="utf-8") as f:
    for line in unique_lines:
        f.write(line + "\n")

print(f"重複（空白・大小無視）を削除しました：{src} → {dst}")

# Lesson 19: 重複行削除ツール（改良版：回数集計 & レポート）

from collections import Counter

src = "names.txt"
dst = "unique_with_report.txt"
report = "duplicates_report.txt"

lines = []
with open(src, "r", encoding="utf-8") as f:
    for line in f:
        lines.append(line.rstrip("\n"))

# 完全一致でカウント
cnt = Counter(lines)

# 順序保持のユニーク
seen = set()
unique_lines = []
for line in lines:
    if line not in seen:
        seen.add(line)
        unique_lines.append(line)

# 出力
with open(dst, "w", encoding="utf-8") as f:
    for line in unique_lines:
        f.write(line + "\n")

# レポート出力（2回以上出現した行を列挙）
with open(report, "w", encoding="utf-8") as r:
    r.write("--- 重複行レポート ---\n")
    total_dups = 0
    for line, c in cnt.items():
        if c > 1:
            r.write(f"{line} : {c} 回\n")
            total_dups += c - 1
    r.write(f"\n削除された重複行の合計：{total_dups}\n")

print(f"ユニーク出力：{dst} / レポート：{report}")