自动加载目录下全部指令候选文件，按目录内容去重，保留原始字节…

方案思路

文件内容去重且保留原始字节，核心是：读原始字节计算哈希 → 相同哈希即重复 → 不改写任何文件。无需“加载”到内存长期占用，只需扫描一遍。

一键脚本（Python）

保存为 dedup_scan.py，运行 python3 dedup_scan.py：

```python

import hashlib, os

from collections import defaultdict

root = "/home/dev/prompts"

groups = defaultdict(list) # hash -> [文件路径]

for dirpath, _, files in os.walk(root):

for name in files:

if name.lower().endswith((".md", ".txt")):

p = os.path.join(dirpath, name)

with open(p, "rb") as f: # 按字节读，不做任何编码转换

digest = hashlib.sha256(f.read()).hexdigest()

groups[digest].append(p)

dups = {h: ps for h, ps in groups.items() if len(ps) > 1}

print("== 重复清单 ==")

for h, ps in dups.items():

print(f"[{h[:12]}] 保留: {ps[0]}")

for q in ps[1:]:

print(f" 重复: {q}")

kept = sorted(ps[0] for ps in groups.values())

print(f"\n== 去重后文件列表（共 {len(kept)} 个）==")

for p in kept:

print(p)

```

说明与要点

• 保留原始字节：全程以 rb 二进制读取，只读不写，文件本身零改动；输出仅为报告。
• 哈希算法：SHA-256 判重，字节级完全一致才算重复。若需“内容相同但换行符/空白不同”也算重复，需另行归一化处理（见下）。
• 误判风险极低：SHA-256 对 47 个文件规模可视为无碰撞。
• 仅报告，不删除：脚本只输出清单；确认后如需物理删除重复副本，可把 print(f" 重复: {q}") 改为 os.remove(q)，建议先备份（cp -r /home/dev/prompts /home/dev/prompts_bak）。

可选扩展

• 近重复检测：若想识别“仅首尾空白/换行差异”的文件，可在哈希前对字节做 strip() 归一化，另跑一轮对比。
• 输出到文件：python3 dedup_scan.py > dedup_report.txt，方便留档。
• 快速命令行版（不写脚本时）：

```bash

cd /home/dev/prompts

find . -type f \( -name '*.md' -o -name '*.txt' \) -exec sha256sum {} + | sort | \

awk '{h=$1; $1=""; if(h==p) print "重复:"$0; else print "保留:"$0; p=h}'

```

预期结果：约 47 个文件中重复副