🧹 文本去重

一键去除重复行——支持大小写敏感和排序选项

✓ 永久免费 · ✓ 无需注册 · ✓ 文件不上传 · ✓ 离线可用

🔒 你的文字绝不会离开你的设备。 所有处理都通过基于 JavaScript Set 的去重在浏览器本地完成。无上传、无服务器、无追踪。

功能特点

逐行去重 — 两行完全相同才算重复（可选忽略大小写、去掉首尾空格）。每组只保留第一次出现的那行，位置不变，也可以排序输出。就是逐字比较，不靠猜。
空格处理 — 可选去除首尾空格后再比较，避免因空格导致的误判。
统计报告 — 可选择是否区分大小写、比较时忽略行首行尾空格、删除空行、按 A→Z 排序（数字按大小排）。跑过一次后再改选项，结果会自动更新。
排序输出 — 可选对去重后的结果进行排序。

使用方法

粘贴文本 — 将包含重复行的文本粘贴到输入框。
设置选项 — 根据需要选择大小写敏感、去除空格和排序等选项。
去重并导出 — 点击去重按钮，查看结果并复制或下载。

使用场景

清理邮件列表中的重复地址
去除数据库导出中的重复记录
清理日志文件中的重复条目
合并多个来源的数据并去重

常见问题

默认区分大小写吗？

不区分。默认情况下 "Hello"、"hello" 和 "HELLO" 算同一行，保留第一次出现的那行，原样不动。打开「区分大小写」后三行都会保留。

保留下来的行会被改动吗？

不会。它只删除整行重复，留下的是第一次出现的那行，一个字符都不改，缩进和中间的空格都保留。「比较时忽略首尾空格」只影响什么算重复，不会去掉你文本里的空格。

会保持原来的顺序吗？

默认保持。打开「结果排序」后按 A→Z 排列，数字按大小排（item2 在 item10 前面）。排序后的列表不包含空行。

空行怎么处理？

空行留在原位，不算重复，段落间距不会乱。打开「删除空行」可以全部去掉。

来自 Milo 🐨 的笔记

2026-10-06

我贴了一段 Python 想删一行重复的，结果拿回来的代码缩进全没了：「去除首尾空格」不只是比较时忽略空格，而是把留下的每一行都改写了。现在工具只删除整行重复，留下的那行和你写的一模一样。页面之前还说默认区分大小写，其实并不区分——已经改正。新增：「删除空行」开关；排序时 item2 排在 item10 前面；跑过一次后，改选项或改文本结果都会跟着更新；可以打开文件（或把 .txt 拖到输入框）；重复列表每种重复行只列一次并标出出现次数——20 万行的日志也不会再卡死页面。