常见问题
去重后会保留原来的顺序吗?
会保留每行首次出现的顺序,不会打乱成字母序。需要排序请用文本排序工具。
能忽略大小写吗?
可以勾选。勾选后 ABC 和 abc 视为同一行,保留最先出现的那条。
空白行会被去掉吗?
「去空白行」默认就是勾选的,粘贴内容首尾的空行会被一并去掉;取消勾选才会保留空行。
关于这个工具
判重的单位是整行:两行去掉首尾空白后完全相同才算重复,不做相似度、不忽略标点、不忽略词序 —— 「苹果 香蕉」和「苹果香蕉」是两条不同的行。
比较和输出都先做了 trim,也就是说行首行尾的空格会被去掉。整理名单、标签、ID 列表时这正是想要的;但粘贴带缩进的内容(代码、Markdown 列表、YAML)就不合适 —— 缩进没了,结构也跟着变了。
勾上「忽略大小写」后判重键用小写形式,但输出保留第一次出现时那一行的大小写:Apple 在前就输出 Apple,apple 在前就输出 apple。顺序按首次出现固定,不会重排成字母序;要按字母或数字排,接着用「文本排序」。
「去空白行」默认是勾选的,所以粘贴内容首尾的空行会被直接吃掉;「显示计数」会在每行前面加「次数 + 两个空格」,这时输出已经不是纯数据了(3 苹果 这样一整行),再拿回去当输入会按新行判重 —— 计数结果建议直接复制走。状态栏给的是原始行数、保留行数、去重行数三个数,据此能看出有没有被空行影响。