[已解决]有什么好用的文本查重工具?? 去除文本重复

显示全部楼层 · 发表于 2019-9-22 00:47:05

本帖最后由 kxmp 于 2019-10-8 14:53 编辑

查的是文件内容的内容
每一行是乱的对不上但是有重复内容.

有什么好用的工具么??

2019-09-22 13:00:37
我想显示2个文件一样的内容

2019-10-08 14:52:58
sort -u file即可
sort file|uniq //一定不可以加-u 一定不可以乱抄命令害人害己.
awk '!seen[$0]++' file

感觉sort最方便

显示全部楼层 · 发表于 2019-9-22 08:32:00

本帖最后由 nmyh 于 2019-9-22 08:52 编辑

Diffinity（英文界面，需要.Net）
http://www.truehumandesign.se/s_diffinity.php
http://www.truehumandesign.se/download/diffinityInstaller.exe
点“Rediff”按钮（快捷键是F6）进行比较。

WinMerge
http://winmerge.org
https://sourceforge.net/projects/winmerge/files/stable/

显示全部楼层 · 发表于 2019-9-22 12:52:44

nmyh 发表于 2019-9-22 08:32
Diffinity（英文界面，需要.Net）
http://www.truehumandesign.se/s_diffinity.php
http://www.truehuman ...

对了我能不能选择把重复内容显示出来?

显示全部楼层 · 发表于 2019-9-23 20:25:01

本帖最后由 nmyh 于 2019-9-25 15:35 编辑

Beyond Compare好像也只能显示相同的行内容，你可以试试这个。

自己弄了两个文本查重复的js网页文件，只能操作文本而不是文件。

下载：

“找出两文本相同内容（忽略换行符）.htm”这个会忽略换行符针对全文匹配，不是一行一行的匹配。
“找出两文本重复行内容.htm”这个是一行一行的完全匹配，每行只有一部分匹配不会输出结果。

20190925更新
“找出两文本重复行内容.htm”，把左右多个重复的行输出成一行显示出来。

显示全部楼层 · 发表于 2019-9-24 15:45:40

本帖最后由 kxmp 于 2019-9-24 15:48 编辑

nmyh 发表于 2019-9-23 20:25
Beyond Compare好像也只能显示相同的行内容，你可以试试这个。

自己弄了两个文本查重复的js网页文件，只 ...

第二个用了之后发现这个好
因为我输入的内容就是一行一行的...
用第一个反而乱了

beyond老版本我用的他只对同行相同内容有效不同行的不行不知道新版本是不是改进了.

显示全部楼层 · 发表于 2019-9-24 17:03:52

kxmp 发表于 2019-9-24 15:45
第二个用了之后发现这个好
因为我输入的内容就是一行一行的...
用第一个反而乱了

额，我理解错了，第二个其实昨天就弄好了的，一看你1楼说的是乱的就又开始弄了第一个。

[软件] [已解决]有什么好用的文本查重工具?? 去除文本重复

本帖子中包含更多资源

评分