文本去重复又什么比较好的工具

显示全部楼层 · 发表于 2012-9-29 12:35:32

本帖最后由毛豆小新于 2012-10-7 11:42 编辑

最原始累人的查找替换方法就不要说了，如果能用这方法的一般内容也不多，最好是有那种软件工具能直接把重复的文本标记出来的，主要是词语了，也不需要处理什么复杂的文档，就是简单的txt，单纯的一些文本数字短语之类的。
google过，没找到合适的软件，不是太复杂，就是满足不了要求。相信不少人都有这需求吧，论坛搜索了一遍也没发现解决办法。
除了软件还有什么方法能做到？强大的office能做到吗？

显示全部楼层 · 发表于 2012-9-29 14:02:05

整行重复还是？整行的话记事本就可以，其他强大的 Excel 应该可以处理。。

显示全部楼层 · 发表于 2012-9-30 12:06:41

edlynlove 发表于 2012-9-29 14:02
整行重复还是？整行的话记事本就可以，其他强大的 Excel 应该可以处理。。

就是部分字词短语重复

显示全部楼层 · 发表于 2012-9-30 13:02:21

毛豆小新发表于 2012-9-30 12:06
就是部分字词短语重复

已知的话为什么不用替换啊？未知的另存为 CSV 用 Excel 处理，句子什么的需要分词就不知道了。。

显示全部楼层 · 发表于 2012-9-30 13:49:24

edlynlove 发表于 2012-9-30 13:02
已知的话为什么不用替换啊？未知的另存为 CSV 用 Excel 处理，句子什么的需要分词就不知道了。。

excel具体怎么处理？

显示全部楼层 · 发表于 2012-9-30 18:42:03

自带写字板可以，是写字板不是记事本

[讨论] 文本去重复又什么比较好的工具