文本数据去重，就是把重复的数据去掉，因为数据有很多，不可能一个一个去找，因此文本数据去重工具就显得格外重要。它不仅可以去掉重复的数据，还可以去掉空行，并且非常精确，速度也异常的快。

        下面以一个1000000的数据文本为例，可以看到第一个数据有明显的重复，如图：

如何去掉重复的数据？
先打开飞梭文本数据去重工具：

选择源文件就是要去重的数据文本，确定保存路径，选择删除空行：

点击去重按钮：

可以看到1000000的数据文本只用了2秒就完成了去重任务。去重数量是8，说明1000000个数据里有8个重复，空行已被去掉。

最后看下去掉重复后的文本数据：

数据是不是变得很干净了？