重复数据删除技术大约是从去年进入人们视线的，最初提供这项技术产品的企业包括Asigra、Avamar、DataDomain、Diligent以及OEM软件企业Rocksoft等。如今，我们看到几乎所有销售数据保护产品的企业都开始涉猎这项技术，业内人士对重复数据删除技术寄予厚望。
市场的活跃使用户能够享受越来越廉价的存储产品，但是因数据疯狂增长带来的高成本支出使得企业IT部门仍然恨不能把一分钱掰成两半花。这一需求造就了重复数据删除技术及工具的大热，它理论上能以20∶1的比例压缩已有数据，释放存储空间，大大降低企业存储备份的成本。
重复数据删除技术的核心理念就是：在存储数据时检查和比较已存在的数据，如果它们是相同的，那么就过滤掉这部分数据的备份，然后通过指针引用已存在的数据。
重复数据删除技术粗略可以分为在线处理和后处理。在线处理即先接收到所有的数据并写入磁盘，然后再通过重复数据删除处理将这些数据重新读取并处理一次；后处理则是在接收数据的同时就直接删除重复的数据。究竟是选择在线处理还是后处理，则要根据实际情况工作量的大小来确定。
节约空间和带宽
重复数据删除的客户价值是多方面的，但是最显著的优点是解决了一直困扰备份恢复业界多年的“容量膨胀”问题，因为重复数据删除可以在后端大大减少备份数据量。
节省备份设备的磁盘空间并不是子文件重复删除技术的惟一应用。新一代的备份软件，包括Asigra的Televaulting、EMC的Avamar Axio和赛门铁克的NetBackup PureDisk采用基于散列的重复数据删除技术，减少了通过广域网发送备份内容所需的带宽。
举例来说，如果CEO把一个100 MB的PowerPoint演示文档发送到100个分支机构，该文档就会在最先执行备份计划的那个分支机构备份起来。其他所有分支机构只要发送散列到总部，就会被告知“我们已得到该文档，谢谢！”已经应用该技术的用户在报告中写到，他们在不对备份流程做大改动的情况下，的确获得了20∶1的缩减比例。
这些是如何做到的呢？与进行增量备份的任何传统备份软件一样，这些新一代备份软件使用归档位、上一次修改日期和文件系统更改日志等通常方法，来分辨上一次备份后发生变化的文件。首先，当本地服务器接收到新文档(文件)时，它们对文件进行交叉分析，并把文件分成比较小的数据块，为每个数据块算出一一对应的散列；然后，将这些散列与在本地备份的数据块的本地缓存散列进行比较，如果散列没有出现在本地缓存和文件系统元数据中，就会被发送到该企业的中央备份服务器，由该服务器再将数据与散列表进行比较。检查完毕之后，中央备份服务器会向本地服务器发回散列表，上面列的是它以前未发现的散列。然后本地服务器将发送那些“未发现的散列”代表的数据块到中央服务器进行保存。与被备份到多个目标的服务器数据进行“重复删除”的备份方案相比，上述这些备份方案缩减数据的程度更高。