高性能数据冗余删除 不断增长的来源多元化，如电信呼叫数据记录，望远镜的图像，网页，股市，医疗记录和其他领域的海量数据处理和分析的需要，引发全球数据密集型计算的研究。这里涉及到一个关键的要求删除数据冗余，因为这提高了并行数据处理的计算效率。这些应用领域有强烈的需要高吞吐量巨大的容量为1 GB/ s以上的速度数据流的重复数据删除。在本文中，我们提出一种新的并行数据冗余去除算法的设计。我们也存在排队的理论分析，以优化我们的多核架构的并行算法的吞吐量。-High Throughput Data Redundancy Removal Algorithm