Windows 10/11 有哪些文件数据去重(deduplication)的方案？

› 升级到 Windows 11

This topic created in 1081 days ago, the information mentioned may be changed or developed.

已知对于 Windows Server ，NTFS 和 ReFS 均支持数据去重(deduplication)。这种去重似乎不是简单地把重复的文件删掉，而是创建两个引用指向同一个数据块，然后其中一个引用的文件发生修改时进行写时复制/CoW 。

但是非 Server 版似乎没有带有这样的功能，想问下非 Server 版有类似的解决方案吗？ NTFS 或 ReFS 的都行。

12 replies • 2024-04-07 17:01:00 +08:00

ho121

Nov 20, 2023 via Android

是说硬连接吗？

AoEiuV020JP

Nov 20, 2023

@ho121 #1 不是吧，硬链接改了一个其他都会改，这里是不会改其他文件的设计，

meattball

Nov 20, 2023 via iPhone

Windows 10/11 里面的存储空间似乎支持数据去重

kenvix

Nov 20, 2023

@ho121 硬链接在修改时不会发生 CoW ，不是去重

kenvix

Nov 20, 2023

@meattball 没有 RAID 的需求，用存储空间似乎实在是不合适，白白损失 CPU 和 SSD 性能

ho121

Nov 20, 2023

https://github.com/microsoft/CopyOnWrite 找到个这个，但说不支持 NTFS ，只支持 ReFS

ikas

Nov 20, 2023

提取 windows server 的相关功能包,然后装到 windows 中
使用 Microsoft-Windows-Dedup-Package-amd64 这个包作为关键词搜搜看吧

HarveyLiu

Nov 20, 2023

微软 ReFS 格式支持，但是不建议现在就迁移到 ReFS ，这个格式的版本有点混乱，目前还没统一，等统一了，就可以用它的，去重特性了，目前还是得用第三方的软件去重。

kenvix

Nov 20, 2023

@HarveyLiu ReFS 我已经在用了（ devdrv ），ReFS 的去重有相关文档嘛，我没找到非 server 的

mscsky

Nov 21, 2023

kenvix

Nov 21, 2023

@mscsky 去重不是硬链接啊，不是硬链接啊，是文件系统层级的。不过这个工具非常适合微信这种到处拉屎的

Azreulo

Apr 7, 2024

现在 Electron 更能到处拉屎，这框架确实好用方便，但太占资源，又太多重复文件。