2018年底，百度云盘宣布明年尚未登陆百度云盘用户，在线硬盘容量将降至100G。可见，百度网盘对于一些不活跃用户的存储容量进行了限制，以节省资源。

想节省自己2TB内存大小的用户，今年登陆百度网盘就可以了，想看羊(撕)(解)(限)的可以看我上一篇文章。

啊哈。这个感觉不错。竖起大拇指

今天给大家科普一下，原来百度网盘是如何给用户提供2TB容量的网盘内存的!

0

但实际上如果你这样做，你会发现普通用户根本不会上传1g的东西，那多少是满的，但普通用户只上传50g的文件，所以如果你把1000g的硬盘分配给1000个人，你只使用了50g 1000g，剩下的950G空间几乎完全浪费了。

随机切割

那么解决方案是什么呢？您可以通过将这1000G空间分配给20000个用户来进行更改。每个人的上传上限仍然是1G，但平时平均每个人仍然上传50M的数据，所以20000*50M=1000G，这样可以充分利用服务器上宝贵的存储空间。但是你害怕如果你把它分发给2万人，在某个时候人们会突然上传更多的数据，用户会意识到你给他们的十亿字节是假的。所以你不能分配那么多的人，只有19000人，为紧急情况留下一些空间。

突然之间，可用用户数量增加了19倍。这是件大事。

好吧，加入一个梗

有没有更有效地使用它的方法？

如果我有1000多台服务器，一台服务器有1000G的空间，那么我们必须在每台服务器上留出50G的空白空间，以防用户突然上传大数据，导致数据拥塞，那么我的1000台服务器就空了1000 *50G=5000g的空间就浪费了，太可惜了。

因此，程序员发明了一种叫做集群的技术，这种技术允许用户的数据分布在多个服务器上，但在用户的情况下，只有1gb的连续空间可用，因此不需要在每个服务器上预留紧急空间，甚至不需要将前一个服务器塞到下一个服务器上。

这幅图应该可以理解，我看不懂英文。

这样可以确保最大限度地利用服务器空间。如果管理员在某个时候发现用户正在疯狂地上传数据(这在大型用户群中很少见)，而我的空间快用完了，没关系，我只需要随机添加一些硬盘驱动器或服务器。

好了，现在我们的服务器空间利用率高了很多，可以分配一定的空间给最大数量的用户使用。但是有没有更好的方法来改善它呢？有一天，管理员发现，虽然每个用户平均只存储了50M的东西，但这50M并不是一朝一夕就能达到的，而是用了1-2年的时间逐渐达到这个数量。也就是说，当一个新用户刚注册我的网络空间时，他不会上传任何东西，或者只上传很小的东西。

图片不够，表情要凑~

所以我最初为每个用户分配了50米的空间，即使他们会在未来2年内填满这50米，但很多空间都被浪费了。

但是由于我们可以分布式、集群存储，一个用户的数据可以分布在多台服务器上，所以我们一开始假设给一个新注册的用户提供0M的空间，他将来会用多少，我就给他提供多少存储空间，这样就完全保证了硬盘的使用。

但是用户的前端仍然要显示1G。工程师的想法使我能够提供一个1000G的服务器供大约1000000人注册和使用网盘的开始。随着越来越多的人注册，我也有了钱，可以添加更多的服务器来提供他们以后的存储空间。

0

但是网盘是不同的。一些工程师发现，大多数内容和附件都是自己创建的，与电子邮件不同。

但是许多上传到网盘上的内容都是重复的。例如：今天张三从网盘下载了一个《百草街》上传到自己的网盘上。李斯也下载了一个相同的《百草街》，并在三天后上传到网络硬盘。随着用户的增加，您将发现总共有1000人将1000份相同的文件上传到您的服务器空间。所以工程师想出了一个办法，既然是同一份文件，我只能保存一份？然后在用户的前端显示没有人有副本。

当一些用户想要删除文件时，我并没有真正删除它，只是前端看起来被删除了，但后端仍然保留，供其他有文件下载的用户使用。我不会删除这个文件，直到所有用户都删除了它。随着存储的数据越来越多，注册的用户也越来越多，上传的重复数据也越来越多。您会发现这种对重复文件存储的检测变得越来越高效。这样算下来，在不复制文件的情况下，每个用户平均为1mb。现在，您可以提供50倍的用户来使用有限的空间。

但是随着使用，你会发现一个规律：张三上传的7555-79000和李斯上传的7555-79000是同一个文件，只是文件名不一样。我不能识别出它们是同一个文件，然后只保存到不同的用户到不同的文件名吗？

它确实可以，但它利用了识别文件相似性的算法，比如MD5值。只要两个文件具有相同的MD5值和相同的文件大小，我就认为它们是同一个文件。我只需要保存一个文件，并给不同的用户不同的名称。有一天，你发现因为每个文件都需要计算MD5值，CPU负载很重，而且原来的文件必须浪费带宽上传回来检查一致性，你能改进吗？

开发人员可以编写一个称为“上传控件”的小软件或插件，将计算MD5的工作交给用户的计算机。一旦用户要上传的数据与服务器上已经存储的数据相同，他们就根本不需要上传数据。直接向用户标记该文件已上传为XX。

这个过程几乎是瞬间发生的，并给了它一个花哨的名字“秒传”!完成所有这些步骤后，您可以发现您可以为1000个用户提供网络空间。在所有这些改进之后，您可以为1000000个用户提供与客户端显示的1G相同的网络空间。

因此，如果您心情好，请将消息传播出去：我将把每个用户的最大存储空间增加到1tb。由于平均用户仍然上传50g的数据，只有少数用户上传超过1g的原始数据，您会发现成本可以忽略不计。硬开发人员仍在研究如何更有效地利用服务器提供的磁盘空间。