色影无忌

求教：如何加快NAS之间文件拷贝速度？
2106 22
[1 楼] 杯中明月 [泡菜]
22-3-6 16:54
情况是这样，有几台NAS空间不足，买了新硬盘拓展，但是前期规划没做好，所以需要调整存储空间，需要将一些文件拷贝到其他NAS暂存，目前是用Win共享目录的形式拷贝，但是速度很慢，大文件就是110MB小文件20～30MB/秒，5T文件拷贝30几个小时只完成了50%，预计拷贝完要差不多三天，而且重新归置完还要拷贝回来，这样一来一回差不多要5-6天了，关键是我还有一个4K电影目录要移动，将近30T，这不是要拷贝一个月了，想到就头疼，求熟悉NAS的大神指点，有没有更快的拷贝方式？
发布自 色影无忌小程序
[23 楼] 杯中明月 [泡菜]
22-3-13 12:29
ihouse 发表于 2022-03-13 10:47
最好的办法当然是租赁SSD
千兆网络下磁盘之间的写入速度理想情况下可以能达到 100MB/s，远远不及SATA 3硬盘接口的传输速率600M...

之前也了解了一些万兆nas改造，主要是为了视频编辑使用，目前用fcpx是将资源都保存在移动ssd，完成后打包放到nas，nas只起到备份仓库作用，如果能直接读取编辑就简化了步骤，不过看了一下群晖万兆改造，需要换网卡，路由，网线，raid也要改，比较麻烦，一直没狠下心来弄，在纠结要不要趁着这次一起折腾一下
发布自 色影无忌小程序
[22 楼] ihouse [禁言中]
22-3-13 10:47
最好的办法当然是租赁SSD

千兆网络下磁盘之间的写入速度理想情况下可以能达到 100MB/s，远远不及SATA 3硬盘接口的传输速率600MB/s，最快的办法当然是升级到万兆网络（受限于机械硬盘的 150MB/s 的速度瓶颈）+SSD方案。

提升机械硬盘速度的方法主要是加大缓存和提升转速，有钱就上固态硬盘。

买机械硬盘的话尽量绕开叠瓦硬盘，容量大的比小的要快。

本帖最后由 ihouse 于 2022-3-13 11:00 编辑
[21 楼] tianman [泡菜]
22-3-13 09:30
杯中明月 发表于 2022-3-13 06:33
感谢各位回复，目前折腾到一半了，测试了多种拷贝方式，目前发现最好的就是把目标硬盘放到同一个nas，拷贝大文件速度可以在250-450MB/s，30T数据24小时可以考完；其他的比如通过pc中转、nas之间sftp、外挂硬盘拷贝速度都不理想。后面要开始最艰巨的照片盘转移，有大量小文件，估计只能等了

倒盘确实不适合使用pc中转、sftp这些方式。
那相当于搬家，将东西一一打包后运到新家再一一拆包，不慢才怪。。。
[20 楼] tianman [泡菜]
22-3-13 09:23
camson 发表于 2022-3-8 16:03
速度这么慢，用NAS是图什么呢？必要性在哪呢？

263469250 发表于 2022-3-9 11:11
你这nas买的时候有没有通过经销商啊？？？有的话找他们帮忙呗，他们给你弄个高阶多盘位的群晖过来～两组阵列都插在一个nas里面，机内复制这样就够快了～夸nas传输肯定受限于千兆网口的

一般来说，RAID盘阵读取速度确实是很快的
但是，写速度都是比较慢的（RAID0等除外），实际上比单盘写入还要慢。。。尤其是RAID5这样的架构。。。
RAID控制器是通过缓存来解决这个问题的，一旦遇到这样大数据的整体写入没办法了。。。
并不是受限于千兆网口。
[19 楼] 杯中明月 [泡菜]
22-3-13 06:33
感谢各位回复，目前折腾到一半了，测试了多种拷贝方式，目前发现最好的就是把目标硬盘放到同一个nas，拷贝大文件速度可以在250-450MB/s，30T数据24小时可以考完；其他的比如通过pc中转、nas之间sftp、外挂硬盘拷贝速度都不理想。后面要开始最艰巨的照片盘转移，有大量小文件，估计只能等了
发布自 色影无忌小程序
[18 楼] Trompette [泡菜]
22-3-12 12:39
5018L 发表于 2022-3-8 09:42
白群晖的话没什么好办法，等着吧。或者找个usb3.0/esata之类高速硬盘盒和台式机硬盘插上中转一下，比千兆倒腾快不少。
平时不要屯一堆超级高清的资源。。。。普通剧转码成1080p 2mbps 或者720p 1.5mbps足够了，大片留几个4k的，省好多好多地方。。。。。


附议，白裙通过外接USB3.0硬盘盒中转最简单。
[17 楼] 263469250 [泡菜]
22-3-9 11:11
你这nas买的时候有没有通过经销商啊？？？有的话找他们帮忙呗，他们给你弄个高阶多盘位的群晖过来～两组阵列都插在一个nas里面，机内复制这样就够快了～夸nas传输肯定受限于千兆网口的
[16 楼] camson [禁言中]
22-3-8 16:03
速度这么慢，用NAS是图什么呢？必要性在哪呢？
[15 楼] 无计留春住 [泡菜]
22-3-8 13:40
枫树下 发表于 2022-3-8 09:26
组read的话要全拔下来吗，


RAID？ 那当然要全部拔下来，在另外一个机器上还原完整的RAID。不然，操作系统误认为RAID重建，那就完蛋了。
[14 楼] 坐看闲云 [泡菜]
22-3-8 11:58
如果是企业硬盘的话，在磁盘阵列内拷贝速度可能会达到200M，也要看硬盘情况，NAS就这个速度了。
另外可试试磁盘复制机，不过我没试过，安全性不太清楚。
[13 楼] 5018L [泡菜]
22-3-8 09:42
白群晖的话没什么好办法，等着吧。或者找个usb3.0/esata之类高速硬盘盒和台式机硬盘插上中转一下，比千兆倒腾快不少。
平时不要屯一堆超级高清的资源。。。。普通剧转码成1080p 2mbps 或者720p 1.5mbps足够了，大片留几个4k的，省好多好多地方。。。。。
[12 楼] 枫树下 [资深泡菜]
22-3-8 09:26
无计留春住 发表于 2022-3-7 15:21
既然都是群晖，有没有试过把硬盘拔下来装到同一台nas再复制文件？当然，这样做的前提是群晖系统的版本要一样，不然要修复一下。


组read的话要全拔下来吗，
[11 楼] 杯中明月 [泡菜]
22-3-7 18:52
无计留春住 发表于 2022-03-07 15:21
既然都是群晖，有没有试过把硬盘拔下来装到同一台nas再复制文件？当然，这样做的前提是群晖系统的版本要一样，不然要修复一下。

有道理，回去试试看，感谢回复
发布自 色影无忌小程序
[10 楼] 杯中明月 [泡菜]
22-3-7 15:35
luckcat 发表于 2022-03-07 12:18
要快的唯一办法就是升级成万兆网络。
解决小文件拷贝慢的办法，就是先打包成一个大文件，再拷贝，算上打包、解压的时间，整体速度还是会快很多。 ...

谢谢回复，小文件我试试看压缩后拷贝，之前想过压缩，不过觉得解压也要花很长时间就没做，之前没用过仅存储这样的压缩方式，这次试试看
发布自 色影无忌小程序
[9 楼] 无计留春住 [泡菜]
22-3-7 15:21
杯中明月 发表于 2022-3-6 16:55
补充一点：机器都是群晖的


既然都是群晖，有没有试过把硬盘拔下来装到同一台nas再复制文件？当然，这样做的前提是群晖系统的版本要一样，不然要修复一下。 本帖最后由 无计留春住 于 2022-3-7 15:22 编辑
[8 楼] camson [禁言中]
22-3-7 14:24
可行的话，还是用连线的可能的最快速度好吧。
[7 楼] luckcat [资深泡菜]
22-3-7 12:18
要快的唯一办法就是升级成万兆网络。
解决小文件拷贝慢的办法，就是先打包成一个大文件，再拷贝，算上打包、解压的时间，整体速度还是会快很多。
压缩的时候，压缩方式选存储，也就是不压缩，只是打包，这样速度最快。
[6 楼] 杯中明月 [泡菜]
22-3-6 17:56
Tery 发表于 2022-03-06 17:45
你这个数据量也太大了，建议精简，那些电影，可能绝大多数都不会再看第二遍。

确实，这已经是删了很多美剧了，电影是攒了好几年的，当年都是非4k原盘不下，115这类的网盘还不能播放，删掉有点不舍得
发布自 色影无忌小程序
[5 楼] Tery [资深泡菜]
22-3-6 17:45
你这个数据量也太大了，建议精简，那些电影，可能绝大多数都不会再看第二遍。
[4 楼] 杯中明月 [泡菜]
22-3-6 17:17
nokia6600 发表于 2022-03-06 17:07
如果网络之间就是千兆，那拷贝速率也就是100MB/S上下。

只能使用一些拷贝软件，比如fastcopy之类的，能把小文件拷贝的速度提升...

感谢指点，环境是家庭千兆网络，fastcopy我试试看，Linux没使用过，看来目前只能先以这个速度拷贝
发布自 色影无忌小程序
[3 楼] nokia6600 [泡菜]
22-3-6 17:07
如果网络之间就是千兆，那拷贝速率也就是100MB/S上下。

只能使用一些拷贝软件，比如fastcopy之类的，能把小文件拷贝的速度提升一部分。

如果NAS的硬盘阵列，在linux系统上可以识别，那就可以转移到台式机系统上，使用sata接口拷贝，性能可以提升到200MB/S上下。
[2 楼] 杯中明月 [泡菜]
22-3-6 16:55
补充一点：机器都是群晖的
发布自 色影无忌小程序