相信PCI，相信大家的力量，求教如何实现多个移动存储设备的同时数据拷贝？

iamfishz · 发表于 2011-2-6 03:54

本帖最后由 iamfishz 于 2011-2-6 04:08 编辑

情况是这样的因为个人工作关系将需要经常和同事及客户共享一些大容量数据比如开会之后要最快时间给很多人输出分享会议视频及照片容量应该在5GB以上吧
如果按照普通的从台机往USB2.0移动硬盘拷出的方式算大概要10分钟拷贝完成一个那么30个人的话就要5个小时太可怕了
由于数据接收方的移动存储设备我无法选择就按照普通的USB2.0硬盘为准
那么我能否改进工作方式比如同时进行4个移动硬盘的拷出前提是不影响单个的拷出速度这样可以将时间压缩到1/4
求简单易行的解决方案,实现这样的技术对电脑硬件有什么特殊要求？
先谢谢各位

PS:同时拷出到4个盘的内容可能存在差异貌似是多线程拷贝

slr · 发表于 2011-2-6 04:08

本帖最后由 slr 于 2011-2-6 04:09 编辑

首先主磁盘要求阵列R0，两块或者三块，需要容量大就单碟500G的做，不需要就迅猛龙

USB设备分到不同的扩展卡上面，一般来说，主板上的原生SATA为一组，主板扩展芯片的为一组，另外购买两块PCI或者PCI-E的USB扩展卡。这四组的数据带宽是独立不影响的。

然后就是多开FASTCOPY的事了

iamfishz · 发表于 2011-2-6 04:16

感谢楼上大致明白了
因为存储的东西比较多和杂可能需要RAID 0+1 的方式组2T+2T了
这样的方式对CPU和主板会有什么特殊要求么
另外关于FASTCOPY这个软件请教一下他只能进行指定目录拷贝不能指定到某单个文件而我可能要拷贝的文件比较分散有没有一款软件可以指定到多个文件按序快速拷贝的？再次感谢！

ScorpioCat · 发表于 2011-2-6 08:57

内网架个电驴或者BT服务器.

五湖废人 · 发表于 2011-2-6 09:03

集中在一个盘上，GHOSRV，多播，开搞

zz243 · 发表于 2011-2-6 14:54

内网架一个http或者ftp服务器吧硬盘系统升级raid0
打包加密开会前就让他们开始下开完会给密码

whateveru · 发表于 2011-2-6 15:25

本帖最后由 whateveru 于 2011-2-6 15:27 编辑

5GB很小，可以放在ramdisk里面发布

slr · 发表于 2011-2-10 22:33

ScorpioCat 发表于 2011-2-6 08:57
内网架个电驴或者BT服务器.

顶。。。内网bt速度很快的，还可以用magnet链接，内部根本不需要种子

太虚公 · 发表于 2011-2-10 22:48

既然是工作之用为什么要用移动硬盘这种落后的手段？

如果有千兆网络就直接放共享如果没有千兆网就内网BT

如果没网络。。。。。。。。。。。那就只能按2楼的办了

iamfishz · 发表于 2011-2-10 23:53

太虚公发表于 2011-2-10 22:48
既然是工作之用为什么要用移动硬盘这种落后的手段？

如果有千兆网络就直接放共享如果没有千兆网就内网 ...

可能我没讲太明白我是需要把内容共享给一些临时过来开会的客户或者公司员工所以他们携带的存储设备我是无法决定的而不是共享给一个固定局域网内的联网用户

iamfishz · 发表于 2011-2-10 23:55

本帖最后由 iamfishz 于 2011-2-11 00:37 编辑

slr 发表于 2011-2-6 04:08
首先主磁盘要求阵列R0，两块或者三块，需要容量大就单碟500G的做，不需要就迅猛龙

USB设备分到不同的扩展 ...

您指教的这个方案还是比较实际的
另外请教2个问题1. 比如我在PCIE插槽上用一个USB2.0扩展卡有4个口那么同时使用这四个口会产生数据冲突么或者能使每个口输出的速度都很高么？
2.主板上有原生SATA接口6个外接芯片SATA扩展口2个分别用这两组不同的接口组两个RAID 那么内部磁盘理论读取速度是不是就是两组RAID之和？
再次感谢指教！

太虚公 · 发表于 2011-2-11 00:12

iamfishz 发表于 2011-2-10 23:55
指教的这个方案还是比较实际的
有一个问题比如我在PCIE插槽上用一个USB2.0扩展卡有4个口那么同时使 ...

主要是USB 2.0的标准是480Mb的也就是60MB 每个控制器的理论极限就是如此了即使是理论极限都不能让3个移动硬盘跑满速

若要所有的移动硬盘跑满速那就需要多个USB控制器然后每个控制器上最多接三个移动硬盘

iamfishz · 发表于 2011-2-11 00:15

懂了那么一台台式机按照二楼的做法可以接出来5-6个USB口同时拷贝也到极限了因为硬盘读取速度摆在那里瓶颈也在这里读取100的话分配到每个USB 也就20M/S左右吧我的想法对么？

kenkenkenken · 发表于 2011-2-11 00:33

他们都有带笔记本电脑吧？现在笔记本肯定都是千兆网卡，弄个千兆网拷贝就行，别移动硬盘了

iamfishz · 发表于 2011-2-11 00:34

kenkenkenken 发表于 2011-2-11 00:33
他们都有带笔记本电脑吧？现在笔记本肯定都是千兆网卡，弄个千兆网拷贝就行，别移动硬盘了[sweatingbullets ...

问题就在于我没法要求所有人都带笔记本啊很多人是不带笔记本的只带U盘能带个移动硬盘也算不错了呵呵

slr · 发表于 2011-2-11 00:55

每个控制器只能跑到2个盘，建议只跑一个盘，现在PCI-USB卡并不贵，多个PCI的主板来用就行了。阵列双盘能跑到平均200M，复制4-5个盘没问题，多了也不行

太虚公 · 发表于 2011-2-11 01:07

iamfishz 发表于 2011-2-11 00:34
问题就在于我没法要求所有人都带笔记本啊很多人是不带笔记本的只带U盘能带个移动硬盘也算不错了呵呵 ...

U盘的可以多接几个么大部分U盘写速度4M 两天无意中买了个16G的PNY熊猫盘15M写入那个把我乐的……

太虚公 · 发表于 2011-2-11 01:10

本帖最后由太虚公于 2011-2-11 01:37 编辑

slr 发表于 2011-2-11 00:55
每个控制器只能跑到2个盘，建议只跑一个盘，现在PCI-USB卡并不贵，多个PCI的主板来用就行了。阵列双盘能跑到 ...

多目标复制的工具原理上应该和多播类似吧不需要源的存储有很高的性能的吧

楼主的源文件其实也不大如果源的性能有压力放在内存盘上就可以了就毫无压力了

找了一下还真没照到可以一对多进行本地复制的工具都是基于网络的研究了一下robocopy 的多线程结果也是一对一的多线程而已

兰州还是用内存盘算了这个性能无瓶颈现在单根4G的条子也就2XX买个两根也没啥

太虚公 · 发表于 2011-2-11 01:28

http://www.diytrade.com/china/2/ ... B4%9D%E6%9C%BA.html

兰州看看这个玩意如何啊

iamfishz · 发表于 2011-2-11 01:59

本帖最后由 iamfishz 于 2011-2-11 02:00 编辑

LS几位兄弟真是太热心了感动啊
这么晚还给我回帖如此详细
内存盘的问题我也考虑过只是需要拷贝的整体数据面覆盖到大约20G左右而目标客户分散需求这20G内的4-5G左右所以还是个蛮难处理的课题呵呵
我基本了解各位的意思了现在考虑使用外置磁盘阵列盒组RAID5+主机内部RAID0提高整体读盘性能再按照大家的意思多加带USB控制器的USB2.0扩展卡单线输出
不知道这样的多线程拷贝对CPU会有很高的要求么？是否需要四核心？
预计月底入手设备到时候碰到实际使用给大家一个测试结果图哈

帐号		自动登录	找回密码
密码			注册

相信PCI，相信大家的力量，求教如何实现多个移动存储设备的同时数据拷贝？

浏览过的版块