POPPUR爱换

标题: 相信PCI，相信大家的力量，求教如何实现多个移动存储设备的同时数据拷贝？ [打印本页]

作者: iamfishz 时间: 2011-2-6 03:54
标题: 相信PCI，相信大家的力量，求教如何实现多个移动存储设备的同时数据拷贝？
本帖最后由 iamfishz 于 2011-2-6 04:08 编辑

情况是这样的因为个人工作关系将需要经常和同事及客户共享一些大容量数据比如开会之后要最快时间给很多人输出分享会议视频及照片容量应该在5GB以上吧
如果按照普通的从台机往USB2.0移动硬盘拷出的方式算大概要10分钟拷贝完成一个那么30个人的话就要5个小时太可怕了
由于数据接收方的移动存储设备我无法选择就按照普通的USB2.0硬盘为准
那么我能否改进工作方式比如同时进行4个移动硬盘的拷出前提是不影响单个的拷出速度这样可以将时间压缩到1/4
求简单易行的解决方案,实现这样的技术对电脑硬件有什么特殊要求？
先谢谢各位

PS:同时拷出到4个盘的内容可能存在差异貌似是多线程拷贝

作者: slr 时间: 2011-2-6 04:08
本帖最后由 slr 于 2011-2-6 04:09 编辑

首先主磁盘要求阵列R0，两块或者三块，需要容量大就单碟500G的做，不需要就迅猛龙

USB设备分到不同的扩展卡上面，一般来说，主板上的原生SATA为一组，主板扩展芯片的为一组，另外购买两块PCI或者PCI-E的USB扩展卡。这四组的数据带宽是独立不影响的。

然后就是多开FASTCOPY的事了

作者: iamfishz 时间: 2011-2-6 04:16
感谢楼上大致明白了
因为存储的东西比较多和杂可能需要RAID 0+1 的方式组2T+2T了
这样的方式对CPU和主板会有什么特殊要求么
另外关于FASTCOPY这个软件请教一下他只能进行指定目录拷贝不能指定到某单个文件而我可能要拷贝的文件比较分散有没有一款软件可以指定到多个文件按序快速拷贝的？再次感谢！

作者: ScorpioCat 时间: 2011-2-6 08:57
内网架个电驴或者BT服务器.

作者: 五湖废人 时间: 2011-2-6 09:03
集中在一个盘上，GHOSRV，多播，开搞

作者: zz243 时间: 2011-2-6 14:54
内网架一个http或者ftp服务器吧硬盘系统升级raid0
打包加密开会前就让他们开始下开完会给密码

作者: whateveru 时间: 2011-2-6 15:25
本帖最后由 whateveru 于 2011-2-6 15:27 编辑

5GB很小，可以放在ramdisk里面发布

作者: slr 时间: 2011-2-10 22:33

ScorpioCat 发表于 2011-2-6 08:57
内网架个电驴或者BT服务器.

顶。。。内网bt速度很快的，还可以用magnet链接，内部根本不需要种子

作者: 太虚公 时间: 2011-2-10 22:48
既然是工作之用为什么要用移动硬盘这种落后的手段？

如果有千兆网络就直接放共享如果没有千兆网就内网BT

如果没网络。。。。。。。。。。。那就只能按2楼的办了

作者: iamfishz 时间: 2011-2-10 23:53

太虚公发表于 2011-2-10 22:48
既然是工作之用为什么要用移动硬盘这种落后的手段？

如果有千兆网络就直接放共享如果没有千兆网就内网 ...

可能我没讲太明白我是需要把内容共享给一些临时过来开会的客户或者公司员工所以他们携带的存储设备我是无法决定的而不是共享给一个固定局域网内的联网用户

作者: iamfishz 时间: 2011-2-10 23:55
本帖最后由 iamfishz 于 2011-2-11 00:37 编辑

slr 发表于 2011-2-6 04:08
首先主磁盘要求阵列R0，两块或者三块，需要容量大就单碟500G的做，不需要就迅猛龙

USB设备分到不同的扩展 ...

您指教的这个方案还是比较实际的
另外请教2个问题1. 比如我在PCIE插槽上用一个USB2.0扩展卡有4个口那么同时使用这四个口会产生数据冲突么或者能使每个口输出的速度都很高么？
2.主板上有原生SATA接口6个外接芯片SATA扩展口2个分别用这两组不同的接口组两个RAID 那么内部磁盘理论读取速度是不是就是两组RAID之和？
再次感谢指教！

作者: 太虚公 时间: 2011-2-11 00:12

iamfishz 发表于 2011-2-10 23:55
指教的这个方案还是比较实际的
有一个问题比如我在PCIE插槽上用一个USB2.0扩展卡有4个口那么同时使 ...

主要是USB 2.0的标准是480Mb的也就是60MB 每个控制器的理论极限就是如此了即使是理论极限都不能让3个移动硬盘跑满速

若要所有的移动硬盘跑满速那就需要多个USB控制器然后每个控制器上最多接三个移动硬盘

作者: iamfishz 时间: 2011-2-11 00:15
懂了那么一台台式机按照二楼的做法可以接出来5-6个USB口同时拷贝也到极限了因为硬盘读取速度摆在那里瓶颈也在这里读取100的话分配到每个USB 也就20M/S左右吧我的想法对么？

作者: kenkenkenken 时间: 2011-2-11 00:33
他们都有带笔记本电脑吧？现在笔记本肯定都是千兆网卡，弄个千兆网拷贝就行，别移动硬盘了

作者: iamfishz 时间: 2011-2-11 00:34

kenkenkenken 发表于 2011-2-11 00:33
他们都有带笔记本电脑吧？现在笔记本肯定都是千兆网卡，弄个千兆网拷贝就行，别移动硬盘了[sweatingbullets ...

问题就在于我没法要求所有人都带笔记本啊很多人是不带笔记本的只带U盘能带个移动硬盘也算不错了呵呵

作者: slr 时间: 2011-2-11 00:55
每个控制器只能跑到2个盘，建议只跑一个盘，现在PCI-USB卡并不贵，多个PCI的主板来用就行了。阵列双盘能跑到平均200M，复制4-5个盘没问题，多了也不行

作者: 太虚公 时间: 2011-2-11 01:07

iamfishz 发表于 2011-2-11 00:34
问题就在于我没法要求所有人都带笔记本啊很多人是不带笔记本的只带U盘能带个移动硬盘也算不错了呵呵 ...

U盘的可以多接几个么大部分U盘写速度4M 两天无意中买了个16G的PNY熊猫盘15M写入那个把我乐的……

作者: 太虚公 时间: 2011-2-11 01:10
本帖最后由太虚公于 2011-2-11 01:37 编辑

slr 发表于 2011-2-11 00:55
每个控制器只能跑到2个盘，建议只跑一个盘，现在PCI-USB卡并不贵，多个PCI的主板来用就行了。阵列双盘能跑到 ...

多目标复制的工具原理上应该和多播类似吧不需要源的存储有很高的性能的吧

楼主的源文件其实也不大如果源的性能有压力放在内存盘上就可以了就毫无压力了

找了一下还真没照到可以一对多进行本地复制的工具都是基于网络的研究了一下robocopy 的多线程结果也是一对一的多线程而已

兰州还是用内存盘算了这个性能无瓶颈现在单根4G的条子也就2XX买个两根也没啥

作者: 太虚公 时间: 2011-2-11 01:28
http://www.diytrade.com/china/2/ ... B4%9D%E6%9C%BA.html

兰州看看这个玩意如何啊

作者: iamfishz 时间: 2011-2-11 01:59
本帖最后由 iamfishz 于 2011-2-11 02:00 编辑

LS几位兄弟真是太热心了感动啊
这么晚还给我回帖如此详细
内存盘的问题我也考虑过只是需要拷贝的整体数据面覆盖到大约20G左右而目标客户分散需求这20G内的4-5G左右所以还是个蛮难处理的课题呵呵
我基本了解各位的意思了现在考虑使用外置磁盘阵列盒组RAID5+主机内部RAID0提高整体读盘性能再按照大家的意思多加带USB控制器的USB2.0扩展卡单线输出
不知道这样的多线程拷贝对CPU会有很高的要求么？是否需要四核心？
预计月底入手设备到时候碰到实际使用给大家一个测试结果图哈

作者: iamfishz 时间: 2011-2-11 02:02
本帖最后由 iamfishz 于 2011-2-11 02:03 编辑

关于拷贝软件我在想能否做一个FASTCOPY的外壳程序这样利用FASTCOPY当内核可以简化操作一次选定多个目录然后让程序自己一个一个引用FASTCOPY进行多文件的队列式拷贝

作者: 太虚公 时间: 2011-2-11 12:33

iamfishz 发表于 2011-2-11 02:02
关于拷贝软件我在想能否做一个FASTCOPY的外壳程序这样利用FASTCOPY当内核可以简化操作一次选定多个目录 ...

这个用不着 win7自己带的robocopy就很好自己写一个批处理就行了但是不论做一个app还是写个.bat都有个问题你的盘符是随着插拔设备而变化的除非你一次把所有设备都插上但这明显不可能

所以么操作上你还是面临一定量的人工干预

我个人建议

每次根据目标人的不同，把文件归下类，比如
A类：C:\ABC ; D:\345\BCD ; ……
B类：……

然后写好命令放在记事本里存为bat
这样首先搞A类的再搞B类的效率就高了

作者: Edison 时间: 2011-2-11 12:42
批处理出动：

http://bbs.bathome.net/viewthread.php?tid=2683

原理就是抓出 USB 设备，然后识别所在盘符，接下来你可以赋予变量，剩下来就是 copy。

也可以直接上批处理之家那里求助。

作者: iamfishz 时间: 2011-2-11 12:54
人工是少不了的，呵呵！
感谢两位，太有用了，我好好学习下

作者: grise 时间: 2011-2-11 15:47
提示: 作者被禁止或删除内容自动屏蔽

作者: iamfishz 时间: 2011-2-11 16:17
本帖最后由 iamfishz 于 2011-2-11 16:18 编辑

回复 grise 的帖子

是的就是不知道这样的方案对CPU 内存会不会有更高要求我现在E5200 4G内存的电脑配置顶得住么？

作者: grise 时间: 2011-2-11 16:55
提示: 作者被禁止或删除内容自动屏蔽

作者: aliguagua 时间: 2011-2-11 16:56

太虚公发表于 2011-2-11 01:28
http://www.diytrade.com/china/2/leads/4675392/u%E7%9B%98%E6%8B%B7%E8%B4%9D%E6%9C%BA.html

娘希匹，这个好强大啊

欢迎光临 POPPUR爱换 (https://we.poppur.com/)