POPPUR爱换

标题: 使用虚拟机ESXI，显卡直通VM，使一台实体机虚拟成HTPC、WEB服务器、NAS服务器等经验 [打印本页]
作者: siyou    时间: 2013-6-3 20:35
标题: 使用虚拟机ESXI，显卡直通VM，使一台实体机虚拟成HTPC、WEB服务器、NAS服务器等经验
本帖最后由 siyou 于 2013-7-2 22:22 编辑

什么是ESXI？其实是VMWARE的企业版，ESXI自己就是一套操作系统，不用装WINDOW，也不用装LINUX，效率能达到实体机的95%以上。可以把一台虚拟成几台PC，各自发挥自己的用途。

利用ESXI，把其中一台实体机虚拟成HTPC，其余的虚拟机干WEB服务器，NAS服务器？不是梦想
这东东在国外很流行的，非常可悲，在中国几乎找不到详细的资料以及经验，更不好运的是，直通（就是把显卡或其它设备直接给VM使用，不给主PC使用）可能会遇到的问题，全部被我碰到个遍了，差点就是放弃的了，于是我把历经2周波折所累积下来的经验，和大家分享一下，使大家别走弯路。

来个前奏，由于有很多资料要备份，于是想组建一台NAS，找了很了群晖等的NAS，2盘位好一点的也要卖3、4K，更有甚者，某某司的品牌，压根就是ATOM主板加个机箱，卖3、4K，觉得买这些东西，非常...那个了（买了的朋友，别打我），软阵列对数据的保护就不说，功能还少得很，群晖好点，但支持也有限。记得某个论坛的人说，买群晖好，买NAS就是为了折腾，但我想，要折腾，还不如自己组个机器，自己折腾？于是，我走了折腾的不归路。

首先，我这台机器要有几个点：
1、要有HTPC功能
2、要有NAS功能
3、要有WEB服务器功能（WIN2008）
4、要能给家里人用
5、硬阵列，有缓存，有电池，不怕断电

本来不装WIN2008的话，装一个LINUX就能基本上解决了，不过，HTPC其实很多时候使用，还是WIN7方便，家里人用惯了嘛，特别是看YOUKU。

本来看中了一个万由的机箱，由于他是用ITX板的，只有一条PCI-E槽，能装阵列卡，就不能装显卡，于是废掉了，于是淘了一个AOPEN G326HT的库存机箱（25x24x28），改造成12硬盘，水冷+半导体制冷（有芯片控温至40度，防结霜），有漏水警报器。

至于主板，由于至少要双显卡（一个显卡显示ESXI控制台，一个HTPC用），又要有MINI PCI槽插固态MSATA硬盘，因此，我选了INTEL的DQ77MK主板，MICRO ATX主板：一条PCI-E插9261阵列卡（16X），一条插HD5450显卡（4X），一条插PCI普通显卡，一条插USB 3.0扩展卡（或插无线等其它东东也行）。该板中国没卖，是我从香港邮购回来的。Q77芯片组，原生支持VT-D，而且做工非常不错，功能很强。
废话少说，入正题

------------------------------

显卡直通怎么搞，很多地方有说了，这里给个传送门，自己看看：http://cxpbt.blog.51cto.com/960019/463787
我这里重点说说显卡直通存在的问题，我估计也卡死了很多很多有意向做这事种的人。

一、名词解释
穿透有很多名词，例举如下：
VMDP：VmDirectPath（直通，ESXI专用名词，下文全用VMDP代表）
PT：PassThrough或Pass-Through（直通）
VT-D：Virtualization Technology for Directed I/O（直通）
中文方面：穿透=直通=直接访问，VMWARE官方用的是直通这个词

二、VMDP的前题条件
VMDP首先要是CPU支持VT-D，可以去查INTEL网站（一般I5以上，不带K的都支持，I3就别想啰），然后是主板支持VT-D，支持VT-D的主板一般有三个品牌，INTEL、华擎、技嘉
INTEL自己说的是只有Q77芯片组才真正支持VMDP，但其实很多H77、Z77都支持，包括INTEL自己的主板，几乎全系列支持VT-D，兼容性嘛，看上去好像没啥分别。

三、VMDP安装及配置建议
显卡：建议用ATI（应该是AMD，不大习惯，呵呵）的卡，NVIDIA可以VMDP的几率很低（已知GTX460可以），想VMDP的，还是用ATI的卡吧，ATI的卡我试过四只，全部直通成功（X700能直通不能显示，HD5450，HD6450，HD6570），其中HD6570的HDMI音频无法直通成功。
系统：建议用ESXI 5.0 U2，4.1太旧，5.1不支持USB直通，不好搞，因为HTPC的VM还得把鼠标键盘穿进去才好用
驱动安装顺序：先装VMTOOLS，再装显卡驱动（蓝屏后有说）

四、误区及经验（这里是重点了，请细看）
1、板载显卡与声卡问题：这里是重点，有的板集成显卡及声卡全部打开，对VMDP无影响，有的需要关闭集成声卡，有的需要关闭集成显卡，有的两个都需要关闭，请不要忽视这个问题，我就是因为没有关闭集成声卡导致VMDP问题卡顿了一周，所以建议大家尝试的时候，把集成声卡有显卡都CLOSE吧，反正带HDMI的显卡，一般都有声卡功能。
2、无法识别的设备是否能VMDP：能，例如无法识别的USB设备，写着unknow device（好像是这样），VMDP进去之后，一样能用
3、HD4000的集成显卡ESXI无法识别问题：第2点已经说了，不能识别的设备，也能直通，只是。。。只要是集显，无论什么显卡都无法VMDP（HD2000、3000、2500、4000我都试过，全部失败），估计由于不是用PCI总线的原因，显示到启动20%的时候，基本上完蛋。
4、2G内存限制：VMDP显卡后的VM，只能用2G内存，不然会启动不了（进WINDOW蓝屏，提示啥我没仔细记下来），虽然说是2G，其实设到1.5G就最多了，可用的内存非常少。要解除这个限制，需要把虚拟机所在目录的VMX结尾配置文件，下载回来，编辑，最后加上以下两句： "pciHole.start = 1200" 和"pciHole.end = 2200"。 "pciHole.end = 2200"用于1G显存显卡， 如果是512M显存，要写成 "pciHole.end = 1700"
5、设备管理器显示有直通后的显卡，也正常运转，但无法在WIN7的分辨率设置中找到第二显示器：⑴遇到这种情况，请尝试新建虚拟机，装系统前先把设备直通完再装  ⑵请确认你的催化剂驱动包的驱动包含正确的驱动，例如11.9版驱动，就无法驱动ATI 5450，这个你可以在启安装程序后，用自定义的方式装驱动，如果列表里没有显示显卡和声卡的驱动让你行，证明这驱动包不行。  ⑶确保你的驱动支持WDDM，如ATI X700的驱动就不支持WIN7的WDDM 1.1
6、装显卡驱动蓝屏，显示atikmpag.sys错误，请确保以下几点：⑴集成显卡及声卡均要屏蔽，不屏蔽可能永远蓝屏装上不  ⑵按以下顺序安装驱动，首先安装VMTOOLS； 其次进入安全模式停用VMDP的显卡，然后重新启动；重启完成后，利用设备管理器更新驱动的方式更新驱动，让机器自动重启，之后就能用了  ⑶切记，集成显卡及声卡均屏蔽，不屏蔽的话，可能永远蓝屏，装上不，屏蔽的话，只要蓝屏一次就装上了（或者按第2点做，一次都不会蓝屏）（4）pciHole的设定已经做好
7、驱动版本问题：最稳定的驱动是13.4 WHQL，千万别下错移动版的了
8、启动虚拟机的时候，显示器黑屏：我一开始也在这里纠结了非常久，为啥开机了，显示器不亮了，后来我才知道，由于主次显卡问题，VM的主显卡是虚拟显卡，没装好系统的时候，第二显卡无法驱动，当然就显示器不亮了，因此不需要害怕，把显卡驱动装好后，进WIN或LINUX，显示器的屏就直接亮了。
9、ESXI启动时卡死在“cnic_register loaded successfully”：其实ESXI没死的，因为设置了显卡直通，ESXI到了这里已经把显卡的控制权释放出去了，所以屏幕卡死了，但ESXI其实是正常运作的。
10、支持显卡及主板列表，大这可以看看这两个网站，英文的：https://docs.google.com/spreadsheet/ccc?key=0Aqp_xYBwP_Y7dE5EclhtaDdIV09lNWxfODd1alRUTlE#gid=0 和  http://communities.vmware.com/thread/297072?start=0&tstart=0
（2013.6.15更新）
11、关于2GB内存限制问题，在超过1.5GB内存分配的时候，有朋友在启动的时候会提示“Module memsched power on failed”，就算是配置了pciHole.start及pciHole.end也无法启动虚拟机，这是由于在直通后，没有分配有足够的配额所致的（即所有虚拟机总分配内存，大于实体机总内存），可以到：Vclient-->选择主机-->资源分配-->内存预留，调至你需要的大小，即可启动。
12、关于鼠标卡顿问题，请直通USB口到VM，用实体鼠标操作，另外，内存最好调至4G，这样鼠标卡顿应该会消失了
13、关于硬件加速问题（YOUKU或其它播放软件绿屏）：与显卡有关，HD5450的显卡基本上都是绿屏的，换HD6450就没事了，我就是这样
14、YOUKU使用软加速（无硬件加速可用时）：在视频中右键-->设置-->第一项中的硬件加速去掉，刷新就不绿屏了
15、关于多显示器问题：笔者建议把电视机设为唯一屏幕，把vclient连的那个监控屏幕取消，会加速系统运行。方法是WIN7桌面-->右键-->屏幕分辨率-->找到“只在屏幕N显示“显示的项，选择即OK
16、硬盘慢，整台机卡顿严重问题：请回忆一下，是不是装好虚拟机之后，移动过SATA插座位置，如果是的话，可以把整个硬盘格式化成NTFS，再变成VMFS，重装虚拟机，一切问题都可以解决

（2013.7.2更新）
17、若大家使用POWERDVD、TMT播放器时，显示“Sorry,this application cannot run under a Virtual Machine”。那么，请按两步走：（1）请下载虚拟主机目录下的.VMX文件，在末尾加一行：monitor_control.restrict_backdoor = "TRUE"   （2）打开注册表中的HKEY_LOCAL_MACHINE/SYSTEM/CurrentControlSet/Control/Class/{4D36E968-E325-11CE-BFC1-08002BE10318}/0000
　　
将 DriverDesc 项的内容清空(千万不要删除此项)。设置完后应该就可以了。

请大家注意，vCenter算号的时候，要选择standard版本的算号，这个才是最高版本，大家别选错了
esxi的算号可以用enterprise unlimited cpu的那个







作者: Chris    时间: 2013-6-3 22:12
非常好的经验  感谢

我之前也研究了一下，最后感觉还是问题比较多，用起来的时间不如折腾的时间，就放弃了。 本是打算一台电脑组成家庭终端，1虚拟软路由2虚拟存储服务器3虚拟为日常使用的电脑
作者: guanyc    时间: 2013-6-4 21:26
ESXI虚机好用吗？

个人觉得。。HTPC放到虚机不是很好。。

自己目前的想法是，将储存部分独立出来，主要是为了避免不稳定，其次也可以共享给多个机器
不过未来研究是Hyper-V。。。基本只要不跑Linux的话。。估计没有什么问题
作者: 乐极生悲    时间: 2013-6-4 22:28
提示: 作者被禁止或删除 内容自动屏蔽
作者: siyou    时间: 2013-6-4 22:35
本帖最后由 siyou 于 2013-6-4 22:37 编辑
guanyc 发表于 2013-6-4 21:26
ESXI虚机好用吗？

个人觉得。。HTPC放到虚机不是很好。。

ESXI很稳定的说，就算是虚拟主机商卖的虚拟服务器，ESXI的也比VPS（HYPER-V）的贵很多。HTPC其实很多时候资源很空闲的，所以我就想利用起来。
另外，利用ESXI虚拟出来的NAS（存储服务器），和真实的没分别的，另外，看HTPC的时候，由于是自己调自己的硬盘，节省了网络宽带。
如果插两块显卡，甚至可以变成两台HTPC，接两个电视，两套功放，牛B哄哄了。
作者: guanyc    时间: 2013-6-5 20:38
siyou 发表于 2013-6-4 22:35
ESXI很稳定的说，就算是虚拟主机商卖的虚拟服务器，ESXI的也比VPS（HYPER-V）的贵很多。HTPC其实很多时候 ...

ESXI 可以直接映射 PCI-E的硬件资源吗？

如果是真的，那够厉害的了
作者: tobacco    时间: 2013-6-7 04:26
我想问无论想虚拟几台htpc或者路由啥的，布线怎么办？除了网线还有视频音频线，鼠标键盘，怎么接入其他房间的？
作者: siyou    时间: 2013-6-7 10:19
tobacco 发表于 2013-6-7 04:26
我想问无论想虚拟几台htpc或者路由啥的，布线怎么办？除了网线还有视频音频线，鼠标键盘，怎么接入其他房间 ...

那你得埋几条HDMI线进墙了
键鼠可以用无线的
不过在房间用得着用厅里的虚拟机吗？还不如装上APPLE TV，捣个AIR PLAY
作者: 太虚公    时间: 2013-6-7 12:17
guanyc 发表于 2013-6-5 20:38
ESXI 可以直接映射 PCI-E的硬件资源吗？

如果是真的，那够厉害的了

需要硬件支持
作者: guanyc    时间: 2013-6-7 20:55
太虚公 发表于 2013-6-7 12:17
需要硬件支持

哦， 需要 那个硬件虚拟化吗？

不知道AMD的是否支持。。

Hyper-V 3.0 好像还支持到 虚拟显卡。。USB方面使用过RDS 来重定向的。。。


但 ESXI  好像没有免费的吧。。。


作者: minaduki    时间: 2013-6-7 21:42
Hypervisor版免费，功能也挺齐全的，家用够了
作者: 太虚公    时间: 2013-6-8 00:24
guanyc 发表于 2013-6-7 20:55
哦， 需要 那个硬件虚拟化吗？

不知道AMD的是否支持。。

需要IO虚拟化的支持  cpu和主板都要支持  INTEL是TV-D  amd也有 具体叫啥忘记了
作者: siyou    时间: 2013-6-8 09:16
hyper-v我觉得是太弱智，并且WINDOW底层不稳定，所以没选持
作者: 太虚公    时间: 2013-6-8 11:11
siyou 发表于 2013-6-8 09:16
hyper-v我觉得是太弱智，并且WINDOW底层不稳定，所以没选持

底层不稳定是从何说起……我从1.0的beta版开始一直就在生产环境里用  这玩意儿不好用仅仅是配套工具不行
作者: guanyc    时间: 2013-6-8 22:55
太虚公 发表于 2013-6-8 00:24
需要IO虚拟化的支持  cpu和主板都要支持  INTEL是TV-D  amd也有 具体叫啥忘记了

AMD IOMMU 这个吗。。

没记错。。好像只有  FX900 系列以后的主板才支持。。。。

Hyper-V 我认为，只要不去跑 Linux，  基本没有什么问题。。

作者: kenkenkenken    时间: 2013-6-9 08:36
guanyc 发表于 2013-6-8 22:55
AMD IOMMU 这个吗。。

没记错。。好像只有  FX900 系列以后的主板才支持。。。。

跑Linux也没什么问题，我一直在Hyper-V里跑Linux

RHEL、CentOS装微软的Linux IC即可，5.x装Linux IC 2.1，6.x的话装3.2或3.4

不装Linux IC认不到网卡，只能用百兆老网卡

如果是Ubuntu，更简单，从12.04起都内置Linux IC

不过就是如果在Hyper-V里跑Linux，网卡的MAC地址最好都设成固定的（Hyper-V默认是动态的）
作者: siyou    时间: 2013-6-9 09:11
太虚公 发表于 2013-6-8 11:11
底层不稳定是从何说起……我从1.0的beta版开始一直就在生产环境里用  这玩意儿不好用仅仅是配套工具不行

基于WINDOW底层的，再好都有限了，效率再高都有限了。
而且HYPER-V的直通很弱智，直通多几样东西，复杂一点就不行了，最起码直通道两张显卡我就找不到地方设了，管理功能就像你说所的，所以我没选HYPER-V。
作者: siyou    时间: 2013-6-9 09:13
kenkenkenken 发表于 2013-6-9 08:36
跑Linux也没什么问题，我一直在Hyper-V里跑Linux

RHEL、CentOS装微软的Linux IC即可，5.x装Linux IC 2 ...

其实不是行不行的问题，而是效率的问题
作者: 乐极生悲    时间: 2013-6-9 15:40
提示: 作者被禁止或删除 内容自动屏蔽
作者: 乐极生悲    时间: 2013-6-9 15:41
提示: 作者被禁止或删除 内容自动屏蔽
作者: guanyc    时间: 2013-6-9 21:54
siyou 发表于 2013-6-9 09:11
基于WINDOW底层的，再好都有限了，效率再高都有限了。
而且HYPER-V的直通很弱智，直通多几样东西，复杂一 ...

Hyper-V 里没有直通

只在 2008 R2 Sp1 之后多了一个 RemoteFX 虚拟显卡
但要完全使用，需要配合 RDS服务才可以。。

作者: guanyc    时间: 2013-6-9 22:53
乐极生悲 发表于 2013-6-9 15:40
890FX开始就支持IOMMU了，不过CPU要推土机才行。

推土机。。。

FX系列，以及 APU 系列 吗。。

恩。。我现在都在想在服务器主板上用普通内存了。。
至少容量不用担心了。。不过内存价钱。。。唉。。现在没便宜下来啊

作者: 太虚公    时间: 2013-6-9 23:55
本帖最后由 太虚公 于 2013-6-9 23:56 编辑
siyou 发表于 2013-6-9 09:11
基于WINDOW底层的，再好都有限了，效率再高都有限了。
而且HYPER-V的直通很弱智，直通多几样东西，复杂一 ...

很遗憾你所谓的底层对hyper-V来说只是一个虚机
目前hyper-V的cpu和内存效率依然是最高的。虽然领先极其有限，大多数时候时候我们对这种领先忽略不计，但是依然是99永远不会小于98。
另外如楼上所说hyper-V根本不支持IO虚拟化，解决显卡的的办法是remoteFX。
基于以上两点，我只能很遗憾的认为你根本没有了解过hyper-V。
作者: siyou    时间: 2013-6-11 18:28
本帖最后由 siyou 于 2013-6-11 18:30 编辑
太虚公 发表于 2013-6-9 23:55
很遗憾你所谓的底层对hyper-V来说只是一个虚机
目前hyper-V的cpu和内存效率依然是最高的。虽然领先极其有 ...

是你没有更高级的使用需求
在外国很多人把双核的显卡把两个核分给两个VM跑图形用
而且直通还有USB设备的需求，阵列卡直通的需求，网卡口的直通
而且还可以严格设定资源使用率，HYPER-V我就是装上过系统，然后对比过才毅然放弃的，还要是HYPER-V 2012的版。
就看G级的安装包，就知道HYPER-V其实压根没有和WIN2012分离，只是把一些没啥用的东东去掉
如果说HYPER-V能用，那只能说够用，免费，谨此而已。
不是我看低WINDOW底层，而是WINDOW底层，民用，还好，企业应用，真的不咋的。国内虚拟主机商HYPER-V，只是因为HYPER-V免费而已。当然了，这掺合了我对WINDOW底层的偏见，指大型和微型应用（指嵌入式）用LINUX或汇编或单片机，没人用WINODW，就真得得问问，为何？
作者: 太虚公    时间: 2013-6-12 15:03
siyou 发表于 2013-6-11 18:28
是你没有更高级的使用需求
在外国很多人把双核的显卡把两个核分给两个VM跑图形用
而且直通还有USB设备的 ...

我用IO虚拟化赚的钱比你在这里打的字是肯定要多了

我本人对此的确没什么需求   我的客户几乎全部依赖这个   就托管在我办公室里的几个系统每周产生的流水帐也都几百万了  你没必要跟我来讲企业级  

我没说hyper-V比esxi好用  但是不好用不等于一无是处 比如效率

另外国内浦发银行用的就是全套hyper-V
作者: siyou    时间: 2013-6-13 09:29
太虚公 发表于 2013-6-12 15:03
我用IO虚拟化赚的钱比你在这里打的字是肯定要多了

我本人对此的确没什么需求   我的客户几乎全部依赖这 ...

既然你承认了HYPER-V不是无所不能，和ESXI还是有区别的
那我也承认HYPER-V还是有一定的客户，还是有他自己长处的，例如效率性价比
这样你满意了？
作者: wuke9999    时间: 2013-6-13 10:05
用了4年多ESXI了，非常爽，现在家里的NAS WEB vod以及调试 研究都在这上面了，
我的ESXI配置
主机：HP DC7900 SFF迷你主机
主板：Q45
CPU：X3210 硬改2.66G
内存：红色威龙DDR2-800*4
硬盘：ESXI装在8G U盘，硬盘三块，一块SSD,一块ST 企业1TB，一块ST 2TB
网卡：板载一千兆，自己单独加了个BCM 5721，
ESXI版本：5.0，之前玩5.1后来换回去了

常年开机，，从未故障过
作者: wuyilala    时间: 2013-6-13 11:00
wuke9999 发表于 2013-6-13 10:05
用了4年多ESXI了，非常爽，现在家里的NAS WEB vod以及调试 研究都在这上面了，
我的ESXI配置
主机：HP DC ...

楼上是把我带进esxi的人~
作者: minaduki    时间: 2013-6-13 11:02
专门跑windows就选hyper-v，专门跑Linux就选xenserver，杂食就选esxi
尤其是freebsd和solaris，个人经验目前只有esxi能稳定运行。
但对于企业成本来说，vmware>>>>>>>>>>>>>>xenserver>hyper-v
vmware的授权方式太坑爹了。
作者: minaduki    时间: 2013-6-13 11:08
至于双核显卡直通给两台VM用，目前是做不到的。
GPU虚拟化方案虽然出台好久，但只有NVIDIA的GRID、VGX系列和AMD的RADEON SKY系列支持这一特性，实际应用目前只有微软的remoteFX叫做初步支持（仅支持WINDOWS和D3D），citrix和vmware也仅提到在下一版本的虚拟桌面产品中会加入。
作者: 太虚公    时间: 2013-6-13 15:46
minaduki 发表于 2013-6-13 11:08
至于双核显卡直通给两台VM用，目前是做不到的。
GPU虚拟化方案虽然出台好久，但只有NVIDIA的GRID、VGX系列 ...

还是兄台看得仔细

我都没看到那个二货说的是把双芯显卡给两个不同的VM用

看来果真只是个放嘴炮的货

VT-D这类的IO虚拟化技术直通的都是通道而不是设备，在一个通道上的多个设备只能进一个VM，比如PCI的设备，所有PCI的设备只能直通给一个VM
作者: wuke9999    时间: 2013-6-13 15:52
minaduki 发表于 2013-6-13 11:02
专门跑windows就选hyper-v，专门跑Linux就选xenserver，杂食就选esxi
尤其是freebsd和solaris，个人经验目 ...

坑爹么？？不觉得啊  keygen.exe
作者: siyou    时间: 2013-6-15 00:41
本帖最后由 siyou 于 2013-6-15 02:08 编辑
太虚公 发表于 2013-6-13 15:46
还是兄台看得仔细

我都没看到那个二货说的是把双芯显卡给两个不同的VM用

什么耍嘴皮，双核心显卡直通VM，需要把vmKenel.Boot.disableASCCheck（跳过ASC）功能选定，最多可以直通三核，这是在VMWARE官网论坛的原文，我没试过，不过经楼上兄弟的提醒，直通是要通过PCI总线，我现在倒真的怀疑写这个帖子的人是什么回事了。
我这个人，是什么，就是什么，从不认自己是牛B，但你要批别人的时候，请留留嘴德，我一直以来都是对事，事情争噪没所谓，你现在对人了，究竟是什么回事，自己清楚
说回企业成本问题，天朝中用正版的，谁信啊，谁用ESXI的，用正版的，跳出来，对比一下用盗版的，看比例是多少。什么成本的，在天朝天是白谈。
你可以支持HYPER-V，没人理你，但不要说些粗俗的话，事情上面的争论，我永远欢迎，我不会下不了台，对于错误的事情，绝不支持，很显然，三核直通的那个说法，是说不通了，如果我有多核显卡，我一定会去试。
另外，我这帖子，不是分析企业用途的，是分析家用机的，你硬是要跳出来说HYPER-V能比得上VMWARE，你这是干嘛呢，HomeLab用HYPER-V比VMWARE好？你用HYPER-V赚几百万一周，咋又不分享HYPER-V的经验一下呢？
究竟是我这帖子能帮到其它网友物尽其用，还是你赚几百万一周帮到网友物尽其用？能力再强，为何不去帮帮别人？
懒得理你，和你在这里噪，还不如多帮几个人，我帮人，不为自己的权威而活的，我也不是搞硬件的，只是兴致来了，碰了一脸灰，不想其它人再碰罢了。




作者: pgsheng1225    时间: 2013-6-18 17:57
折腾过,限制太多后来放弃了.如果不跑linux的话还是win8pro做htpc顺便带hyper-v吧
作者: flankerdlj    时间: 2013-6-20 22:01
提示: 作者被禁止或删除 内容自动屏蔽
作者: tedaz    时间: 2013-7-2 22:23
之前曾经用HP DL180玩过一段时间ESXI，当时遇到的主要问题是每个虚拟磁盘都有2TB限制。所以那时候建了很多个虚拟的2TB硬盘挂到操作系统中，然后用操作系统软RAID来扩展容量。

请问有什么办法直接建立超过2TB容量的虚拟硬盘吗？（不想把整个阵列直通给某个虚拟机。）

PS：之前的DL180共14个硬盘：3TB*12的RAID0，总容量36TB；1TB SAS*2用来安装EXSI主机，然后将36TB作为VMFS，上面建立4个虚拟机，希望每个虚拟机都能够直接用上6TB作为D盘，可是……可是……可是创建虚拟磁盘时提示最大2TB！
作者: siyou    时间: 2013-7-3 09:23
tedaz 发表于 2013-7-2 22:23
之前曾经用HP DL180玩过一段时间ESXI，当时遇到的主要问题是每个虚拟磁盘都有2TB限制。所以那时候建了很多个 ...

5.0以上的esxi就OK了
作者: tedaz    时间: 2013-7-3 22:03
siyou 发表于 2013-7-3 09:23
5.0以上的esxi就OK了

我用的是5.1。但是依然提示最大2TB虚拟磁盘。

VMFS确实可以很大，但是每个虚拟磁盘不能超过2TB。
作者: wings3    时间: 2013-7-5 16:05
本帖最后由 wings3 于 2013-7-5 16:07 编辑

其实 HTPC 完全可以买个 安卓盒子来替代，方便太多太多...

最便宜的299 不用折腾...

NAS 还是必要做的，不管用EXSI 或者 HYPER-V  个人觉得 群辉的不错....


作者: guanyc    时间: 2013-7-12 20:52
不知不觉居然 讨论这么多了
没@ 我，都没发现。。。


话说， 楼上 有运营的？？ 可以 参观一下不， 现在我处在一个很痛苦的状态。。
作者: ghw    时间: 2013-7-13 21:16
我自己用hyper-V， 放在远程。目的是 虚拟机装系统比较方便。

我的问题是，在hyper-V 2012中如何管理硬盘， 比如卸载几个物理硬盘给虚拟机用。 用远程管理总是连不上磁盘服务。

谁有经验么？
作者: guanyc    时间: 2013-7-14 21:01
ghw 发表于 2013-7-13 21:16
我自己用hyper-V， 放在远程。目的是 虚拟机装系统比较方便。

我的问题是，在hyper-V 2012中如何管理硬盘 ...

如果是说 HOST的话，

简单的， 建议使用远程桌面，进去。。

至于其他的管理， 需要 打开一个管理接口 （记得叫 WinRM  来的，没记错的话）


对于磁盘方面，
在新版里，可以直接添加物理硬盘， 但需要先将硬盘脱机。


作者: ghw    时间: 2013-7-15 13:55
guanyc 发表于 2013-7-14 21:01
如果是说 HOST的话，

简单的， 建议使用远程桌面，进去。。

我用了远程桌面，但是不知道怎么在powershell下去管理硬盘。
作者: guanyc    时间: 2013-7-15 21:44
ghw 发表于 2013-7-15 13:55
我用了远程桌面，但是不知道怎么在powershell下去管理硬盘。

这个我也不知道。。。去官方看看有没有教程。。
作者: ghw    时间: 2013-7-15 21:47
找到了 diskpart。 将server 2012卸载了装hyper-v 2012
作者: nikker    时间: 2013-7-16 21:41
楼主，我最终没弄起来直通，还是分了两台机器，一台做HTPC接电视，另一台装ESXi，内置多个虚拟客户机。
现在有几个问题想请教。

1. 我启动ESXi，但是虚拟客户机都处于关闭状态。我发现电脑的功耗还是很大，之前直装Windows的时候，待机功耗只有45W，现在装了ESXi，而且在ESXi的电源管理中设为低性能模式，待机功耗都有60W，如果设为平衡模式，待机功耗将达到70W，这是什么原因？一个什么虚拟客户机都还没启动的ESXi的功耗怎么会这么大啊？

2. 有没有什么方法可以监控ESXi平台下的CPU温度、主板温度、硬盘温度、风扇转速等硬件状态？

谢谢。
作者: piepie628    时间: 2013-7-16 23:05
提示: 作者被禁止或删除 内容自动屏蔽
作者: kx100free    时间: 2013-8-7 12:33
感谢楼主分享，你比某些所谓大神强的多。
作者: bugbear    时间: 2013-8-11 23:08
呵呵~~lz能花时间写这么多和大家分享，就是应该鼓励的，ls几个说风凉话的能来点实际的吗？

我这段时间也在玩esxi，现在是5.1 u1，用的官网免费序列号，没有时间限制，有32g内存，单cpu限制，家用足够了。

配置
3770
z77a-gd53（就这个pci-e够用）
8g*4 1600，32g内存
4个intel ct 1x千兆网卡（两个vt-d给nas做lacp）
lsi 9211-8i（vt-d给nas）
hd6450（正在折腾做桌面，暂时没有强烈需求）
3个3T，1个2T通过9211-8i都给nas，一个500g本盘做host盘

nas这块最头疼，nas4free/freenas+esxi+lsi 9211-8i，都有问题。也是一顿google，最后也不完美
必须要在loader.conf加两行，不然lsi卡无法正常使用（先不挂卡，加参数，再挂）
hw.pci.enable_msi="0" # Driver Interrupts problem SAS2008
hw.pci.enable_msix="0" # Driver Interrupts problem SAS2008
就算加了这两行还是有问题：
1，freenas 9.1.0认不到vt-d的两张网卡...直接懒得弄了，换
2，freenas 8.3.1和nas4free 9.1.0.1 804只能使用一个cpu，不然就会interrupt storm irq##，##不同板子都不一样，google说关闭bios不用的设备，试过还是无解。应该是freebsd本身的驱动问题，暂时无解。先1个cpu用着，nas对cpu压力不算大，基本够用。现在用的是nas4free。
3，linux based的nas都无问题，试过openfiler，没有zfs，暂时不考虑。

6450能直通，win7试过，装驱动蓝屏，也是2g内存，暂时没时间折腾，网上成功案例很多，应该无大问题。
板载的82579v，esxi 5.1 u1不认，要弄必须用esxi customizer自己加驱动。直通给win7可以装驱动，但是无法启用，暂时也没空折腾。

通过google发现，esxi不是越新越好，很多问题在老版本都有答案，新版本很多无解。

洗澡去了，暂时就这些吧。
作者: bugbear    时间: 2013-8-11 23:37
洗完澡，再多说两句

除了nas4free/freenas+lsi 9211-8i以外，其它系统都没问题，试过pfsense、centos等。

有个apc BK650-CH usb ups，esxi不支持，nas裸机是支持的。要么直通usb给nas。要么按照网上的方法装个系统，通过脚本通知各个虚拟机关机。要图省事，买个支持网络关机的smart ups吧，官方有支持软件。

esxi偶也不熟，管理方面的问题可以先看esxi的官方文档（13个pdf+n多网页），快速方法就google，基本都有答案。

功耗方面，待机70w左右，单独nas负载90-100w左右，和裸机没啥区别。
作者: bugbear    时间: 2013-8-11 23:55
本帖最后由 bugbear 于 2013-8-11 23:56 编辑
tedaz 发表于 2013-7-2 22:23
之前曾经用HP DL180玩过一段时间ESXI，当时遇到的主要问题是每个虚拟磁盘都有2TB限制。所以那时候建了很多个 ...

命令行创建也有2T限制么？
原来玩桌面virtualbox，gui限制2T，命令行没有这个限制

但是esxi 5.1直通硬盘还是有2T限制，原来试过直通3T给nas，没法正确认到盘。现在只能加了个hba卡vt-d直通给nas，完全没问题。

建议统一存储，其它虚拟机都挂在nas下，这样管理容易点。
作者: bugbear    时间: 2013-8-11 23:57
tedaz 发表于 2013-7-2 22:23
之前曾经用HP DL180玩过一段时间ESXI，当时遇到的主要问题是每个虚拟磁盘都有2TB限制。所以那时候建了很多个 ...

3T*12 raid0？这是要干啥啊，万兆网卡么？
作者: bugbear    时间: 2013-8-12 19:59
为啥82579v直通给win7无法启用呢？这个可能是答案

While related to the 82567 and the 82579, the 82574L is a standalone MAC/PHY, while the 82567 and the 82579 are PHY products that have the MAC in the ICH8/9/10.  Without an ICH8/9/10 the 82567/82579 won't work, while the 82574 will work with any PCI Express implementation.  
作者: lucifersun    时间: 2013-8-12 20:05
ghw 发表于 2013-7-13 21:16
我自己用hyper-V， 放在远程。目的是 虚拟机装系统比较方便。

我的问题是，在hyper-V 2012中如何管理硬盘 ...

2012的远程磁盘管理有一个很恶心的地方，必须在console机的防火墙上开放“远程卷管理”，单改Hyper-V主机这一边没用。
作者: ghw    时间: 2013-8-12 20:09
lucifersun 发表于 2013-8-12 20:05
2012的远程磁盘管理有一个很恶心的地方，必须在console机的防火墙上开放“远程卷管理”，单改Hyper-V主机 ...

怪不得，回去试试看！没有想法还有这个要求，怎么连也连不上。

不知各位有没有用过 LSI的MSM。 如果我在hyper-v 2012的物理机上安装了perc 6i， 能否在远程计算机上用MSM连到hyper-v上进行管理。还是说只能用那个不方便的命令行工具？
作者: lucifersun    时间: 2013-8-12 20:53
ghw 发表于 2013-8-12 20:09
怪不得，回去试试看！没有想法还有这个要求，怎么连也连不上。

不知各位有没有用过 LSI的MSM。 如果我 ...

MSM我也在core的虚拟机上试验过，能安装，能运行，有图形界面，但远程未测。
作者: ghw    时间: 2013-8-12 22:10
lucifersun 发表于 2013-8-12 20:53
MSM我也在core的虚拟机上试验过，能安装，能运行，有图形界面，但远程未测。

回去试试看，但是Core好像和hyper-V还有点不一样。
你是直接用普通版的MSM安装的么？
作者: lucifersun    时间: 2013-8-13 06:15
ghw 发表于 2013-8-12 22:10
回去试试看，但是Core好像和hyper-V还有点不一样。
你是直接用普通版的MSM安装的么？

没错，就是直接setup安装，安装界面也是图形化的
作者: tysw    时间: 2013-8-22 11:25
bugbear 发表于 2013-8-11 23:08
呵呵~~lz能花时间写这么多和大家分享，就是应该鼓励的，ls几个说风凉话的能来点实际的吗？

我这段时间也 ...

和你一样是9211-8i，NAS可以试试openindiana+nappit，直通92118i没问题，就是不知道对你的网卡支持怎么样
作者: bugbear    时间: 2013-8-22 20:15
tysw 发表于 2013-8-22 11:25
和你一样是9211-8i，NAS可以试试openindiana+nappit，直通92118i没问题，就是不知道对你的网卡支持怎么样

网卡intel原厂ct千兆卡，82574L。

主要是bsd对esxi直通sas2008支持不好，只能单cpu。现在把nas用单独电脑做了。

linux based的都没问题。
作者: 土地爷    时间: 2013-8-25 22:03
提示: 作者被禁止或删除 内容自动屏蔽
作者: clockrun    时间: 2013-8-26 11:34
土地爷 发表于 2013-8-25 22:03
这几天配件都基本到位了：
3T HDD若干，放在freenas或者黑群晖里面

1，显卡直通可行，不过你要保证客户机随esx自动启动，要不然还是得准备第二台电脑来远程连接
2，没试过，应该也没问题
3，没用过。。。
4，没试过，但应该可行。我直通了H700，把13T的空间直接暴露给server 2012，没遇到问题。
作者: 土地爷    时间: 2013-8-26 14:57
提示: 作者被禁止或删除 内容自动屏蔽
作者: rshui    时间: 2013-8-27 22:52
直通这么麻烦 为什么不用2012的hyper-v?
3D可以用direct access
虚拟机一样可以自动启动 不去看完全没感觉
作者: 二代战神    时间: 2013-9-1 12:21
siyou 发表于 2013-6-15 00:41
什么耍嘴皮，双核心显卡直通VM，需要把vmKenel.Boot.disableASCCheck（跳过ASC）功能选定，最多可以直通三 ...

很遗憾，我查了几个月就是没找到你说的原文，期间问过vm中国给经销商做技术培训的工程师，得到的答案也是否定的，当然不排除他们只是给经销商做培训，水平有限，那么既然你看到过，那么请你给出出处，如果我错了，我发新贴致歉

另外至于你质疑我的部分
我只能说你的中文阅读理解能力实在太差
我只是告知直通PCI设备必然把整条PCI总线上所有设备一齐映射，
以此说明passthrough的基本单位是一条完整的总线而不是单个设备或者芯片
作者: dockey    时间: 2013-11-8 01:21
學習了..~~~~
作者: 888945    时间: 2014-1-2 00:02
本帖最后由 888945 于 2014-1-2 00:03 编辑

学习了感谢
作者: ㊣夜凉如水づ    时间: 2014-1-12 22:45
大神，我用滴也是G326HT想请教下，硬盘你是改造成12盘位呀？
作者: hfxiaozi    时间: 2014-9-30 15:33
高大上，学习了
作者: fengpc    时间: 2014-9-30 22:00
VMware + NV Grid已经可以实现GPU虚拟化了，不只是直通

Windows Server 2008 R2的RemoteFX只能支持到DX9硬件加速，而且效率不高
作者: 亚克蜥    时间: 2014-10-2 16:06
窝巢，技术贴



欢迎光临 POPPUR爱换 (http://we.poppur.com/) Powered by Discuz! X3.4