找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

快捷登录

搜索
查看: 799722|回复: 29
收藏5 打印 上一主题 下一主题

ESXI硬盘RDM直通给群晖使用

[复制链接] [ 565字 ]

钻石会员 Rank: 3Rank: 3Rank: 3

帖子
4757
积分
60.3
技术分
0.6 分
资产值
5295 NB
联谊分
0 分
注册时间
2006-6-16
银牌荣誉勋章(注册8年以上会员)金牌荣誉勋章(注册10年以上会员)
跳转到指定楼层
1#
发表于 2017-1-16 22:32:33 | 只看该作者 |只看大图 自动悬赏 |倒序浏览 |阅读模式
本帖最后由 rainsun 于 2017-1-17 10:21 编辑

前提

ESXi支持硬件直通(需要CPU和主板都支持VT-d),可以将PCI的硬件直接配置给虚拟机来使用。但也仅限于PCI设备,其他直接接在主板的磁盘、USB设备、CPU内置显卡等都是不能被直通的。如果希望将某个磁盘也直通给虚拟机,有两种办法:

  • 添置一块PCI的阵列卡,将其直通给虚拟机,所有需要直通的磁盘都接在这个阵列卡上面;
  • 创建RDM虚拟磁盘;
创建RDM虚拟磁盘

通过SSH登录ESXi,获取磁盘设备标识符:

  1. ls -l /dev/disks
复制代码


敲完命令后出来类似如下:

  1. naa.200049454505080fnaa.200049454505080f:1
  2. naa.200049454505080f:5naa.200049454505080f:6
  3. naa.200049454505080f:7naa.200049454505080f:8
  4. naa.200049454505080f:9t10.ATA_____HGST_HTS541010A9E680__________________________JD1050CCG3XJZK
  5. t10.ATA_____LITEONIT_LMT2D256M3M_____________________TW0V6PN8550852CJ1446
  6. t10.ATA_____LITEONIT_LMT2D256M3M_____________________TW0V6PN8550852CJ1446:4
  7. vml.01000000002020202020204a443130353043434733584a5a4b484753542048
  8. vml.01000000005457305636504e38353530383532434a313434364c4954454f4e
  9. vml.01000000005457305636504e38353530383532434a313434364c4954454f4e:4
  10. vml.0200000000200049454505080f4d6173732053vml.0200000000200049454505080f4d6173732053:1
  11. vml.0200000000200049454505080f4d6173732053:5vml.0200000000200049454505080f4d6173732053:6
  12. vml.0200000000200049454505080f4d6173732053:7vml.0200000000200049454505080f4d6173732053:8
  13. vml.0200000000200049454505080f4d6173732053:9
复制代码

其中冒号后的数字为硬盘分区。复制不带数字的标识符,如:t10.ATA_____HGST_HTS541010A9E680__________________________JD1050CCG3XJZK

执行以下命令:

  1. vmkfstools -z /vmfs/devices/disks/<直通硬盘的标识符> /vmfs/volumes/<保存vmdk的硬盘标识符>/<VMDK名字>.vmdk
复制代码

例如:
  1. mkfstools -z /vmfs/devices/disks/t10.ATA_____HGST_HTS541010A9E680__________________________JD1050CCG3XJZK /vmfs/volumes/5851c14c-7f3006b5-33e4-000ec4ce7958/DSMdisk.vmdk
复制代码

执行命令后将为该硬盘创建RDM直通的vmdk,然后在虚拟机中添加硬盘选择所创建的vmdk即可。正常到这就结束了,如果报错请参考后文。

===========================================================================================

在创建RDM的时候,如果目标硬盘上面有ESXi能识别的分区,可能导致vmkfstools执行失败。需要在确保重要数据已经备份的情况下,删除目标磁盘上的分区。


删除物理磁盘分区方法1

以下操作有数据损坏的风险


显示现有分区:

  1. partedUtil get /dev/disks/<硬盘标识符>
复制代码

将看到类似输出:

  1. 1 2048 4982527 253 0
  2. 2 4982528 9176831 253 0
  3. 3 9437184 3907015007 15 0
  4. 5 9453280 3906822239 253 0
复制代码

其中第一列为分区编号,然后通过:

  1. partedUtil delete /dev/disks/<硬盘标识符> <分区编号>
复制代码

删除所有分区。

如果在执行删除分区操作的时候,出现错误Error: Read-only file system during write on ...,在删除之前,执行:

  1. esxcli system coredump partition set --enable false
复制代码

删除物理磁盘分区方法2

如果试图用 partedUtil delete 命令删除分区,失败。

可以通过更改磁盘的卷标,可以破坏磁盘的所有分区。所以这里用 partedUtil mklabel 命令把磁盘卷标改为 msdos 。

  1. partedUtil mklabel /dev/disks/<硬盘标识符> msdos
复制代码

提示:

如果使用到不正确的路径如

  1. /dev/disks/ vmkfstools -z /dev/disks/t10.ATA_____HGST_HTS541010A9E680__________________________JD1050CCG3XJZK  /vmfs/volumes/datastore1/db600gbhdd.vmdk
复制代码


会出现以下错误信息 ,参考前文修正路径即可

  1. Failed to create virtual disk: The specified device is not a valid physical disk device (20).
复制代码



最后上图





评分

参与人数 1技术分 +0.1 收起 理由
HOPE + 0.1 原创内容

查看全部评分

分享到: 
分享
回复

使用道具 举报

Top

钻石会员 Rank: 3Rank: 3Rank: 3

帖子
2141
积分
36.5
技术分
0.8 分
资产值
10041 NB
联谊分
0 分
注册时间
2009-4-1
金牌荣誉勋章(注册10年以上会员)
推荐
发表于 2017-6-7 09:26:41 | 只看该作者
开始越来越讨厌VMWARE的路过。
准备研究kvm openstack docker这些玩意儿了。
回复 点赞 1

使用道具 举报

Top

创始人 Rank: 5Rank: 5Rank: 5Rank: 5Rank: 5

帖子
101930
积分
960.6
技术分
155.5 分
资产值
54776 NB
联谊分
2.2 分
注册时间
2001-11-20
银牌荣誉勋章(注册8年以上会员)金牌荣誉勋章(注册10年以上会员)
2#
发表于 2017-1-16 22:36:06 | 只看该作者
好像挺复杂的样子?
回复 点赞

使用道具 举报

Top

白金会员 Rank: 3Rank: 3Rank: 3

帖子
666
积分
18.9
技术分
0 分
资产值
7334 NB
联谊分
0 分
注册时间
2008-11-2
银牌荣誉勋章(注册8年以上会员)
3#
发表于 2017-1-16 22:45:50 | 只看该作者
这种变态的需求不多吧。。我刚拆了raid卡,买了个C2550D4i的板子花了1700大洋,然后直接裸的黑裙了。不然在用raid卡了今后。esxi上次被我误操作强制删了虚拟磁盘以后就再也不敢瞎搞了。esxi的分区又无解。搞数据恢复天价啊简直,还是直接的磁盘操作来的安全些。后怕啊。。。
回复 点赞

使用道具 举报

Top

钻石会员 Rank: 3Rank: 3Rank: 3

帖子
3186
积分
32.7
技术分
1.8 分
资产值
19175 NB
联谊分
0 分
注册时间
2010-1-11
4#
发表于 2017-1-16 22:48:20 | 只看该作者
以前vmware workstation支持虚拟机直接使用物理硬盘。后来可能因为太危险,就都给隐藏了,还得打一堆命令……
回复 点赞

使用道具 举报

Top

白金会员 Rank: 3Rank: 3Rank: 3

帖子
666
积分
18.9
技术分
0 分
资产值
7334 NB
联谊分
0 分
注册时间
2008-11-2
银牌荣誉勋章(注册8年以上会员)
5#
发表于 2017-1-16 22:48:28 | 只看该作者
sata直通这个事儿貌似不是所有的C系列芯片组都支持啊。好像就是超微的全系列支持吧。我弄了好几块不同型号的华擎的C224啊226啊什么的。都不支持sata直通的啊。
回复 点赞

使用道具 举报

Top

白金会员 Rank: 3Rank: 3Rank: 3

帖子
666
积分
18.9
技术分
0 分
资产值
7334 NB
联谊分
0 分
注册时间
2008-11-2
银牌荣誉勋章(注册8年以上会员)
6#
发表于 2017-1-16 22:49:42 | 只看该作者
QUOTE:
iwaitiwait 发表于 2017-1-16 22:48
以前vmware workstation支持虚拟机直接使用物理硬盘。后来可能因为太危险,就都给隐藏了,还得打一堆命令… ...

对的。早些年可以直接把C盘丢vm里面。然后format,本地系统正常运行。重启电脑后发现C盘空了。哈哈哈哈
回复 点赞

使用道具 举报

Top

钻石会员 Rank: 3Rank: 3Rank: 3

帖子
4757
积分
60.3
技术分
0.6 分
资产值
5295 NB
联谊分
0 分
注册时间
2006-6-16
银牌荣誉勋章(注册8年以上会员)金牌荣誉勋章(注册10年以上会员)
7#
 楼主| 发表于 2017-1-17 10:04:46 | 只看该作者
QUOTE:
edgesky 发表于 2017-1-16 22:45
这种变态的需求不多吧。。我刚拆了raid卡,买了个C2550D4i的板子花了1700大洋,然后直接裸的黑裙了。不然在 ...

所以才要直通给黑群用,这样有问题的话可以直接取下硬盘挂到ubutu下恢复
回复 点赞

使用道具 举报

Top

钻石会员 Rank: 3Rank: 3Rank: 3

帖子
4757
积分
60.3
技术分
0.6 分
资产值
5295 NB
联谊分
0 分
注册时间
2006-6-16
银牌荣誉勋章(注册8年以上会员)金牌荣誉勋章(注册10年以上会员)
8#
 楼主| 发表于 2017-1-17 10:07:32 | 只看该作者
QUOTE:
HOPE 发表于 2017-1-16 22:36
好像挺复杂的样子?

简单,就获取个硬盘标识,然后把物理硬盘映射成虚拟盘,再虚拟机中挂载这个虚拟盘就好了
回复 点赞

使用道具 举报

Top

至尊会员I Rank: 4Rank: 4Rank: 4Rank: 4

帖子
3514
积分
87.2
技术分
5.1 分
资产值
55444 NB
联谊分
3 分
注册时间
2011-5-21
年全勤勋章2019初代目福气勋章银牌荣誉勋章(注册8年以上会员)金牌荣誉勋章(注册10年以上会员)
9#
发表于 2017-1-18 19:14:08 | 只看该作者
QUOTE:
HOPE 发表于 2017-1-16 22:36
好像挺复杂的样子?

他说得看起来很复杂,就是这句vmkfstools命令而已,把物理磁盘标识符转化为虚拟磁盘标识符,仅此而已

http://wenku.baidu.com/link?url= ... d8hw1JBOith1ljn5cai
回复 点赞

使用道具 举报

Top

至尊会员I Rank: 4Rank: 4Rank: 4Rank: 4

帖子
7312
积分
84.7
技术分
0 分
资产值
29897 NB
联谊分
0 分
注册时间
2007-5-13
金牌荣誉勋章(注册10年以上会员)
10#
发表于 2017-1-19 11:32:24 | 只看该作者
这种直通方式,在硬盘超过2T的情况会出问题。esxi 6.x不知道有没有改进。5.x会有。而且6.x开机就占用2G多的内存,这样就不如直接用windows的hyper-v,hyper-v的群辉用起来要比exsi下的方便,而且windows2012起,还有好用的iscsi target。
回复 点赞

使用道具 举报

Top

白金会员 Rank: 3Rank: 3Rank: 3

帖子
666
积分
18.9
技术分
0 分
资产值
7334 NB
联谊分
0 分
注册时间
2008-11-2
银牌荣誉勋章(注册8年以上会员)
11#
发表于 2017-1-19 16:42:44 | 只看该作者
QUOTE:
ssiaqgpv 发表于 2017-1-19 11:32
这种直通方式,在硬盘超过2T的情况会出问题。esxi 6.x不知道有没有改进。5.x会有。而且6.x开机就占用2G多的 ...

用hyperv少。为啥比vm方便?
回复 点赞

使用道具 举报

Top

至尊会员I Rank: 4Rank: 4Rank: 4Rank: 4

帖子
7312
积分
84.7
技术分
0 分
资产值
29897 NB
联谊分
0 分
注册时间
2007-5-13
金牌荣誉勋章(注册10年以上会员)
12#
发表于 2017-1-19 17:33:41 | 只看该作者
1、管理起来,不管怎么弄都要另一台机器。开关机都是。虽可以直通显卡,但重度用时,直通出来的显卡的那台虚拟机会不稳定。
2、虚拟机管理器占用资源较多。
3、用windows的话,机器本身还可以用来做htpc。而且现在hyper-v的资源越来越多,如果虚拟机多是windows的,就没必要用esxi了。
其实现阶段家用esxi比hyper-v的优势主要在
1、网络设置更方便,多一个虚拟交换机添多个网卡要比windows方便。
2、虚拟机的兼容性更好。osx,windows,linux,bsd等都能很好兼容,hyper-v就差些。
3、硬件资源的超量分配和使用,exsi更好。hyper-v就比较严格。
企业级的应用,exsi的HA和可管理性比hyper-v强,也更成熟。但目前这种差距在缩小。
回复 点赞

使用道具 举报

Top

至尊会员I Rank: 4Rank: 4Rank: 4Rank: 4

帖子
7312
积分
84.7
技术分
0 分
资产值
29897 NB
联谊分
0 分
注册时间
2007-5-13
金牌荣誉勋章(注册10年以上会员)
13#
发表于 2017-1-19 17:33:58 | 只看该作者
QUOTE:
edgesky 发表于 2017-1-19 16:42
用hyperv少。为啥比vm方便?

1、管理起来,不管怎么弄都要另一台机器。开关机都是。虽可以直通显卡,但重度用时,直通出来的显卡的那台虚拟机会不稳定。
2、虚拟机管理器占用资源较多。
3、用windows的话,机器本身还可以用来做htpc。而且现在hyper-v的资源越来越多,如果虚拟机多是windows的,就没必要用esxi了。
其实现阶段家用esxi比hyper-v的优势主要在
1、网络设置更方便,一个虚拟交换机添多个网卡要比windows方便。
2、虚拟机的兼容性更好。osx,windows,linux,bsd等都能很好兼容,hyper-v就差些。
3、硬件资源的超量分配和使用,exsi更好。hyper-v就比较严格。
企业级的应用,exsi的HA和可管理性比hyper-v强,也更成熟。但目前这种差距在缩小。
回复 点赞

使用道具 举报

Top

钻石会员 Rank: 3Rank: 3Rank: 3

帖子
5889
积分
51.3
技术分
0 分
资产值
8525 NB
联谊分
0 分
注册时间
2007-1-8
14#
发表于 2017-1-19 19:12:18 | 只看该作者
围观
回复 点赞

使用道具 举报

Top

白金会员 Rank: 3Rank: 3Rank: 3

帖子
666
积分
18.9
技术分
0 分
资产值
7334 NB
联谊分
0 分
注册时间
2008-11-2
银牌荣誉勋章(注册8年以上会员)
15#
发表于 2017-1-20 07:55:55 | 只看该作者
QUOTE:
ssiaqgpv 发表于 2017-1-19 17:33
1、管理起来,不管怎么弄都要另一台机器。开关机都是。虽可以直通显卡,但重度用时,直通出来的显卡的那 ...

hyper-v对于很多unix定制系统无解。。。一直不愿意用这玩意。超配就算了。自己把握的事儿。我们这的几百台都不敢超的反正,用户体验上我觉得还是esxi好吧。。。另外。现在是个企业都在向linux靠拢了把我感觉。反正我们这边逐步在替换下来windows环境了,已经做了好几年了。
回复 点赞

使用道具 举报

Top

白金会员 Rank: 3Rank: 3Rank: 3

帖子
666
积分
18.9
技术分
0 分
资产值
7334 NB
联谊分
0 分
注册时间
2008-11-2
银牌荣誉勋章(注册8年以上会员)
16#
发表于 2017-1-20 08:01:13 | 只看该作者
另外,用户端我们用vm自己的应用程序虚拟化,也部署有思杰的。相比之下。思杰还是比vm和windows的应用程序虚拟化来的体验好一些感觉。
回复 点赞

使用道具 举报

Top

高级会员 Rank: 2Rank: 2

帖子
252
积分
4.4
技术分
0 分
资产值
709 NB
联谊分
0 分
注册时间
2005-1-2
17#
发表于 2017-1-20 21:09:33 | 只看该作者
hyper-v最大的硬伤是构建在windows之上,而win系统那种装个补丁就得重启的玩意儿,上面还要跑一堆虚机,偶尔应应急可以,长期不现实。我现在家里的server all in one跑exsi 5.5,直通阵列卡和显卡,跑win2012,,win10,centos6,openwrt x64,软路由,nas,htpc, linux开发环境都一勺烩了。
回复 点赞 1

使用道具 举报

Top

白金会员 Rank: 3Rank: 3Rank: 3

帖子
666
积分
18.9
技术分
0 分
资产值
7334 NB
联谊分
0 分
注册时间
2008-11-2
银牌荣誉勋章(注册8年以上会员)
18#
发表于 2017-1-21 13:22:22 | 只看该作者
QUOTE:
aoeii 发表于 2017-1-20 21:09
hyper-v最大的硬伤是构建在windows之上,而win系统那种装个补丁就得重启的玩意儿,上面还要跑一堆虚机,偶 ...

我的10盘也是这么干的。但是我现在拆了。因为raid卡伤不起。esxi丢下误操作丢过一次重要数据。老老实实用裸群辉+开发机了。。。
回复 点赞

使用道具 举报

Top

入门会员 Rank: 1

帖子
3
积分
0
技术分
0 分
资产值
104 NB
联谊分
0 分
注册时间
2009-4-29
19#
发表于 2017-6-7 08:08:06 | 只看该作者
又学了一点儿知识。谢谢发布。
回复 点赞

使用道具 举报

Top

钻石会员 Rank: 3Rank: 3Rank: 3

帖子
2348
积分
32.3
技术分
0.2 分
资产值
3696 NB
联谊分
0 分
注册时间
2012-10-11
21#
发表于 2017-6-7 17:52:30 | 只看该作者
GEN8 有ILO
所有问题都不是问题。。。
回复 点赞

使用道具 举报

Top

白金会员 Rank: 3Rank: 3Rank: 3

帖子
666
积分
18.9
技术分
0 分
资产值
7334 NB
联谊分
0 分
注册时间
2008-11-2
银牌荣誉勋章(注册8年以上会员)
22#
发表于 2017-6-8 07:20:28 | 只看该作者
QUOTE:
smartsuit 发表于 2017-6-7 09:26
开始越来越讨厌VMWARE的路过。
准备研究kvm openstack docker这些玩意儿了。

vm遇到瓶颈了。三年不解决,就会被intel本身的技术替换掉。尤其是网络虚拟化普及以后,cpu原生支持群集和虚拟化的时候。就是vm的死期。
回复 点赞

使用道具 举报

Top

入门会员 Rank: 1

帖子
35
积分
0
技术分
0 分
资产值
553 NB
联谊分
0 分
注册时间
2012-5-16
23#
发表于 2017-6-13 15:28:03 | 只看该作者
好东西 不知道 稳定性 好不好
回复 点赞

使用道具 举报

Top

入门会员 Rank: 1

帖子
35
积分
0
技术分
0 分
资产值
553 NB
联谊分
0 分
注册时间
2012-5-16
24#
发表于 2017-6-20 08:50:46 | 只看该作者
如果数据 机器故障 RDM 硬盘数据 怎么恢复
请指导下 谢谢!!!
回复 点赞

使用道具 举报

Top

钻石会员 Rank: 3Rank: 3Rank: 3

帖子
4757
积分
60.3
技术分
0.6 分
资产值
5295 NB
联谊分
0 分
注册时间
2006-6-16
银牌荣誉勋章(注册8年以上会员)金牌荣誉勋章(注册10年以上会员)
25#
 楼主| 发表于 2017-6-22 15:33:37 | 只看该作者
QUOTE:
huadaoyingmu 发表于 2017-6-20 08:50
如果数据 机器故障 RDM 硬盘数据 怎么恢复
请指导下 谢谢!!!

回头我试下
回复 点赞

使用道具 举报

Top

入门会员 Rank: 1

帖子
35
积分
0
技术分
0 分
资产值
553 NB
联谊分
0 分
注册时间
2012-5-16
26#
发表于 2017-6-22 20:34:13 | 只看该作者
mkfstools -z /vmfs/devices/disks/t10.ATA_____HGST_HTS541010A9E680__________________________JD1050CCG3XJZK /vmfs/volumes/5851c14c-7f3006b5-33e4-000ec4ce7958/DSMdisk.vmdk
这里面的UUID 5851c14c-7f3006b5-33e4-000ec4ce7958 怎么查看是哪个
回复 点赞

使用道具 举报

Top

入门会员 Rank: 1

帖子
35
积分
0
技术分
0 分
资产值
553 NB
联谊分
0 分
注册时间
2012-5-16
27#
发表于 2017-6-23 16:10:39 | 只看该作者
/vmfs/volumes/5851c14c-7f3006b5-33e4-000ec4ce7958 这个 是已经存在的路径 对吗?
就是把新硬盘连接到 这个路径里的一个文件(.vmdk)读写这个文件就等于操作整个硬盘 我理解的有没有问题 本人小白 那里说错了 请指点 谢谢!!
回复 点赞

使用道具 举报

Top

入门会员 Rank: 1

帖子
14
积分
0.2
技术分
0 分
资产值
89 NB
联谊分
0 分
注册时间
2012-1-5
28#
发表于 2017-11-17 01:07:31 | 只看该作者
RDM 硬盘,注意事项有哪些?
回复 点赞

使用道具 举报

Top

黄金会员 Rank: 3Rank: 3Rank: 3

帖子
933
积分
8.1
技术分
0 分
资产值
2864 NB
联谊分
0 分
注册时间
2006-2-6
29#
发表于 2020-6-9 22:36:05 来自手机版 | 只看该作者
这样直通,支持14TB硬盘吗?
回复 点赞

使用道具 举报

Top

入门会员 Rank: 1

帖子
3
积分
0
技术分
0 分
资产值
39 NB
联谊分
0 分
注册时间
2021-10-11
30#
发表于 2021-10-11 12:12:41 | 只看该作者
大神,请问下,我以前已经直通好了的,我停电后,没有了.请问如何重新恢复
回复 点赞

使用道具 举报

Top

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表