Nutanix CE 2.0 よろず相談所

@smzksts さん

産業用のものがあるのですね。

参考にさせて頂きます。

ご回答頂き、ありがとうございました。

@inshy さん

Hypervisorは容量的には16GBのUSBメモリでもインストールできるかと思うのですが、ハイパーバイザーブート領域用に使うとかなり壊れやすいので、M.2 NVMeか32GBの産業用USBメモリ(https://amzn.asia/d/cxyiHIM)を愛用しています。以前はMLCのUSBメモリを使っていたのですが、書き込み耐性に問題が無くても長時間稼働よる発熱で故障している気がしまして…産業用だと温度周りのスペックが明示されていて、耐性の面でも良さそうです。

CVM用のディスクは、60GBくらい使われていました。↓の例だと1.8Tの部分はデータディスクとしって使われています。

@smzksts さん

ご回答頂きありがとうございます。

CVM用に1つディスクが専有されるものと思っておりました。

CVM用のディスクにDataパーティションも作成されるとのことで、こちらのディスクをNVMeにしたいと思います。ありがとうございます。

また、コストは上がるかもしれませんが、M.2 22x42 SATAをHypervisor用にしたいと思います。

実際使用される容量としては、HypervisorもCVMも数十GB程度でしょうか？

@H.S さん
すみません返信遅くなりました。残念ながらCEでは1ノードの場合復旧不可となります。

@smzksts さん
ご返事いただき、ありがとうございます。
やはり無理ですか、ネットの記事で旧バージョンや3ノードの復旧方法は見つかったのですが…

SSDやHDDは問題ないのですが、ここからVMだけでも取り出す方法はあるでしょうか？

ce-2020.09.16をシングルクラスターで運用していたのですが、ハイパーバイザのUSBメモリが壊れてしまったようで再起動したタイミングで起動できなくなってしまいました。
復旧方法を教えていただけないでしょうか？
 

@smzksts さま

NutanixCE2.0のインストールで、再起動の時(インストーラUSBを抜いた状態)に、表示された「No boot device available」が解消されました。

AHVのブートディスクの差込場所を3番から1番に変更したら、ブートできました。

アドバイスをいただき、ありがとうございました。

@smzksts  さん

今朝再インストールしたところ、

    <pae/>
  </features>
  <cpu mode='host-passthrough' check='none'/>
  <clock offset='utc'/>

となっており、なぜかnumaの設定自体が有りませんでした。

CVMがメモリ確保できずに起動しないのは相変わらずとなります。

別にce2.0の環境はあるので、この機材は旧verで利用しようかと思います。

いろいろとご確認頂き、ありがとうございました。

@Hidetaka さん

ご返信ありがとうございます。CVMのメモリサイズ指定自体は問題無さそうです。

一方で、Hugepagesに関する出力結果を見ると、Hugepagesize以外の行が軒並み0になっているので、お使いのマシンではHugepageが有効でないように見えます。有効な場合AnonHugePages, HugePages_Total, HugePages_Free, Hugetlbあたりに容量が反映されています。

これを頼りに少し掘り下げるため、virsh edit CVM名 でCVMの構成情報を開いてみると、CPU周りの設定がCE 2.0では

  <cpu mode='host-passthrough' check='none'>
    <numa>
      <cell id='0' cpus='0-3' memory='20971520' unit='KiB' memAccess='shared'/>
    </numa>
  </cpu>

となっていました。

https://libvirt.org/formatdomain.html
によると、以下の記載がありました。

Since 1.2.9 the optional attribute memAccess can control whether the memory is to be mapped as "shared" or "private". This is valid only for hugepages-backed memory and nvdimm modules.

よって
・memAccess='shared'という設定があることでhugepagesが要求されている
・このマシンには払い出し可能なhugepagesがない

という状態が原因でCVMが起動しなくなっているものと推測しています。

比較のためce-2020.09.16のCVMの構成情報を確認したところ、CVMのCPU設定は以下のようになっていました。

  <cpu mode='host-passthrough' check='none'>
    <feature policy='disable' name='spec-ctrl'/>
  </cpu>

memAccess='shared'(というかnuma自体の設定)がありませんでしたので、
CE 2.0のCVMのCPU設定をまるっとこの内容に書き換えることで起動可能とならないでしょうか？
同世代のマシンを持っていないので机上の推測ですが、お試し頂けますと幸いです。

@smzksts  さん

メモリサイズの表記は、20971520　となっており、問題無いかとおもわれます。

cat /proc/meminfo | grep Hugeの結果については、以下の通りです。

[root@NTNX-ce0eb74d-A ~]# cat /proc/meminfo | grep Huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
FileHugePages:         0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
Hugetlb:               0 kB

以上、宜しくお願い致します。

@smzksts  さん

早速のご返信ありがとうございました。

クラスタの手動作成は未だ試みておりませんでしたので実行してみます。

シングルノードクラスター作成オプションはチェックせずにインストール進めておりますが、AHV再起動後の処理が途中（CVM初回起動時処理のあたり？）で停止しているように見受けられます。
切り分けの確認ポイントはほかに確認すべきところはございますでしょうか？

（状況）
・再起動後にAHVログインしてコマンド確認するとCVMは動いているように見える。
・CVMへのssh接続とログインは可能。
・CVMから確認して稼働しているプロセスがfoundationとgenesisのみ。
・genesisのログにはZookeeperのエラーが出力している。

1.virsh list --allの結果
 Id   Name                  State
-------------------------------------
 1    NTNX-fac608fe-A-CVM   running

2.genesis statusの結果

2023-05-04 14:17:10.515726: Services running on this node:
  foundation: [3461, 3525, 3526]
  genesis: [2799, 2915, 2939, 2940]

3./home/nutanix/data/logs/genesis.out（抜粋）

2023-05-04 13:44:10,867Z INFO 32878672 foundation_service.py:161 Foundation service started successfully
2023-05-04 13:44:10,868Z INFO 32878672 node_manager.py:7084 Waiting for node to become configured through RPC
2023-05-04 13:44:11,453Z ERROR 59867984 node_manager.py:7046 Zookeeper mapping is unconfigured
2023-05-04 13:44:11,465Z ERROR 59867984 node_manager.py:7046 Zookeeper mapping is unconfigured
2023-05-04 13:59:24,213Z ERROR 59867984 node_manager.py:7046 Zookeeper mapping is unconfigured
2023-05-04 14:06:40,988Z ERROR 59867984 node_manager.py:7046 Zookeeper mapping is unconfigured
2023-05-04 14:14:34,990Z ERROR 59867984 node_manager.py:7046 Zookeeper mapping is unconfigured

4./var/log/firstboot.log（抜粋）

2023-05-04 13:38:24,795 INFO  Running cmd ['touch /create_cvm']
2023-05-04 13:38:49,187 INFO  [1/160] Waiting for CVM to initialize network
2023-05-04 13:39:13,572 INFO  [2/160] Waiting for CVM to initialize network
2023-05-04 13:39:37,957 INFO  [3/160] Waiting for CVM to initialize network
2023-05-04 13:39:55,086 INFO  [4/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:40:10,471 INFO  [5/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:40:25,784 INFO  [6/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:40:41,176 INFO  [7/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:40:56,562 INFO  [8/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:41:11,808 INFO  [9/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:41:27,048 INFO  [10/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:41:42,483 INFO  [11/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:41:58,660 INFO  [12/160] Waiting for CVM to finish first boot
2023-05-04 13:42:14,937 INFO  [13/160] Waiting for CVM to finish first boot
2023-05-04 13:42:30,690 INFO  [14/160] Waiting for CVM to initialize services
2023-05-04 13:43:35,350 INFO  Running cmd ['touch /root/firstboot/phases/cvm_firstboot']
2023-05-04 13:43:35,354 INFO  Running cmd ['touch /root/.firstboot_success']
2023-05-04 13:43:35,357 INFO  Running cmd ['service ntpd start']
2023-05-04 13:43:35,405 INFO  Running cmd ['/sbin/chkconfig ntpd on']