Nutanix CE 2.0 よろず相談所


Userlevel 4
Badge +9

Nutanix CE よろず相談所が長くなってきた&Nutanix CE 2.0 がリリースされたいい機会なので、こちらに移行したいと思います。


This topic has been closed for comments

42 replies

@smzksts さん

無事検証環境の方、構築することができました。ありがとうございました!

2点質問させてください。

・AHVのrootパスワードについて

 Prism上でAHVのrootパスワードがデフォルトのものという警告が表示されており、AHVにssh接続して、「passwd root」を実行してパスワード変更を行ったのですが少し経ってからAHVに直接sshすると認証にはじかれてしまいました。

 CVMからAHVにssh接続し、faillockコマンドで確認すると、CVMから数分間隔でログイン試行があり、これが原因と考えているのですが、AHVのrootパスワード変更に伴い、CVM側で何か設定変更が必要なのでしょうか。

・CVMのrootパスワードについて

 AHVと間違えて1ノードCVMのrootパスワードを変更してしまったのですが、CVMのrootパスワードはデフォルトから変更してしまっても問題ございませんでしょうか。

 

@smzksts さん

産業用のものがあるのですね。

参考にさせて頂きます。

ご回答頂き、ありがとうございました。

 

Userlevel 4
Badge +9

@STier さん

認証周りですと my.nutanix.com へのアクセスも必要かと思いますのでご確認頂けますでしょうか。

Userlevel 4
Badge +9

@inshy さん

Hypervisorは容量的には16GBのUSBメモリでもインストールできるかと思うのですが、ハイパーバイザーブート領域用に使うとかなり壊れやすいので、M.2 NVMeか32GBの産業用USBメモリ(https://amzn.asia/d/cxyiHIM)を愛用しています。以前はMLCのUSBメモリを使っていたのですが、書き込み耐性に問題が無くても長時間稼働よる発熱で故障している気がしまして…産業用だと温度周りのスペックが明示されていて、耐性の面でも良さそうです。

CVM用のディスクは、60GBくらい使われていました。↓の例だと1.8Tの部分はデータディスクとしって使われています。

 

Nutanix CEのインストールは成功したものの、コンソール画面のNEXTアカウントの認証に失敗しています。理由は認証サーバとの疎通ができてないためです。

どなたか認証サーバのFQDN名とIPアドレスを教えてもらえませんでしょうか。

ちなみにプロキシサーバ経由で通信しています。プロキシサーバの設定、DNSサーバの設定は事前にコマンドで設定済み。こちらの設定はあっております。プロキシへのCVMの登録もしており、nutanix.comやnext.nutanix.comへ通信できるようにはしています。

@smzksts さん

ご回答頂きありがとうございます。

CVM用に1つディスクが専有されるものと思っておりました。

CVM用のディスクにDataパーティションも作成されるとのことで、こちらのディスクをNVMeにしたいと思います。ありがとうございます。

また、コストは上がるかもしれませんが、M.2 22x42 SATAをHypervisor用にしたいと思います。

実際使用される容量としては、HypervisorもCVMも数十GB程度でしょうか?

Userlevel 4
Badge +9

@inshy さん
CVM用とData用の選択基準についてですが、CVM用ディスクにはCVM用パーティションが切られ、そのディスクのCVM用パーティション以外の領域にはデータが配置されます。データ配置の優先度としてはCVM用ディスクのデータ領域の方が、Data用ディスクよりも上位なので、基本的に最速のストレージ(ご利用予定のNUCならNVMe)をCVM用にすることをお勧めします。

異なる3タイプのストレージでの階層化はうまく行かない可能性が多分にあるため、Data用ディスクとしてはM.2 22x42 SATAか、SATAのどちらか一方を使用するのが無難です(個人的には入手性を鑑みてSATAでいいかな、と思います)。

Userlevel 4
Badge +9

@H.S さん
すみません返信遅くなりました。残念ながらCEでは1ノードの場合復旧不可となります。

Hypervisor Boot、CVM Bootのそれぞれで必要な容量についてご教授頂けますでしょうか。

また、NUCでの構築を考えており、ストレージのインターフェイスとしては下記があるようなのですが

USBはHypervisor用として、それ以外に22x80 NVMe (M)と22x42 SATA (B)があり、

CVMとData用にどちらを割り当てるのが最適か(CVMにそれなりにパフォーマンスが求められるものなのであればNVMe?)についても教えていただけますと幸いです。

NUCとしてはNUC12WSHi5を予定しており、さらにSATAもあるようなので、Cold Tierとしても使えれば使いたいと考えております。

@smzksts さん
ご返事いただき、ありがとうございます。
やはり無理ですか、ネットの記事で旧バージョンや3ノードの復旧方法は見つかったのですが…

SSDやHDDは問題ないのですが、ここからVMだけでも取り出す方法はあるでしょうか?

Userlevel 4
Badge +9

@t-hashimoto さん

ノード追加で失敗する件は、私も検証できていないので現時点では有益な情報を持ち得ていない状態です…。

@xiaoyan さん

私自身が試したことはないのですが、↓が参考になるかもしれません。
https://next.nutanix.com/discussion-forum-14/add-disk-to-node-39209

これで上手くいかない場合は再インストールが早いと思います。

@H.S さん

ce-2020.09.16 以降はUSBメモリのみのインストールが出来なくなってしまいました。
大昔はあったのですが…。残念ながら再インストールが必要となります。

ce-2020.09.16をシングルクラスターで運用していたのですが、ハイパーバイザのUSBメモリが壊れてしまったようで再起動したタイミングで起動できなくなってしまいました。
復旧方法を教えていただけないでしょうか?
 

シングルノードのNutanixCEにディスク(SSD ITB)を増設したいですが、増設可能でしょうか?

可能な場合、増設方法をご教授いただけないでしょうか?
■物理サーバー構成
 ・サーバー:DELLPowerEdgeR620
 ・RIADコントローラ:PERC H710 Mini
 ・ディスク情報:
   ①sda SSD 256GB(Micron1100 2.5インチ) (AHVブートディスク)
   ②sdb SSD 1TB (Crucial MX500 2.5インチ) (CVMブートディスク)
   ③sdc SSD 1TB (Crucial MX500 2.5インチ) (データ)
   ④sdd SDD 1TB ←増設用

 

@smzksts さま

NutanixCE2.0のインストールで、再起動の時(インストーラUSBを抜いた状態)に、表示された「No boot device available」が解消されました。

AHVのブートディスクの差込場所を3番から1番に変更したら、ブートできました。

アドバイスをいただき、ありがとうございました。

以下の英語版のフォーラムで記載されているものと同環境(ESXIのNested)にて環境作成中ですが、

3ノードクラスタ→4ノードクラスタへのノード追加が同じエラー(KB-8842)で失敗します。

https://next.nutanix.com/discussion-forum-14/the-cluster-expansion-fails-with-ssd-tier-on-nodes-u-192-168-105-11-is-not-sized-to-accomodate-expected-metadata-growth-on-cluster-40908


CEだとクラスタへのノード追加には未対応なのでしょうか?
英語版フォーラムをしばらくトレースしてましたが、11か月動きがないのでもう回答はつかないのかと思いこちらで質問させていただきます。

 

@smzksts  さん

今朝再インストールしたところ、

    <pae/>
  </features>
  <cpu mode='host-passthrough' check='none'/>
  <clock offset='utc'/>

となっており、なぜかnumaの設定自体が有りませんでした。

CVMがメモリ確保できずに起動しないのは相変わらずとなります。

別にce2.0の環境はあるので、この機材は旧verで利用しようかと思います。

いろいろとご確認頂き、ありがとうございました。

@smzksts  さん

お返事ありがとうございます。

numaの設定を削除してみましたが、AHVをrebootすると、

numaの設定がもとに戻ってしまいます。

どこぞのAIに聞いてみたところ、仮想マシンを消去するように

アドバイスされたので実行したところ、当然CVMが消え去りましたので、

後ほど再インストール予定です。

Userlevel 4
Badge +9

@Hidetaka さん

ご返信ありがとうございます。CVMのメモリサイズ指定自体は問題無さそうです。

一方で、Hugepagesに関する出力結果を見ると、Hugepagesize以外の行が軒並み0になっているので、お使いのマシンではHugepageが有効でないように見えます。有効な場合AnonHugePages, HugePages_Total, HugePages_Free, Hugetlbあたりに容量が反映されています。

これを頼りに少し掘り下げるため、virsh edit CVM名 でCVMの構成情報を開いてみると、CPU周りの設定がCE 2.0では

  <cpu mode='host-passthrough' check='none'>
    <numa>
      <cell id='0' cpus='0-3' memory='20971520' unit='KiB' memAccess='shared'/>
    </numa>
  </cpu>

となっていました。

https://libvirt.org/formatdomain.html
によると、以下の記載がありました。

Since 1.2.9 the optional attribute memAccess can control whether the memory is to be mapped as "shared" or "private". This is valid only for hugepages-backed memory and nvdimm modules.

よって
・memAccess='shared'という設定があることでhugepagesが要求されている
・このマシンには払い出し可能なhugepagesがない

という状態が原因でCVMが起動しなくなっているものと推測しています。

比較のためce-2020.09.16のCVMの構成情報を確認したところ、CVMのCPU設定は以下のようになっていました。

  <cpu mode='host-passthrough' check='none'>
    <feature policy='disable' name='spec-ctrl'/>
  </cpu>

memAccess='shared'(というかnuma自体の設定)がありませんでしたので、
CE 2.0のCVMのCPU設定をまるっとこの内容に書き換えることで起動可能とならないでしょうか?
同世代のマシンを持っていないので机上の推測ですが、お試し頂けますと幸いです。

@smzksts さん

ご返事いただき、ありがとうございます。
再起動の時(インストーラUSBを抜いた状態)に、「No boot device available」と表示されています。

またBIOSブートマネージャーから表示されている「Integrated RAID PERC H710 Mini(bus 02 dev 00) を選択しても、「No boot device available」と表示されています。

@smzksts  さん

メモリサイズの表記は、20971520 となっており、問題無いかとおもわれます。

cat /proc/meminfo | grep Hugeの結果については、以下の通りです。

[root@NTNX-ce0eb74d-A ~]# cat /proc/meminfo | grep Huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
FileHugePages:         0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
Hugetlb:               0 kB

以上、宜しくお願い致します。

@smzksts  さん
CVMでクラスタの手動作成を行い問題なく完了しました。

ありがとうございました。

@smzksts  さん

早速のご返信ありがとうございました。

クラスタの手動作成は未だ試みておりませんでしたので実行してみます。

Userlevel 4
Badge +9

@NobuyukiK さん

CVMのfirstboot処理は終わっているようですので、この状態からCVMでクラスタの手動作成を行うことは出来ないでしょうか?

https://portal.nutanix.com/page/documents/details?targetId=Nutanix-Community-Edition-Getting-Started-v2_0:top-cluster-config-ce-t.html

シングルノードクラスター作成オプションはチェックせずにインストール進めておりますが、AHV再起動後の処理が途中(CVM初回起動時処理のあたり?)で停止しているように見受けられます。
切り分けの確認ポイントはほかに確認すべきところはございますでしょうか?

(状況)
・再起動後にAHVログインしてコマンド確認するとCVMは動いているように見える。
・CVMへのssh接続とログインは可能。
・CVMから確認して稼働しているプロセスがfoundationとgenesisのみ。
・genesisのログにはZookeeperのエラーが出力している。

1.virsh list --allの結果
 Id   Name                  State
-------------------------------------
 1    NTNX-fac608fe-A-CVM   running

2.genesis statusの結果

2023-05-04 14:17:10.515726: Services running on this node:
  foundation: [3461, 3525, 3526]
  genesis: [2799, 2915, 2939, 2940]

3./home/nutanix/data/logs/genesis.out(抜粋)

2023-05-04 13:44:10,867Z INFO 32878672 foundation_service.py:161 Foundation service started successfully
2023-05-04 13:44:10,868Z INFO 32878672 node_manager.py:7084 Waiting for node to become configured through RPC
2023-05-04 13:44:11,453Z ERROR 59867984 node_manager.py:7046 Zookeeper mapping is unconfigured
2023-05-04 13:44:11,465Z ERROR 59867984 node_manager.py:7046 Zookeeper mapping is unconfigured
2023-05-04 13:59:24,213Z ERROR 59867984 node_manager.py:7046 Zookeeper mapping is unconfigured
2023-05-04 14:06:40,988Z ERROR 59867984 node_manager.py:7046 Zookeeper mapping is unconfigured
2023-05-04 14:14:34,990Z ERROR 59867984 node_manager.py:7046 Zookeeper mapping is unconfigured

4./var/log/firstboot.log(抜粋)

2023-05-04 13:38:24,795 INFO  Running cmd ['touch /create_cvm']
2023-05-04 13:38:49,187 INFO  [1/160] Waiting for CVM to initialize network
2023-05-04 13:39:13,572 INFO  [2/160] Waiting for CVM to initialize network
2023-05-04 13:39:37,957 INFO  [3/160] Waiting for CVM to initialize network
2023-05-04 13:39:55,086 INFO  [4/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:40:10,471 INFO  [5/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:40:25,784 INFO  [6/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:40:41,176 INFO  [7/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:40:56,562 INFO  [8/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:41:11,808 INFO  [9/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:41:27,048 INFO  [10/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:41:42,483 INFO  [11/160] Waiting for CVM first boot to create /tmp/svm_boot_succeeded
2023-05-04 13:41:58,660 INFO  [12/160] Waiting for CVM to finish first boot
2023-05-04 13:42:14,937 INFO  [13/160] Waiting for CVM to finish first boot
2023-05-04 13:42:30,690 INFO  [14/160] Waiting for CVM to initialize services
2023-05-04 13:43:35,350 INFO  Running cmd ['touch /root/firstboot/phases/cvm_firstboot']
2023-05-04 13:43:35,354 INFO  Running cmd ['touch /root/.firstboot_success']
2023-05-04 13:43:35,357 INFO  Running cmd ['service ntpd start']
2023-05-04 13:43:35,405 INFO  Running cmd ['/sbin/chkconfig ntpd on']

Userlevel 4
Badge +9

@Hidetaka さん

マシン側で利用可能なHugePageのサイズも確認出来ると手がかりになるかもしれません。

cat /proc/meminfo | grep Huge

をAHVで実行して、結果をベタ貼りして頂けますと幸いです。