このスレッドこそ最初に作るべきでした…

smzksts 様（島崎さん）

　御世話になっております。早々にRES有り難うございます。早速試してみます。

その他の機能に付いても色々試してみますね。何か有ったらレポートさせて頂きます！

@Takayuki Momose さま
CE 202.09.16ですと仮想マシンのUEFIブートにいくつか問題があるようでして、
acli vm.nic_create <VM_NAME> model=e1000 network=<VM_NETWORK_NAME>
という感じでNICをVirtIOではなくe1000に妥協することで一応NIC付きでの起動まで行けるのですが、Windows Server 2019や2016では、その後OSのインストーラーで、ドライバーを読み込ませた後のステップにBSODになってしまいました。

私の方では有効な手立てを持ち合わせておらず、本バージョンではLegacy Bootでお使いいただくことをオススメしております…。

お世話になります。

SSHクライアントの縦横の表示文字数(ウィンドウサイズ)を目一杯広げてからインストーラーを再実行してみてはいかがでしょうか？

ご推察・ご指摘の通りでした…。

SSH経由操作だけでスクリーンサイズ不足のエラーを回避できるものと思い込んでおり、

恥ずかしながら、エラーメッセージの文意通りの事を試しておりませんでした。

その後無事仮想マシン構築までたどり着けました。

実は今回、このためだけに環境を一式揃えたもので、

お陰様で10万円超の出費が無駄にならずに済みそうです。

本当にありがとうございました。

smzksts 様

各CVMから外部への通信はできており、またESXi側でのプロミスキャスモードの有効化もすべて行っております。。。

といろいろ試行錯誤しながらやっていると、別ノードのCVMからクラスタ構成を実行するとなんと成功しました。

原因が結局よくわからない状態ですが、なんとかマルチノードクラスタ構成は何とか完成しました。

一体何が原因だったのだろう・・・という状態ですが、取り急ぎ検証を進めます。

有難うございました。

自己解決済み

7.0U2a-17867351
7.0-15843807

→VMFS参照不可

6.7-14320388

→VMFS参照可，CVMの起動に失敗していたので，スライド６２以降の手順でpyスクリプトの修正・再実行・Clusterの手動作成にて無事Prsim起動いたしました。

@jun masuda さま

Hyper-Vを意味するようなメッセージが出る場合、Windowsで作成したパーティションが誤って読み込まれてしまっている場合が多いです。

sdaに相当するデバイスのパーティションを読み込んでそのように表示されているようなので、手動でパーティションを削除してからリトライしてみていただけますでしょうか。

smzksts 様

だいぶ間が開いてしまい恐縮ですが、一部仮想マシンが削除できない＆ホストも削除できないの件で、少し前進しました。

Acropolisのマスター再起動はまだ試していませんが、別のクラスタをシングルノードで構築してリモートDRでクラスタ跨いでスナップショットを取る、というのをやってみました。

結果としては、灰色になって起動も削除もできなかった仮想マシンを含め（少々驚きました）、スナップショットの取得に成功、別のクラスタ上で正常に起動することも確認できました。

灰色になった仮想マシンの復旧方法としても使えそうです。

とりあえず必要そうな仮想マシンを新しいクラスタに一旦退避して、何が起きても大丈夫な状態でAcropolisのマスター再起動も試してみようと思います。

業務の合間で試しているのでなかなか進みませんが、また報告させていただきます。

smzksts 様

他のホストは正常に動作していますので、グレー以外の仮想マシンの変更や新規作成には問題ありません。

ホスト（クラスタ）の再構築は最終手段としてある程度覚悟はしていました。

スペックはかなり落ちるものの、一時的な受け皿とするための機材は何とかなりそうですので、最悪そうしないといけないね、と内輪では話をしていた感じです。

仰るとおり、かなりいろいろなテストをしたりホストの差し替えを頻繁に行ったりで無茶している環境ではありますので、このあたりですっきりと整理しても良いかなと思っています。

まだご提示いただいたKBの内容は読み切れていませんが、なんとなく一致しそうな気がしています。

Acropolisサービスのマスター再起動はまた後日試してみて、解決しなければ一時的に別のクラスタ作ってAsyncDRで逃がしてクラスタを１から再構成することを計画しようと思います。

CE版にも関わらず、いろいろアドバイスいただけてむしろ感謝しております。

また少し間が空くと思いますが、結果などは報告させていただきますのでよろしくお願いします。

@Muneto さん

ご報告ありがとうございます。

どうやらノードが削除できていないようですね…。
ncli host rm-startコマンドに force=true というオプションを追加すると成功するかもしれません。

また、古いPCは、PrismのGUI操作では削除できませんが、CVMのコマンドラインで 
acli vm.delete <Prism Central VM name> で消せるのではないかと思います。
(私自身も過去何度か、この操作で削除しています）

ただ、古いPCが残っていてもディスク容量の消費以外、干渉したりすることは無いはずですので、新しいPCをデプロイし、接続して頂いても問題ないと思います。

@smzksts 様

ご返事いただき、ありがとうございます。

最新のCE 2.0で試してみます。

遅レスになってしまいましたが、疎通不能なノードの強制削除についてはこちらのKBがご参考になるかと思いますので貼らせて頂きます。

Removing Unreachable or Powered-off Nodes From Nutanix Clusters
https://portal.nutanix.com/page/documents/kbs/details?targetId=kA032000000TSnZCAW

Prism Central VMもグレーアウトしてしまっているとのことなので、もしも仮にPrism Central配下からの強瀬離脱も必要となった場合のための情報として、こちらもご参考まで。

Unregister cluster from Prism Central and cleanup | Force unregister PE from PC after PC is deleted
https://portal.nutanix.com/page/documents/kbs/details?targetId=kA00e000000XeZjCAK

How to delete a Prism Central VM
https://portal.nutanix.com/page/documents/kbs/details?targetId=kA00e000000LKnuCAG

@Takayuki Momose さん

ご質問ありがとうございます。

Nutanix CEのブートUSBを作成する際は、フォーマット済みのUSBメモリにファイルを放り込むのではなく、imgファイル自身がディスクイメージ(内部にパーティションやファイルシステムがある)なので、イメージ書込みツールやddコマンド等で書き込む必要があります。(USBメモリ自体を事前に何らかのファイルシステムでフォーマットする必要はありません)

下記の記事における手順4が当該の部分です。
一度こちらの方法をご確認いただけますでしょうか？

https://blog.ntnx.jp/entry/2020/02/24/152143

@keroro9 さん

すみません反応が遅れてしましました。

CE 2.0ではESXiのサポートはやめておりまして、やめたとは言っても一つ前のバージョンの仕組みがそのまま入った形になっているので動く場合もあるのですが、当時からESXiでのインストールは正直なところ鬼門です。大概はESXiがディスクを認識した際のシリアルのフォーマットが多岐にわたることで、CVMへのパススルー(RDM)を設定するところで処理用のスクリプトが対応しきれず失敗しています。

↓の資料は一つ前のCEとESXi 6.7系で起きていた症状に対するものですが、どうやら7.0系以降でも発生する場合があるようなので、参考になるかもしれません。

https://speakerdeck.com/smzksts/nutanix-ce-5-dot-18-deep-dive?slide=58

@smzksts さん

ご案内いただいた手順でNutanixCEを起動できました。

ありがとうございました。

@smzksts　お世話になっております。keroro9です。こちらこそreply気が付かずすみません。機材が実家にある関係で（VPN越しに触れはしますが）、あまり注力できていない現状はあります。それはされておき、状況についてご教示いただきありがとうございました。（非サポートとはいえ）こちらでも確認してみます。

@smzksts さま

最新のCE2.0で試してみましたが、同じ現象が発生しています。

「Hypervisor、ディスク構成、IPの設定入力」画面で内蔵ディスクがHDDとして認識されて、CVMブートディスクがSSDである必要との条件に引っ掛かって、インストールが進めません。

お世話になります。
ASRock DeskMini H470上にce-2020.09.16環境を構築しようとしています。
インストール後、AHVにログインするとNICが認識しなくなり手詰まっています。
インストール時に認識しないという情報は沢山あるのですが、インストール後の事例が無く右往左往しています。
対策方法ありましたらご教示お願いします。

�構成]
ASRock DeskMini H470
Intel Corei5-11400
Team SO-DIMM PC4-25600 32GB x2
WD Blue PC M.2-2280 SATA WDS100T2B0B-EC 
Seagate 2.5inch SATA HDD 1TB ST1000LM048
TRANSCEND TS32GJF720S

Nutanix Community Edition 5.18 徹底解説に沿って作業することでインストールは出来ました。
NICがI219-Vですので下記のe1000e.koドライバをロードすることで認識できました。https://smzklab.net/downloads

AHVにログインすると下記エラーとなり次に進まなくなってしまいます。
/etc/sysconfig/network-scripts/ifup-eth�9999]:Device eth0 dose not seem to be present, delaying initialization.
Faild to start LSB: Bring up/down networking.
network.service faild.

ifcfg-eth0の内容
-----------------
Device=eth0
TYPE=Ethernet
NM_CONTROLLED=no
NOZEROCONF=yes
ONBOOT=yes
BOOTPROTO=none
HWADDR=aa:aa:aa:aa:aa:aa
-----------------
HWADDRはインストール時に"ip a"で見えたMACアドレスが書き込まれています。
インストール時に設定したIPアドレスが書き込まれていない？

modprobeで読み込んでifupしても認識せず。
もう一度insmodで入れようとすると"signature not signed with a trusted key"となります。
セキュアブートはOFFですし、"mokutil --sb-state"でもSecureBoot disabledとなっています。

徹底解説にある方法で自前でドライバをmakeしても同じ現象になりました。

何か考えられる原因はあるでしょうか？
よろしくお願いします。

smzksts 様

お世話になっております。

CEの勉強を始めているのですが、まずは環境をと思い、空いている物理ホストのESXi7.0U3上に3台のCE環境を準備し、マルチノードクラスターを構成しようとしているのですが、どうもうまくいきません。

それぞれのCVMにはpingが通るのですが、お互いCVM間の通信が不安定なようで、

cluster -s 172.30.0.211,172.30.0.212,172.30.0.213 create

を実行すると、
INFO cluster:2729 Executing action create on SVMs 172.30.0.211,172.30.0.212,172.30.0.213
CRITICAL cluster:975 Could not discover all nodes specified. Please make sure that the SVMs from which you wish to create the cluster are not already part of another cluster. Undiscovered ips : 172.30.0.212,172.30.0.213

となり、構成ができないようです。

当初pingはDUPになっていたので、物理ホストの物理NICが2枚なので、片方をスタンバイにすると重複はなくなったのですが、どうもpingが1回目はロストし、2回目以降に通信可能になり、clusterコマンドで失敗すると言う感じです。

CVMへの外部からの通信は問題ないので、CEノード間のCVMの通信に問題がありそうです。なにかマルチキャストの制御などの設定変更が必要なのでしょうか？

お作法等あればご教示いただきたく、宜しくお願いいたします。

@HK99 さま

ESXi上でネストする際のネットワーク周りのお作法というと、ESXi側でのプロミスキャスモードの有効化くらいですね…ズバリ「これです！」というお答えが出来ず申し訳ありません。

現状、各CVMから外部へ向けての通信についても特に問題ない状態でしょうか？

CVM→自ノードのAHV、CVM→他ノードのAHV、CVM→他ノードのCVM、CVM→その他のIPアドレス、といった順序で切り分けをして行くのが良さそうに思います。

また、一手間掛かりますが、各ノードで一旦それぞれシングルノードクラスタを構成して、シングルノードクラスタ上のゲスト間の通信が正常であるか、といった確認をするのも1つの手かと思います。

@smzksts さま みなさま

(背景）

お世話になっております。keroro9と申します。業務ではスクラップ＆ビルドが難しいので、個人の機材でいろいろやっております。普通にNutanixを入れるというところは到達できましたので、ハイパーバイザをESXi（＋vCenter）で動かせないかと思い実験しています。

（現象）

phoenix-ce2.0-fraser-6.5.2-stable-fnd-5.3.4-x86_64.iso を用いて、ESXiのISOはVMware-ESXi-7.0.3-22348816-HPE-703.0.0.11.5.0.6-Oct2023.isoを用いて検証を行っております。インストーラは正常終了し、その後ESXiが起動。何度か再起動を繰り返し、インストール進捗に応じてCVMのVM名が変更されます。しばらく待つとFailed-installとVM名が変わります。この時、ストレージは

NTNX-local-ds-038819d1-Aというものができていますが、本来期待した容量よりはるかに小さく、正常に生成されていないと考えられます。

（お伺いしたい事）

・まず前提のログ調査などが行えていません。皆様にお伺いする際にざっと見たほうが良いログの調査方法、場所などご教示いただけませんか。

・一般的な知見において、Failed-installに落ちてしまう原因があれば教えてください。

（環境情報）

ProLiant DL360 Gen9

CPU E5-2690 v4 @ 2.60GHz *2

メモリ 128GB

SSD KingFast 256GB*2

SAS HDD 900GB*3

NVMe SSD 2TB

インストール時の構成は下記のとおりです。

5.18を新規インストールしているのですが、特にエラー表示もないまま途中で停止してしまい、何を解消すれば良いのかわからない状態です。

もし関連するエラーをご存じの方がいましたら、次にどこを確認したら良さそうか教えていただけませんか？

インストーラUSBで起動時下記が表示されます。

FATAL An exception was raised: Traceback (most recent call last):
  File "./phoenix", line 125, in <module>
    main()
  File "./phoenix", line 84, in main
    params = gui.get_params(gui.CEGui)
  File "/root/phoenix/gui.py", line 1802, in get_params
    gp.factory_config = sysUtil.find_factory_config()
  File "/root/phoenix/sysUtil.py", line 478, in find_factory_config
    block_devs = collect_disk_info()
  File "/usr/lib/python2.7/site-packages/foundation_layout-99.0+r.1284.8348b43-py2.7.egg/hardware_inventory/disk_info.py", line 220, in collect_disk_info
    perf_cachetdev_info.dev].readIOPS = test_device_perf_rd(dev_info.dev)
  File "/usr/lib/python2.7/site-packages/foundation_layout-99.0+r.1284.8348b43-py2.7.egg/hardware_inventory/disk_info.py", line 325, in test_device_perf_rd
    raise StandardError("Disk test could not run: (%d, %s)" % (ret, err))
StandardError: Disk test could not run: (1, fio: failed opening blockdev /dev/sdf for size check
file:filesetup.c:699, func=open(/dev/sdf), error=No medium found
fio: pid=0, err=123/file:filesetup.c:699, func=open(/dev/sdf), error=No medium found)

その後、sshで再接続して、　./ce_installer && screen -r　を実行しても、

rroot@phoenix ~]# ./ce_installer
2022-09-27-19:13:47-UTC ./ce_installer: line 298: f: too many arguments
2022-09-27-19:13:47-UTC Loading drivers
2022-09-27-19:13:50-UTC Removing the built-in i40e driver and reloading the new i40e driver
2022-09-27-19:13:50-UTC Getting DHCP address for phoenix
2022-09-27-19:13:50-UTC dhclient(3398) is already running - exiting.
2022-09-27-19:13:50-UTC
2022-09-27-19:13:50-UTC This version of ISC DHCP is based on the release available
2022-09-27-19:13:50-UTC on ftp.isc.org.  Features have been added and other changes
2022-09-27-19:13:50-UTC have been made to the base software release in order to make
2022-09-27-19:13:50-UTC it work better with this distribution.
2022-09-27-19:13:50-UTC
2022-09-27-19:13:50-UTC Please report for this software via the CentOS Bugs Database:
2022-09-27-19:13:50-UTC     http://bugs.centos.org/
2022-09-27-19:13:50-UTC
2022-09-27-19:13:50-UTC exiting.
2022-09-27-19:13:52-UTC Running /ce_installer
2022-09-27-19:13:52-UTC INFO Installing /usr/lib/python2.7/site-packages/foundation_layout-99.0+r.1284.8348b43-py2.7.egg
2022-09-27-19:13:52-UTC INFO /root/components doesnt exist

と表示されて、screen が残らない状態になってしまいます。ifconfigで　DHCPでIPアドレスが取得できていることは確認済みです。（/tmp/phoenix.log　もほぼ同様の内容で追記無い状態です。）

SSD（2TB） x2, HDD（2TB） x2, NIC x2　は認識済み

@S.Satoshi さま
１つ目のエラーメッセージでそれらしい内容としては、 /dev/sdf のディスクテストができないという表示がありますね…切り分けのために、いったん sdf に相当するディスクを外した状態でインストーラGUIが起動するかどうかをご確認いただくことは可能でしょうか？

screenが残らない件についても、↑のエラーでインストーラGUIの表示後にすぐに消える(あるいは表示に失敗する)、という挙動によるものかな推測しております。

@smzksts さま　 ご連絡遅くなりました。DELLのサーバでインストールを進めていましたが、CDの他にリムーバブルドライブとしてディスクイメージが指定できるようなのですが、それが中身のないドライブ/dev/sdf となっていました。ダミーのイメージを認識させることで、インストールを進めることができました。引き続き4台構成のインストールを進めてみたいと思います。

ダミーのイメージの認識とは具体的にどのような手順を取ったのでしょうか。