Nutanix CE よろず相談所


Userlevel 4
Badge +9

Nutanix Community Edition(CE)に関する話題はこちらへどうぞ。


63 replies

Userlevel 4
Badge +9

このスレッドこそ最初に作るべきでした…:thinking:

smzksts 様

各CVMから外部への通信はできており、またESXi側でのプロミスキャスモードの有効化もすべて行っております。。。

といろいろ試行錯誤しながらやっていると、別ノードのCVMからクラスタ構成を実行するとなんと成功しました。

原因が結局よくわからない状態ですが、なんとかマルチノードクラスタ構成は何とか完成しました。

一体何が原因だったのだろう・・・という状態ですが、取り急ぎ検証を進めます。

有難うございました。

@smzksts さん

ご案内いただいた手順でNutanixCEを起動できました。

ありがとうございました。

Userlevel 4
Badge +9

遅レスになってしまいましたが、疎通不能なノードの強制削除についてはこちらのKBがご参考になるかと思いますので貼らせて頂きます。

Removing Unreachable or Powered-off Nodes From Nutanix Clusters
https://portal.nutanix.com/page/documents/kbs/details?targetId=kA032000000TSnZCAW

 

Prism Central VMもグレーアウトしてしまっているとのことなので、もしも仮にPrism Central配下からの強瀬離脱も必要となった場合のための情報として、こちらもご参考まで。

Unregister cluster from Prism Central and cleanup | Force unregister PE from PC after PC is deleted
https://portal.nutanix.com/page/documents/kbs/details?targetId=kA00e000000XeZjCAK

How to delete a Prism Central VM
https://portal.nutanix.com/page/documents/kbs/details?targetId=kA00e000000LKnuCAG

Userlevel 4
Badge +9

@Muneto さん

ご報告ありがとうございます。

どうやらノードが削除できていないようですね…。
ncli host rm-startコマンドに force=true というオプションを追加すると成功するかもしれません。

また、古いPCは、PrismのGUI操作では削除できませんが、CVMのコマンドラインで 
acli vm.delete <Prism Central VM name> で消せるのではないかと思います。
(私自身も過去何度か、この操作で削除しています)

ただ、古いPCが残っていてもディスク容量の消費以外、干渉したりすることは無いはずですので、新しいPCをデプロイし、接続して頂いても問題ないと思います。

smzksts 様

 

他のホストは正常に動作していますので、グレー以外の仮想マシンの変更や新規作成には問題ありません。

 

ホスト(クラスタ)の再構築は最終手段としてある程度覚悟はしていました。

スペックはかなり落ちるものの、一時的な受け皿とするための機材は何とかなりそうですので、最悪そうしないといけないね、と内輪では話をしていた感じです。

仰るとおり、かなりいろいろなテストをしたりホストの差し替えを頻繁に行ったりで無茶している環境ではありますので、このあたりですっきりと整理しても良いかなと思っています。

 

まだご提示いただいたKBの内容は読み切れていませんが、なんとなく一致しそうな気がしています。

Acropolisサービスのマスター再起動はまた後日試してみて、解決しなければ一時的に別のクラスタ作ってAsyncDRで逃がしてクラスタを1から再構成することを計画しようと思います。

 

CE版にも関わらず、いろいろアドバイスいただけてむしろ感謝しております。

また少し間が空くと思いますが、結果などは報告させていただきますのでよろしくお願いします。

 

Userlevel 4
Badge +9

@keroro9 さん

すみません反応が遅れてしましました。

CE 2.0ではESXiのサポートはやめておりまして、やめたとは言っても一つ前のバージョンの仕組みがそのまま入った形になっているので動く場合もあるのですが、当時からESXiでのインストールは正直なところ鬼門です。大概はESXiがディスクを認識した際のシリアルのフォーマットが多岐にわたることで、CVMへのパススルー(RDM)を設定するところで処理用のスクリプトが対応しきれず失敗しています。

↓の資料は一つ前のCEとESXi 6.7系で起きていた症状に対するものですが、どうやら7.0系以降でも発生する場合があるようなので、参考になるかもしれません。

https://speakerdeck.com/smzksts/nutanix-ce-5-dot-18-deep-dive?slide=58

こんにちは。

https://speakerdeck.com/smzksts/nutanix-ce-5-dot-18-deep-dive?slide=56

上記の56スライド目以降を拝見して、Nutanix CE 5.18にESXiをインストールするときに必要なLocal VMFS有効化を行おうとしましたが、インストール後リブート前に/dev/sdd5 をマウント時にdoes not exitと返されてしまい、/dev/sda5 の起動用のjsonファイルの該当箇所は元から

"user_vmfs?_datastore":"true"

となっているのですが、そのままrebootをかけるとFaild-Installになってしまいますが、
ssd5のパスは環境によってかわりますでしょうか。(ls /dev で確認したところssd1のみ確認できましたが/Nutanix以下のディレクトリはなし)

■試したESXiバージョン
7.0U2a-17867351
7.0-15843807
6.7-14320388

何卒宜しくお願い致します。

自己解決済み

7.0U2a-17867351
7.0-15843807

→VMFS参照不可


6.7-14320388

→VMFS参照可,CVMの起動に失敗していたので,スライド62以降の手順でpyスクリプトの修正・再実行・Clusterの手動作成にて無事Prsim起動いたしました。

Userlevel 4
Badge +9

@jun masuda さま

Hyper-Vを意味するようなメッセージが出る場合、Windowsで作成したパーティションが誤って読み込まれてしまっている場合が多いです。

sdaに相当するデバイスのパーティションを読み込んでそのように表示されているようなので、手動でパーティションを削除してからリトライしてみていただけますでしょうか。

smzksts 様

 

だいぶ間が開いてしまい恐縮ですが、一部仮想マシンが削除できない&ホストも削除できないの件で、少し前進しました。

 

Acropolisのマスター再起動はまだ試していませんが、別のクラスタをシングルノードで構築してリモートDRでクラスタ跨いでスナップショットを取る、というのをやってみました。

 

結果としては、灰色になって起動も削除もできなかった仮想マシンを含め(少々驚きました)、スナップショットの取得に成功、別のクラスタ上で正常に起動することも確認できました。

灰色になった仮想マシンの復旧方法としても使えそうです。

 

とりあえず必要そうな仮想マシンを新しいクラスタに一旦退避して、何が起きても大丈夫な状態でAcropolisのマスター再起動も試してみようと思います。

 

業務の合間で試しているのでなかなか進みませんが、また報告させていただきます。

お世話になります。

SSHクライアントの縦横の表示文字数(ウィンドウサイズ)を目一杯広げてからインストーラーを再実行してみてはいかがでしょうか?

 

ご推察・ご指摘の通りでした…。

SSH経由操作だけでスクリーンサイズ不足のエラーを回避できるものと思い込んでおり、

恥ずかしながら、エラーメッセージの文意通りの事を試しておりませんでした。

 

その後無事仮想マシン構築までたどり着けました。

実は今回、このためだけに環境を一式揃えたもので、

お陰様で10万円超の出費が無駄にならずに済みそうです。

本当にありがとうございました。

 

Userlevel 4
Badge +9

@Takayuki Momose さま
CE 202.09.16ですと仮想マシンのUEFIブートにいくつか問題があるようでして、
acli vm.nic_create <VM_NAME> model=e1000 network=<VM_NETWORK_NAME>
という感じでNICをVirtIOではなくe1000に妥協することで一応NIC付きでの起動まで行けるのですが、Windows Server 2019や2016では、その後OSのインストーラーで、ドライバーを読み込ませた後のステップにBSODになってしまいました。

私の方では有効な手立てを持ち合わせておらず、本バージョンではLegacy Bootでお使いいただくことをオススメしております…。

@smzksts 様

ご返事いただき、ありがとうございます。

最新のCE 2.0で試してみます。

smzksts 様(島崎さん)

 御世話になっております。早々にRES有り難うございます。早速試してみます。

その他の機能に付いても色々試してみますね。何か有ったらレポートさせて頂きます!

Nutanix Filesについてご教示ください。

CE(202009)にてサポートされたと聞き試行したところ、毎回タスクが下記メッセージにてエラー停止します。

「Cannot complete request in state InvalidVmState: Cannot complete request in state Paused」

確かにVMタブを見ていると、いったんFile Server VMがパワーオンし、その後ポーズ状態に遷移し削除されています。何か思い当たる解決策がありましたら、ご教示ください。

 

お世話になります。
ASRock DeskMini H470上にce-2020.09.16環境を構築しようとしています。
インストール後、AHVにログインするとNICが認識しなくなり手詰まっています。
インストール時に認識しないという情報は沢山あるのですが、インストール後の事例が無く右往左往しています。
対策方法ありましたらご教示お願いします。

 

[構成]
ASRock DeskMini H470
Intel Corei5-11400
Team SO-DIMM PC4-25600 32GB x2
WD Blue PC M.2-2280 SATA WDS100T2B0B-EC 
Seagate 2.5inch SATA HDD 1TB ST1000LM048
TRANSCEND TS32GJF720S

 

Nutanix Community Edition 5.18 徹底解説に沿って作業することでインストールは出来ました。
NICがI219-Vですので下記のe1000e.koドライバをロードすることで認識できました。https://smzklab.net/downloads

 

AHVにログインすると下記エラーとなり次に進まなくなってしまいます。
/etc/sysconfig/network-scripts/ifup-eth[9999]:Device eth0 dose not seem to be present, delaying initialization.
Faild to start LSB: Bring up/down networking.
network.service faild.


ifcfg-eth0の内容
-----------------
Device=eth0
TYPE=Ethernet
NM_CONTROLLED=no
NOZEROCONF=yes
ONBOOT=yes
BOOTPROTO=none
HWADDR=aa:aa:aa:aa:aa:aa
-----------------
HWADDRはインストール時に"ip a"で見えたMACアドレスが書き込まれています。
インストール時に設定したIPアドレスが書き込まれていない?

 

modprobeで読み込んでifupしても認識せず。
もう一度insmodで入れようとすると"signature not signed with a trusted key"となります。
セキュアブートはOFFですし、"mokutil --sb-state"でもSecureBoot disabledとなっています。

徹底解説にある方法で自前でドライバをmakeしても同じ現象になりました。


何か考えられる原因はあるでしょうか?
よろしくお願いします。

smzksts 様

お世話になっております。

CEの勉強を始めているのですが、まずは環境をと思い、空いている物理ホストのESXi7.0U3上に3台のCE環境を準備し、マルチノードクラスターを構成しようとしているのですが、どうもうまくいきません。

それぞれのCVMにはpingが通るのですが、お互いCVM間の通信が不安定なようで、

cluster -s 172.30.0.211,172.30.0.212,172.30.0.213 create

を実行すると、
INFO cluster:2729 Executing action create on SVMs 172.30.0.211,172.30.0.212,172.30.0.213
CRITICAL cluster:975 Could not discover all nodes specified. Please make sure that the SVMs from which you wish to create the cluster are not already part of another cluster. Undiscovered ips : 172.30.0.212,172.30.0.213

となり、構成ができないようです。

当初pingはDUPになっていたので、物理ホストの物理NICが2枚なので、片方をスタンバイにすると重複はなくなったのですが、どうもpingが1回目はロストし、2回目以降に通信可能になり、clusterコマンドで失敗すると言う感じです。

CVMへの外部からの通信は問題ないので、CEノード間のCVMの通信に問題がありそうです。なにかマルチキャストの制御などの設定変更が必要なのでしょうか?

 

お作法等あればご教示いただきたく、宜しくお願いいたします。

NutanixCEについてご教示ください。

物理サーバー(RX1330 M4 ベアメタル)を購入し、 NutanixCEをUSBブートにて導入しようとしておりますが、 機器がUEFIブートしか対応しておりませんでした。 そのため、フォーマットがFAT32でしかブートの認識をしてくれないのですが、 4GBを超えるNutanixCEイメージをFAT32形式でUSBに保存できません。 何か解決方法があれば教えていただけないでしょうか。

Userlevel 4
Badge +9

@HK99 さま

ESXi上でネストする際のネットワーク周りのお作法というと、ESXi側でのプロミスキャスモードの有効化くらいですね…ズバリ「これです!」というお答えが出来ず申し訳ありません。

現状、各CVMから外部へ向けての通信についても特に問題ない状態でしょうか?

CVM→自ノードのAHV、CVM→他ノードのAHV、CVM→他ノードのCVM、CVM→その他のIPアドレス、といった順序で切り分けをして行くのが良さそうに思います。

また、一手間掛かりますが、各ノードで一旦それぞれシングルノードクラスタを構成して、シングルノードクラスタ上のゲスト間の通信が正常であるか、といった確認をするのも1つの手かと思います。

Userlevel 4
Badge +9

@Takayuki Momose さん

ご質問ありがとうございます。

Nutanix CEのブートUSBを作成する際は、フォーマット済みのUSBメモリにファイルを放り込むのではなく、imgファイル自身がディスクイメージ(内部にパーティションやファイルシステムがある)なので、イメージ書込みツールやddコマンド等で書き込む必要があります。(USBメモリ自体を事前に何らかのファイルシステムでフォーマットする必要はありません)

下記の記事における手順4が当該の部分です。
一度こちらの方法をご確認いただけますでしょうか?

https://blog.ntnx.jp/entry/2020/02/24/152143

 

5.18を新規インストールしているのですが、特にエラー表示もないまま途中で停止してしまい、何を解消すれば良いのかわからない状態です。

もし関連するエラーをご存じの方がいましたら、次にどこを確認したら良さそうか教えていただけませんか?

インストーラUSBで起動時下記が表示されます。

FATAL An exception was raised: Traceback (most recent call last):
File "./phoenix", line 125, in <module>
main()
File "./phoenix", line 84, in main
params = gui.get_params(gui.CEGui)
File "/root/phoenix/gui.py", line 1802, in get_params
gp.factory_config = sysUtil.find_factory_config()
File "/root/phoenix/sysUtil.py", line 478, in find_factory_config
block_devs = collect_disk_info()
File "/usr/lib/python2.7/site-packages/foundation_layout-99.0+r.1284.8348b43-py2.7.egg/hardware_inventory/disk_info.py", line 220, in collect_disk_info
perf_cache[dev_info.dev].readIOPS = test_device_perf_rd(dev_info.dev)
File "/usr/lib/python2.7/site-packages/foundation_layout-99.0+r.1284.8348b43-py2.7.egg/hardware_inventory/disk_info.py", line 325, in test_device_perf_rd
raise StandardError("Disk test could not run: (%d, %s)" % (ret, err))
StandardError: Disk test could not run: (1, fio: failed opening blockdev /dev/sdf for size check
file:filesetup.c:699, func=open(/dev/sdf), error=No medium found
fio: pid=0, err=123/file:filesetup.c:699, func=open(/dev/sdf), error=No medium found)

その後、sshで再接続して、 ./ce_installer && screen -r を実行しても、

[root@phoenix ~]# ./ce_installer
2022-09-27-19:13:47-UTC ./ce_installer: line 298: [: too many arguments
2022-09-27-19:13:47-UTC Loading drivers
2022-09-27-19:13:50-UTC Removing the built-in i40e driver and reloading the new i40e driver
2022-09-27-19:13:50-UTC Getting DHCP address for phoenix
2022-09-27-19:13:50-UTC dhclient(3398) is already running - exiting.
2022-09-27-19:13:50-UTC
2022-09-27-19:13:50-UTC This version of ISC DHCP is based on the release available
2022-09-27-19:13:50-UTC on ftp.isc.org. Features have been added and other changes
2022-09-27-19:13:50-UTC have been made to the base software release in order to make
2022-09-27-19:13:50-UTC it work better with this distribution.
2022-09-27-19:13:50-UTC
2022-09-27-19:13:50-UTC Please report for this software via the CentOS Bugs Database:
2022-09-27-19:13:50-UTC http://bugs.centos.org/
2022-09-27-19:13:50-UTC
2022-09-27-19:13:50-UTC exiting.
2022-09-27-19:13:52-UTC Running /ce_installer
2022-09-27-19:13:52-UTC INFO Installing /usr/lib/python2.7/site-packages/foundation_layout-99.0+r.1284.8348b43-py2.7.egg
2022-09-27-19:13:52-UTC INFO /root/components doesnt exist

と表示されて、screen が残らない状態になってしまいます。ifconfigで DHCPでIPアドレスが取得できていることは確認済みです。(/tmp/phoenix.log もほぼ同様の内容で追記無い状態です。)

SSD(2TB) x2, HDD(2TB) x2, NIC x2 は認識済み

ご返信ありがとうございます。
USBWriterで書き込むと、BootOptionでUSBが選択肢に出てきません。
おそらくUEFI対応のみで、CSMの設定がない機種なので
FAT32形式でフォーマットし、imgファイルを配置しないと選択出来ないと思っております。
(NTFSやexFATだとブートの選択ができませんでした)
※Windowsの場合ですが下記記事などを参考にしています。
https://syobon.jp/blog/2017/07/24/melancholy-of-windows-server-manager-tips-01/

もし、無理なようであればESXiで仮想環境に導入したいと考えています。

Userlevel 4
Badge +9

すみません、問題点を読み違えておりました…:pray:

[4枚目]Nutanix Advent Calendar 2019 にご投稿いただいた記事に、まさにという情報がありました。こちらでいかがでしょうか?

UEFIネイティブな NutanixComunityEdition

ありがとうございます!

Linuxサーバー調達してやってみたいと思います。

Userlevel 4
Badge +9

@Takayuki Momose さん

ご報告ありがとうございます!よかったです:thumbsup:

Reply