Nutanix CE 2.0 よろず相談所

@STier 早速のご回答ありがとうございます。

私の環境も自宅からVPN経由でiDRACにアクセスしているので、安定した通信環境ではありません。

NW環境見直す or USBでインストールを試してみたいと思います。

@ryo3_kun さん

先日はありがとうございました。

私自身が当たったことない事象のためぱっと思いつく解決策がないく恐縮なのですが…たとえば英語フォーラムの下記こちら(https://next.nutanix.com/discussion-forum-14/trying-to-create-and-start-a-single-node-cluster-in-ce2-critical-mainthread-cluster-1430-cluster-initialization-on-x-x-x-x-failed-with-ret-false-42552/index2.html)のトピックだと、ディスクのシリアルが同一のものとして認識されてしまったことが原因で、似たような事象が発生していたようです。こちら該当してはいないでしょうか？

商用だとこういったことが起きないHWモデル/ファームウェアが必ず選定されるのですが、CEでこういった性質のHWに当たってしまうと”重複しているものを物理的に取り外す”という対応をとらざるを得ないかもしれません…。

お世話になっております。下記の件、何か解決方法がありますでしょうか？

・クラスター構成(NutanixCE2.0):
　AHVを備えた 3つのノード (A、B、C)
　ノード A  
　ノード B 
　ノード C に障害があります

・実行した手順:
　「クラスターの拡張」新しいオプションを使用して、ノード C と同じハードウェア構成を持つ AHV をノード (ノード D) として、クラスタに追加しました。 ノード D の追加プロセスが成功しました
　。 (通知と進行状況モニターで確認されました)。
　ノード D がクラスター プリズム ダッシュボードに表示されます。

・問題：
　クラスター Prism から「ホストの削除」を実施して、障害のあるノード C を削除しようとすると、エラーメッセージ「ノードを削除対象としてマークできません
　。「ノード 20261765 はクラスターに追加されています」が表示されて、
　ノード C が削除できません。ノード D はまだクラスターに追加されているとのエラーメッセージです。

　CLI経由でノードCを強制的に削除しようとしましたが、同じエラーが表示されて、うまくいきませんでした。
 

@xiaoyan さん

> CLI経由でノードCを強制的に削除しようとしましたが、同じエラーが表示されて、うまくいきませんでした。

については KB-2379 にあるような ncli host rm-start コマンドをお使いでしょうか？

あるいは、コマンドリファレンスにあるようなforceオプションも付けても実行されない状況でしょうか。もしまだでしたらお試し頂くことで解消される可能性はあるかと思います。(とはいえリスクのあるオプションではあるため、悪影響の出る可能性も踏まえ自己責任でという点は何卒ご了承ください…)

https://portal.nutanix.com/page/documents/details?targetId=Command-Ref-AOS-v6_6:acl-ncli-host-auto-r.html

@xiaoyan forceでも外れないとなると難しい問題な気がしています…。
参考までにncliコマンドのエラーメッセージの全文を(元の英文そのまま)を貼り付けていただくことは可能でしょうか？(スクショでも構いません)

有力情報を必ずしもご提供できるとは限らないのですが、社内で検索を掛けてみようと思っています。
(なにも有力情報が無かった場合は何卒ご容赦ください…)

@xiaoyan さん

正直まだ「これだ」という答えにはたどり着けていないのですが、状態としては↓と同じような状況でしょうか(新しいノードがMetadata Ringに参加できていない)。
https://next.nutanix.com/discussion-forum-14/nutanix-ce-expand-cluster-stuck-42646

ディスクの利用率が高くない状況であれば、いったんノードCのHWを直してから1ノードクラスタとしてセットアップして、そちらにAsync DRでゲストVMを逃がしてから、A,B,Dでクラスタを組み直す、といったやり方がいちばんクリーンかもしれません。

お世話になっております。keroro9です。

仕事のほうで、Nutanixを触る機会が今後増えそうということでNutanix熱が再燃してきました。

ヤフオクに張り付き、下記の構成で考えております。※あくまでデモ用途です。

◇構成

　DL360 gen9*3ノード

　#1 128GB mem、12C24T*2=24C48T CPU

　#2 128GB mem、12C24T*2=24C48T CPU

　#3 64GB mem 6C6T CPU

　各ノード、ディスクは同条件で実装予定。

　Intel DC 400GB*2＋15k SAS 600G*2 =4disk/nodeで考えてます。

◇ご質問

#1,2はおそらくほぼ同条件で構成できそうです。しかし、

#3ノードのみ調達の問題でスペック・メモリ量が少なくなります。

RF2で構築することを考えています。1ノードDownを考えるとメモリだけでも同容量でそろえたほうがよいでしょうか。#3にはPrismCentral専用かなあ。。。と考えております。

アドバイスいただけますと幸甚です。

smzksts　様

keroro9です。早々のお返事ありがとうございます。

>高スペックが2台あるので楽しめそうですね…！

はい、久々にニヤついております（笑）
iLOからログインし状況を確認していたところ、3台ともCPUも絶妙に異なっており、同環境にそろえるにはさらなる投資が必要...ちょっと無理かな～と思っていたところでしたので、情報ありがとうございます。とりあえず行けそうとわかりましたので、追加の散財はやめておきます。

（正確には14C28T*2、12C24T*2、6C6T*1の3台でした。14コアCPUはE5-2690 v4なのですが爆熱でファンがうるさいです。）

VMに関しては高スペックノードに作ればよく、各ノード96GB程度は確保できるかなあと思っているところです。足りなければ192GB程度まで増設を検討してます。

メモリ・CPUは適当な一方、クラスタ破壊テストをやりたいという観点でデータのみRF2を維持したく、データだけ偏りがないように同条件のディスクで考えておりました。つまり、#3はRF2を維持するだけのためのノードという感じになります。ついでになにか管理系のVMをデプロイするか。くらいのノリです。（この辺の認識間違っておりましたらご指摘くださいませ。）

ちょうど先ほどの書き込みを行ったあたりで待っていたサーバが到着しました。

ボーナス月ですし楽しんでいこうかと思います。

smzksts 様

お世話になっております。通知を見逃しておりお返事が遅々としてできず。

私も風呂に入りながら似たようなことを考えており、まあロマンだなあロマン。と割り切ってしまいました（笑）。以前sandy-ep世代で試したときはPrismの画面遷移が遅くひいひい言っていましたが、さすが第4世代のXeonですのでまともに動きます。

もしご存じでしたら、下記教えていただけませんでしょうか。

NICの調整について、

https://infraapp.blogspot.com/2020/12/ahv.html

を参考にしています。というのも、先日某所で投げ売りしていたArubaの10Gスイッチの在庫が引き当らず、1Gスイッチでの代用が必要になったためです。

そこで、1G*4でLACPを組みたく方法を探しております。

セットアップ時、複数のNICがあるとお目当てのNICにAHV,CVMのNICが当たってくれないため、まず

ovs-vsctl add-bond iface br0-up eth2 # eth2の追加

ovs-vsctl del-bond iface br0-up eth0 #eth0の削除

といったコマンドで適当に調整して1NIC構成でクラスタを作成しております。

その後、PrismのNetwork設定画面からUplinkの設定をLACP Active-Activeにしたいのですが

添付画像の右上にあるはずのUplink configrationボタンが見当たりません。

（もしかして、bond0-upに1NICしか追加していないからでしょうか）

3台のサーバ、微妙にNIC構成が異なっており、10G-NICが乗っていたりいなかったりするため、3台とも微妙にNICのナンバリングが異なっています。（引っこ抜けばいいのですが）

CLIでの設定でも構いませんので、bond0-upをLACPで構成する方法があれば、ご教示いただけますと幸いです。

keroro9です。さらに追記です。各サーバの増設したNICをすべて外し、デフォルトの1Gbps*4のみの環境にそろえて再デプロイしました。その後Settings→Network Configuration→Virtual SwitchからBond typeの変更にたどり着き、Uplink Configurationにたどり着くことができました。

詳細はわからないのですが先ほどはVirtual Switch自体が空欄になってしまっていたような気もしており、いったん「NICは全部そろえとけ」ということだけ覚えておこうかなあと思っている次第です。

@smzksts  お世話になっております。keroro9です。お返事いただきありがとうございます。公式ドキュメントにある通り、VSwitchが有効ではない状況だったのですね。初心者には直せない＆直す意味がなさそうというところでいったん撤退し再インストールしました。とりあえず1GのLACPで様子見かなあと思っております。（それ以前に、CPUがチープな3ノード目のCVMの負荷が高く全体的にストレージのスループットが伸びてない気がするのでそこから手を付けようかなというところです）

ちなみに世間のAzure Stack HCIではバックエンド通信のスイッチレス構成も取れますが、Nutanixではいかがでしょうか。一時期安売りしていたArubaスイッチがタッチの差で完売してしまい、しばらく10Gスイッチを入手できる見込みがなくなってしまい。うまくvSwitchの構成を組んでしまえばスイッチレスももしかして、と思った次第でした。

ネットワーク構成はさておき、早速Flowを体験したりと楽しんでおります。得られたノウハウは今後の提案に生かしていきたいと思っております。よろしくお願いいたします。

VMC環境の空きESXiホスト上に、NutanixCE(AHV/CVM)を1台デプロイしたのですが、
ポートグループのセキュリティポリシー(無差別モード/偽装転送)を許可設定に変更ができないため、
Prismへの疎通が不可なのですが、何かナレッジ等はお持ちでしょうか？

デプロイした仮想マシンのvNICをもう1個追加し、AHVが利用するOpen vSwitch Bridge(br0)のアップリンクのvNICと別で、新たにCVMのvnet0が利用するOpen vSwitch Bridge(br1??)を作成し、そちらのアップリンクのvNICとして割り当てれば、何とか上記制約でも利用できるのでは？と考えているのですが・・

Broadcom問題を契機に、初めてNutanixを触ってみる段階で、
ここまでカスタマイズしてNutanixを試用するのもなんですが、
もし既知ナレッジとして、何かベストな方法があればご教示いただけますと幸いです。

AHV側のIPの9440ポート宛てをiptablesのnatテーブルとip_forward有効にて、
CVM側にInternal側の192.168.5.2:9440へフォワードする方法も試してみたのですが、うまくいかず・・