Proxmox用SANごっこのために、5GbE NICとM.2変換カードを買った
自宅のProxmox環境で、計算ノードとストレージノードを分ける実験をしている。
ざっくり言うと、ryzen側を計算ノード、prodesk側をストレージノードとして使い、prodesk上のSSDをiSCSIでryzenに見せる構成である。
家庭内SANごっこである。
本番データを置くつもりはなく、あくまで実験用である。
prodeskとのiSCSIは、壊しても学べばよい遊び場として整理することにした。
今回買ったもの
今回の追加投資は次の通り。
5GbE NIC:2,990円
2.5GbE USB NIC:1,800円
M.2 NVMe / SATA コンボ変換カード:1,242円相当
合計は、
1,800 + 2,990 + 1,242 = 6,032円
手持ちパーツを除けば、今回のSAN+iSCSI遊びの追加予算は約6千円である。
この金額で、Proxmox、iSCSI、LVM、2.5GbE/5GbE、SAN専用線の実験ができるなら、かなり安い教材だと思う。
買った変換カード
購入したのは、アイネックスのAIF-09。
アイネックス ainex
M.2 NVMe SSD変換PCIeカード SATAコンボ AIF-09
このカードは、NVMe M.2 SSDとM.2 SATA SSDを各1本載せられる。
ただし注意点がある。
NVMe側はPCIe経由でそのまま使えるが、M.2 SATA側はSATAデータケーブルをマザーボード側に接続する必要がある。
つまり、カードに載せただけでM.2 SATA SSDがPCIe経由で見えるわけではない。
ここを勘違いすると危ない。
やりたいこと
prodesk側にSSDを増やし、それをiSCSIでryzenへ提供する。
たとえば、prodesk側で次のような構成を作る。
NVMe SSD 1TB
SATA SSD 1TB
↓
それぞれPV化
↓
1つのVGにまとめる
↓
LVを切る
↓
iSCSI LUNとして公開
↓
ryzen側でブロックデバイスとして認識
↓
Proxmoxストレージとして使う
つまり、複数の物理SSDをLVMのVGでまとめ、それをiSCSI経由で別ノードに見せる実験である。
本番で使うなら慎重に考える必要があるが、今回は遊び用なので、むしろ壊して覚える対象としてちょうどよい。
5GbE化の考え方
最初は1GbEでiSCSIを試した。
動作確認はできたが、SSDを使うには1GbEはさすがに細い。
実効速度はだいたい100MB/s前後で頭打ちになる。
そこで、SAN専用線として5GbEを使うことにした。
ただし、いきなり家中を2.5GbEや5GbEに置き換えるつもりはない。
既存のM24eGスイッチは1GbEのまま使う。
通常LANや管理LANはそのまま残し、ryzenとprodeskの間だけを高速な専用線で直結する。
構成としてはこうなる。
通常LAN:1GbE
用途:Proxmox管理画面、SSH、通常通信、PBSなど
SAN専用線:5GbE
用途:iSCSI本線
1GbE側は完全には捨てない。
5GbE側に問題が出たときの管理経路、あるいは手動復旧用の予備経路として残す。
自動切替やmultipathはまだやらない。
まずは単純に、5GbE直結を1本通す。
IPアドレス
SAN専用線は通常LANと分ける。
通常LANは従来通り。
192.168.0.0/24
SAN専用線は別セグメントにする。
192.168.50.0/24
たとえば、
prodesk SAN側:192.168.50.1
ryzen SAN側:192.168.50.2
のようにする。
SAN専用線には、デフォルトゲートウェイもDNSも設定しない。
外へ出るためのネットワークではなく、ryzenとprodeskを直結するだけの補給線である。
ケーブル色
SAN専用線は赤いLANケーブルにすることにした。
自宅の既存LANケーブルは水色が多い。
そこにSAN専用線だけ赤を入れると、物理的に役割が分かる。
水色:通常LAN
赤:SAN / iSCSI専用線
緑:Proxmox管理LANにするか検討中
LANケーブルの色に厳密な標準はないが、自宅内で一貫していれば十分である。
全部のケーブルを買い替えると高いので、既存配線はそのまま使う。
新規に導入する重要な線だけ、色で意味を持たせる。
赤いケーブルには、両端にラベルも貼りたい。
SAN ryzen ⇄ prodesk
192.168.50.2 ⇄ 192.168.50.1
GWなし
これなら、未来の自分が見ても分かる。
Wi-Fi 7はまだ待つ
ついでにWi-Fi 7ルーターの導入時期も考えた。
最近のWi-Fi 7ルーターには2.5GbEポートが付いているものが多い。
ただし、それを活かそうとすると2.5GbEスイッチも欲しくなる。
24ポートの業務用2.5GbEスイッチも存在するが、今の自宅環境には大げさである。
発熱、電力量、価格、騒音の面でも、まだ無理に入れる段階ではない。
そもそも、今使っているLet's note CF-XZ6はWi-Fi 5だが、特に不便は感じていない。
Web、SSH、Proxmox管理画面、文書作成、ChatGPT程度なら、Wi-Fi 5でも十分である。
なので、Wi-Fi 7はまだ待つ。
今は有線側、特にProxmoxとiSCSIの実験を優先する。
方針
今回の方針はこうである。
本番VM:
ryzenローカルSSDに置く
iSCSI:
prodeskを使った遊び場
5GbE:
ryzen-prodesk間のSAN専用線
1GbE:
管理LANと予備経路
Wi-Fi 7:
まだ導入しない
iSCSIは全部遊びと割り切る。
本番データを置かないことで、かなり自由に試せる。
LVMのVGを複数PVで作ることも、iSCSI LUNを作ることも、2.5GbEや5GbEの速度を見ることも、壊して戻すこともできる。
まとめ
今回の買い物は、単にNICや変換カードを買っただけではない。
自宅Homelabで、計算ノードとストレージノードを分けるための部品をそろえた、という位置づけである。
ryzen:計算ノード
prodesk:ストレージノード
赤い線:SAN専用線
iSCSI:遊び場
追加投資は約6千円。
この金額で、Proxmox、iSCSI、LVM、5GbE、SAN専用線、ストレージ分離の勉強ができるなら、かなり良い買い物だと思う。
自宅のクローゼットに、また少し謎の黒い箱と赤い線が増える。
家族から見れば何をしているのか分からないと思うが、私としてはかなり楽しい。