« 自宅サーバを仮想化しよう3-I/O高速化編・パススルー失敗 | C85/冬コミにDCC-JPL Japanの参加はございません。 »

自宅サーバを仮想化しよう4-I/O高速化編・RDM

Posted on 2013/12/03 (火) 0:52
Filed Under 技術, 日記 | | TrackBack | Share on Tumblr

引き続きストレージ編。

【失敗】RAIDカードを足す
LSI Logic MegaRAID SAS 8308ELPとゆーRAIDカードをヤフオクで買った。
2007年のカードで当時は10万円前後した。
まずLSI公式から最新ESXiドライバを取ってきてインストーラisoをリビルド。
結論から言うとインストーラがエラーを出して失敗する。

どうもSASドライブを接続しているときは動作するのだがSATAドライブだと互換性が無いよう。
「VMware Compatibility Guide: I/O Device Search」
「VMware Compatibility Guide: I/O Device Search」

【失敗】ASM1061 SATAカードをRDM(Raw Device Mapping)
前回買ったASM1061搭載SATAカードをRDMしようとしたら、ESXiにASM1061ドライバがないようでそもそも認識してなかった。

【失敗】オンボードSATAのport1を起動ディスクに、port2,3をRDMでVM(FreeNAS)へ
ナゾなことにFreeNASだと、RDM先のドライブがまともに操作できない。
vmkfstools -zで作ったドライブだと2台とも全く操作可能。
vmkfstools -rで作ると片一方のポートの操作ができるがもう片一方がnot permitted的エラーになってしまいやはり操作ができない。
かなりナゾ。
そのままの構成で次項のようにVMだけ変更する。

【成功】オンボードSATAのport1を起動ディスクに、port2,3をRDMでVM(openindiana)へ
困ったときのSolaris。すべて期待通り動作したので、vmkfstools -zでドライブ作り直し、ミラーリング構成でZFSボリュームを作りCOMSTARでiSCSI Targetを作成し、ESXiに登録し、データストアとしてマウント。
そこにWindows8.1 64bit Enterprise評価版のVMを作り再びベンチマーク。
ZFS iSCSI ZIL

ちょっと期待よりもWriteが遅い。

試験的にZIL(ZFS Intent LOG)をオフにして再測定。電源喪失時にファイルシステムをぶっ壊す可能性があるのでSunはZILを止めるなと言っているからあくまで試験的に。zfs set sync=disabled [volume]で即時停止できる。

ZFS iSCSI noZIL

こんくらい常時出てればまあまあですなー。

【改良】ZILドライブとしてSSDを足す
というわけで、さらなる高速化を目指してZFSストレージプールにZIL用SSDを足してハイブリッドストレージプール化して高速化を図る。
とりあえず容量は少なくていいんでこれを買った。
ZILとして必要な容量はメインメモリの半分が目安。データ保持期間は短くていいが高い信頼性と高速な速度が要求される。mirror構成も取れるがまあ今回はそこまではしない。
L2ARCドライブは速ければ信頼性はどうでもいいが容量は多い方がいい。

シリコンパワー【SSD】SATA3準拠6Gb/s 2.5インチ 7mm 60GB MLCチップ使用 SP060GBSS3S55S25

発売:シリコンパワー
発売日:
定価:オープンプライス
ASIN:B00CBNZRMA

参考にSSD単体の速度を計る。
SP060GBSS3S55S25

というわけで、待望のハイブリッドストレージプールの速度。
ZFS iSCSI ZIL HybridStragePool

だいぶよくはなったけど、まだ遅え…
ZILをミラー構成にすればもう少し速度稼げようかね?

参考値としてハイブリッドストレージプールでZILを停止するとこんな結果。
ZFS iSCSI noZIL HybridStragePool

理屈通りZILを止めるとハイブリッドストレージプールでも速度差ありませんな。

【結論】
とゆーわけで、結果的にこのような構成になった。
2TB HDD : RAID計画で起動ディスク(ミラーリング)
2TB HDD : RAID計画で起動ディスク(ミラーリング)
3TB WD RED : openindianaにRDMしてストレージプール(ミラーリング)
3TB WD RED : openindianaにRDMしてストレージプール(ミラーリング)
60GB SSD : openindianaにRDMしてZIL

問題は、電源喪失などで異常終了したときに、起動がめんどくさいこと。
マシンを起動してESXiがRAID計画ボリュームに作られたデータストアを見つけたら、openindianaを起動して、iSCSIボリュームをESXiに認識させて、その他のVMを起動しなければならない。
(あとNASは素のopenindianaを使うのではなくラクチンにFreeNASとか使いたかったなー、的なことも)

今後の展開的にさらに速度を出す場合には、やはりストレージプールの構成ドライブを増やすことと、ZILドライブをミラー化すること、L2ARCドライブをSSDで足すこと、あたりかなー、と思える。

ウチの今後の構成としては、NAS領域ディスクとしてhp MicroServer (旧機種)でFreeNASをUSB起動でiSCSI TargerにしてVMのopenindianaでマウントする、構成で容量拡張をしていきたいと思う所存。
容量が足んなくなったらhp MicroServer (旧機種)を在庫がある限り増やし続ける方針で。Gen8も早く値段下がらんか。

あと、そもそも論として、現代だと一般公開用サーバなんかはVPSサービス使ったほうが総合的にメリット多そうですよ!
自宅サーバはあくまで、LAN内の速度がほしいところで大容量なディスクが欲しかったりとかそういう用途に使う感じで。

参考リンク
「ジグソー | 家庭内zfsストレージ兼VDIサーバを構築してみる。 - ウエスタンデジタルジャパン WD Red」
「ESXi5におけるRaw Device Mappingのやりかたについて - k32ru’s blog」
「0.はじめに - OpenIndianaでZFSなiSCSIを構築するまでの道のり」

短期連載一覧
「自宅サーバを仮想化しよう1-立志篇」
「自宅サーバを仮想化しよう2-ディスク編」
「自宅サーバを仮想化しよう3-I/O高速化編・パススルー失敗」