ZFSで16発NAS TOWERを作ろう-iSCSIでTimeMachine編

Posted on 2009/05/26 (火) 17:58
Filed Under Mac, ZFS | Leave a Comment | TrackBack | Share on Tumblr

ZFSで作られたNASにiSCSI Targetを作成して、TimeMachineのバックアップを行うことにした。

Leopardから導入されたバックアップシステムのTimeMachineは
・Apple純正NASのTimeCapsuleを使う
・USB HDDなどのローカルドライブを使う
というのが基本になっている。

前者のアプローチはこちらのページが詳しい。
「TimeCapsuleじゃないNASを使って、TimeMachineを使ってみる | OpenMediaLaboratory」

今回は後者のアプローチからテストしてみる。
物理的には16発NASを使うのでiSCSIで接続することにする。iSCSIはちょー簡単に言うとEthernetを使ってハードディスクなんかをつなげよう、的規格。

まずopensolaris側でiSCSI Targetと呼ばれる仮想HDDの準備。
「Solaris 10 8/07 リリース情報」に要点はすべてまとまっているのだけど引用すると、

まず iSCSI ターゲットのサービスが有効になっているか確認します。

target# svcs -a | grep iscsitgt
disabled 9月_11 svc:/system/iscsitgt:default

サービスが有効になっていなければ、svcadm コマンドを使って有効にします。

target# svcadm enable iscsitgt

有効になったことを確認します。

target# svcs -a | grep iscsitgt
online 18:48:02 svc:/system/iscsitgt:default

次に zfs ファイルシステムを作成します。

target# zpool create -f mypool c1t2d0
target# zfs create mypool/volumes

この内の 10GB を iSCSI ターゲットの Backing store 用に作成します。

target# zfs create -V 10gb mypool/volumes/t1

上記で作成した 10GB の ZFS ファイルシステムを iSCSI ターゲットの Backing store として指定します。ここで紹介する shareiscsi が Solaris 8/07 から追加されたプロパティです。

target# zfs set shareiscsi=on mypool/volumes/t1

iSCSI ターゲットが作成したか確認してみます。

target# iscsitadm list target -v

Target: mypool/volumes/t1
iSCSI Name: iqn.1986-03.com.sun:02:6c72b7b3-0e7e-6421-d736-f8acd7b20755
Alias: mypool/volumes/t1
Connections: 0
ACL list:
TPGT list:
LUN information:
LUN: 0
GUID: 0×0
VID: SUN
PID: SOLARIS
Type: disk
Size: 10G
Backing store: /dev/zvol/rdsk/mypool/volumes/t1
Status: online
#

これで、iqn.1986-03.com.sun:02:6c72b7b3-0e7e-6421-d736-f8acd7b20755 という名前の iSCSI target が作成できました。

これだけ! 簡単!
(今回は認証設定してないんで興味のあるひとは「iSCSI ベースのストレージネットワークにおける認証の構成」辺をどうぞ)

次にMac OS Xの方。
Leopard単体だとiSCSI Initiator (本体側をこう呼ぶ)の機能を持ってないんで「globalSAN iSCSI Initiator for OS X」をダウンロードする。
インストール完了するとシステム環境設定にglobalSAN iSCSIが出てくる。

globalSAN [+]ボタンを押してIPアドレスとiqnから始まるiSCSIデバイス名を入れてConnectを押すと、このディスクは使えませんフォーマットしますか、みたいなことをいつものように言ってくるはず。

初期化が終わったところで内蔵500GBハードディスク WD5000BEVTとXBench 1.3で比較してみた。

項目	iSCSI(MB/sec)	内蔵HDD(MB/sec)
Sequential Write [4K blocks]	43.26	38.02
Sequential Write [256K blocks]	36.51	20.54
Sequential Read [4K blocks]	10.45	7.13
Sequential Read [256K blocks]	82.02	33.96
Random Write [4K blocks]	43.55	0.79
Random Write [256K blocks]	30.98	17.82
Random Read [4K blocks]	10.14	0.39
Random Read [256K blocks]	84.28	23.33

iSCSIなかなか速い。

ZFS上に作られたzvolはスナップショットをとったりクローンを作成してそれぞれをマウントできたりもするようなんでいろいろ用途はありそう。

参考資料
・「ZFS and Mac OS X Time Machine: The Perfect Team - Constantin’s Blooog」
・「Solaris 10 8/07 リリース情報」(Sun Microsystems)
・「iSCSI ベースのストレージネットワークにおける認証の構成」(Sun Microsystems)
・「zvol と iSCSI と NTFS と zfs snapshot (その 1) : やっぱり Sun がスキ！」
・「zvol と iSCSI と NTFS と zfs snapshot (その 2) : やっぱり Sun がスキ！」
・「zvol と iSCSI と NTFS と zfs snapshot (その３) : やっぱり Sun がスキ！」

ドライブドアSATAボックスレイドという名前の4発eSATA箱買った

Posted on 2009/05/21 (木) 1:18
Filed Under レビュー, ZFS | Leave a Comment | TrackBack | Share on Tumblr

センチュリーのドライブドアSATAボックスレイドというSilicon Image 3132ののったPCIe x1カードとeSATAポートマルチプライヤでつながったSATA外付けケースをopensolaris 2008.11で認識するか試してみた。

残念ながらまだポートマルチプライヤは認識できないようでSATA箱のドライブは1台だけしか見えなかった。

今後に期待。

センチュリードライブドア SATAボックスレイド EX35PM4B-PE

発売:センチュリー
発売日:2007-01-18
定価:オープンプライス
ASIN:B000MTON52

後継機は「ドライブドアSATAボックス5BAY（EX35ES5）｜センチュリー（CENTURY）」。

NASにディスクを足したら起動しなくなったでござる

Posted on 2009/05/18 (月) 11:17
Filed Under 日記, ZFS | Leave a Comment | TrackBack | Share on Tumblr

opensolarisで動く16発NAS-TOWERにホットスワップでハードディスクが追加できることがわかったので何台か追加していった。
そのあと別のきっかけで再起動しようと思ったら、起動しない。

NAS-TOWER BIOS BIOSでハードディスクの起動順見ようとしたら起動ディスクがない。

起動ディスクだけの構成にするとBIOSに表示されて起動できることから，表示ドライブ数に上限があるようだ。

起動できなきゃ困るんで，USB-SATA変換を使って内部USBコネクタからUSBで起動しようとした。

すると、ZFSでフォーマットされたドライブをUSBにつないでいるとBIOSのメモリテストの前でフリーズしてしまうナゾの現象にあたってしまう。ドライブのスキャンにも到達しないので全く意味不明。もしかしてopensolarisはUSB-HDDから起動できないのか?
テストした範囲だと、起動できないただのZFSストレージプールのメンバだったドライブをごろんとつないだだけでも同じところでフリーズしていた。

いろいろ試行錯誤した結果、結論としては内蔵SATA(ICH10R)のport0のデバイスとPCIのSATAカードのport3につながってた起動ディスクを入れ替えることにした。微妙な残念感。

ついでにわかったのは、ZFSストレージプールはcfgadmつかっていれば接続位置変えても期待通り認識するということだった。以前そのまま位置をつなぎ変えて再起動したらドライブ見失ったんでこういう使い方はよくないみたい。

ZFSで16発NAS TOWERを作ろう-ホットスワップ続編

Posted on 2009/05/16 (土) 13:50
Filed Under 日記, ZFS | Leave a Comment | TrackBack | Share on Tumblr

昨日失敗したNASへのホットスワップをさらに試行錯誤していたら成功することがあった。

ひとまずSil3132のSATAカードとICH10Rでは動作確認。
昨日エラーでホットスワップ(取付)に失敗した時との条件の違いはこれ。

	ドライブ	フォーマット
失敗	ST31500341AS(シーゲート1.5TB)	Linux LVM(1パーテーション)
成功	WDCWD10EACS(ウエスタンデジタル 1TB)	Solaris2(別のZFSストレージプール一員だった)

そうか! あらかじめ初期化してあればホットスワップ(取付)できるのか!

~~買いたて新品ドライブでできるかはまだ未確認なんで今度増設するときにまた試す。~~
新品ドライブで期待通りホットスワップ(取付)、認識、zpool attachでミラーに追加ができた

ZFSで16発NAS TOWERを作ろう-ホットスワップ編

Posted on 2009/05/15 (金) 23:54
Filed Under 日記, ZFS | Leave a Comment | TrackBack | Share on Tumblr

ドライブのホットスワップができないものかと思って調べていたら次のような記事を見つけた。
「cfgadm コマンドによる SCSI ホットプラグ (Solaris のシステム管理 (基本編)) - Sun Microsystems」
おー! まさにこれだ!　と思って試してみた。

当初こんな感じ。

root@himari:~# cfgadm -al
Ap_Id Type Receptacle Occupant Condition
pcie19 sata/hp connected configured ok
sata4/0::dsk/c8t0d0 disk connected configured ok
sata4/1::dsk/c8t1d0 disk connected configured ok
sata4/2 sata-port empty unconfigured ok
sata4/3::dsk/c8t3d0 disk connected configured ok
sata4/4::dsk/c8t4d0 disk connected configured ok
sata4/5::dsk/c8t5d0 disk connected configured ok
sata5/0::dsk/c6t0d0 disk connected configured ok
sata5/1 sata-port empty unconfigured ok
sata6/0 sata-port empty unconfigured ok
sata6/1 sata-port empty unconfigured ok
sata7/0 sata-port empty unconfigured ok
sata7/1 sata-port empty unconfigured ok
sata8/0::dsk/c7t0d0 disk connected configured ok
sata8/1::dsk/c7t1d0 disk connected configured ok
sata9/0 sata-port empty unconfigured ok
sata9/1 sata-port empty unconfigured ok
sata9/2 sata-port empty unconfigured ok
sata9/3::dsk/c4t3d0 disk connected configured ok

ICH10RのSATAポートにつながっているドライブを次のコマンドで取り外す。

# cfgadm -c unconfigure sata4/5

おお、正しく抜けた!

つぎは別のドライブに差し替えだ!
ドライブ差し込んだ時点で/var/adm/messagesにこのメッセージが出た。

May 15 22:57:38 himari ahci: [ID 860969 kern.warning] WARNING: ahci0: ahci_port_reset port 5 the device hardware has been initialized and the power-up diagnostics failed

おやー何に失敗したのさー?

接続。

# cfgadm -c configure sata4/5

確認。

# cfgadm -al
sata4/5 sata-port disconnected unconfigured failed

接続できなかったー　!
しかたないんで再起動。

環境はopensolaris 5.11 snv_111a。

どうしたらうまくいくのかなー?

【追記】できた。パーテーションの問題だったらしい。「ZFSで16発NAS TOWERを作ろう-ホットスワップ続編」

Poor man’s Sun Storage 7000

Posted on 2009/05/11 (月) 2:36
Filed Under 日記, ZFS | Leave a Comment | TrackBack | Share on Tumblr

SunにSun Storage 7000とゆーかなりいい値段のストレージシリーズがあるのだけれど、たぶんこれの中身はSolaris10で動くZFSベースのファイルシステムと独自の管理ソフト。でそのSun Storage 7000をVM WareでうごかすSun Unified Storageシミュレータなるものが配布されている。

「Sun Storage 7000 - テクノロジー・リソース - サン・マイクロシステムズ」

このVMWareイメージをopensolaris実機に展開する試みをしてる人いないかなー?
とふと思った。

今日のドハマり。
opensolarisでの固定IPの設定方法がこんなに複雑だったとは。
「OpenSolaris 固定IP - @//メモ」
resolv.confに記入されてて、なんでdigで名前解決できるのにpingは名前解決できないのかわかんなかったなー。
いろいろ違うものだ。

ZFSで16発NAS TOWERを作ろう-追加購入編

Posted on 2009/05/10 (日) 4:19
Filed Under 日記, ZFS | 2 Comments | TrackBack | Share on Tumblr

GIGABYTE GA-EP45-UD3PのオンボードNICのカニがopensolarisであんまりにも安定しないので最後の希望を持ってNIC変更，

インテル PRO/1000 PT サーバ・アダプタ EXPI9400PT

発売:インテル
発売日:
定価:￥ 20,790
ASIN:B000BMVM6S

NAS TOWER カード PCI Expressは全部埋まった。

今日はじめてopensolarisのブート中のプログレスバーが出てるグラフィック画面でCtrlとAltキー押すとテキストモードになることを知った。GRUBで何指定するとデフォルトこれにできるのだろう? それともどっかに指定があるのかなー?

ZFSで16発NAS TOWERを作ろう-方針転換編

Posted on 2009/05/07 (木) 1:11
Filed Under 日記, ZFS | Leave a Comment | TrackBack | Share on Tumblr

NAS-TOWER 当初はCFから起動して8ドライブから構成されるraidzを2組でストレージプールを構成しようとしていた構想から作っているうちに大きく変わってきた。
ひらたくゆって一筋縄では行かないことばかり。

まずraidz。
ZFSのraidzはてっきり容量の異なるドライブを組み合わせて、しかもあとから自由に足せるとばっかり思っていたのだけど、現時点ではこれはできないということがわかった。raidzであろうともRAID5のように組み合わせる最小のドライブサイズx(台数-1)の実質容量になる。(パフォーマンスに影響がありそうだからドライブにパーテーションを切ることは考えるのやめとこう)　そして現時点のZFSのストレージプールはドライブのreplaceと追加はできるけれど空き容量があったとしてもLVMのようにドライブを抜くことができない。また、例えば8台のドライブで構成されたraidzからなるストレージプールがあった場合、これにドライブを一台足すと新しく足したドライブはraidzの仲間に入れるわけではなく冗長性がない構成となってしまう。冗長性を持たせてストレージプールにドライブを足すためには2台以上を同時に足さなければならない。そしてraidzの拡張をするときには、例えば1TBx8で構成されたraidzの場合、8台全部を1.5TBなどの容量の大きいドライブに置き換えたときにはじめて利用可能容量が増える。家庭で使うにはなかなか使いにくい構成だ。
というわけで、いろいろ考えた結果、拡張性を考えて全ドライブミラーリングの構成とした。ミラー化した2台のドライブをストレージプールに追加して行く構成。ミラーリングならdetachしてシングルドライブ構成にばらしreplaceで大容量ドライブに交換すれば1台単位でプールの容量増やせる。いつの日かZFSのバージョンがあがってより融通の効く構成が取れるようになることだろう。

あと、手元の環境ではSATAをAHCIモードで動かしているのだけど、ホットスワップでハードディスクを足すと/var/adm/messagesにはドライブが追加されたメッセージがでてくるのだけどformatコマンドからはドライブが見えない。のでストレージプールに追加することができない。いちいち再起動しないといけない状況。これは何が問題なのか仕様なのかまださっぱりわからない。できた「ZFSで16発NAS TOWERを作ろう-ホットスワップ続編」

SATAカードも追加購入。

AREA SATAx2 増設PCIExpressx1ボードTWIN CAM SD-SA3132-2IR

発売:エアリア
発売日:
定価:￥ 3,780
ASIN:B001FZ6ULW

BUFFALO PCI Expressバス SerialATAインターフェースボード IFC-PCIE2SA

発売:バッファロー
発売日:2007-02-28
定価:￥ 5,565
ASIN:B000N8UVBC

これで手元に3種類のPCI Express x1のSATAカードが来たのだけれどどれもPCI Express x16に差すとBIOS画面ですら認識されずに見えない。
なんかBIOSに設定があるのか探したけど結局未解決。
BUFFALO IFC-PCIE2SAは基板の色やシルクが違うだけで中身は玄人志向 SATA2RI2-PCIEとおなじ。
仕方ないのでPCI用4ch SATAカードを差した。
その結果SATAが18ポートとなったのでPCIの2つを起動ドライブにすることにした。いまのところは余ってた2.5インチSATA HDDを一台だけつないでる。
将来的にはZFSで起動ディスクミラー化するか、Portable Dual Drive Modules DIR-2221-SRAIDE CRS シリーズ PCI CaseみたいなコンパクトRAID箱を使ってもいいかもしれない。

そして、オンボードのカニが今使ってるスイッチと異常に相性が悪く、ぶちぶち切れたんでスイッチも買い変えた。50度まで動作保証のNETGEARの16ポートギガビットスイッチ。