自宅サーバを仮想化しよう4-I/O高速化編・RDM
Posted on 2013/12/03 (火) 0:52
Filed Under 技術, 日記 | Leave a Comment | TrackBack |
引き続きストレージ編。
【失敗】RAIDカードを足す
LSI Logic MegaRAID SAS 8308ELPとゆーRAIDカードをヤフオクで買った。
2007年のカードで当時は10万円前後した。
まずLSI公式から最新ESXiドライバを取ってきてインストーラisoをリビルド。
結論から言うとインストーラがエラーを出して失敗する。
どうもSASドライブを接続しているときは動作するのだがSATAドライブだと互換性が無いよう。
「VMware Compatibility Guide: I/O Device Search」
「VMware Compatibility Guide: I/O Device Search」
【失敗】ASM1061 SATAカードをRDM(Raw Device Mapping)
前回買ったASM1061搭載SATAカードをRDMしようとしたら、ESXiにASM1061ドライバがないようでそもそも認識してなかった。
【失敗】オンボードSATAのport1を起動ディスクに、port2,3をRDMでVM(FreeNAS)へ
ナゾなことにFreeNASだと、RDM先のドライブがまともに操作できない。
vmkfstools -zで作ったドライブだと2台とも全く操作可能。
vmkfstools -rで作ると片一方のポートの操作ができるがもう片一方がnot permitted的エラーになってしまいやはり操作ができない。
かなりナゾ。
そのままの構成で次項のようにVMだけ変更する。
【成功】オンボードSATAのport1を起動ディスクに、port2,3をRDMでVM(openindiana)へ
困ったときのSolaris。すべて期待通り動作したので、vmkfstools -zでドライブ作り直し、ミラーリング構成でZFSボリュームを作りCOMSTARでiSCSI Targetを作成し、ESXiに登録し、データストアとしてマウント。
そこにWindows8.1 64bit Enterprise評価版のVMを作り再びベンチマーク。
ちょっと期待よりもWriteが遅い。
試験的にZIL(ZFS Intent LOG)をオフにして再測定。電源喪失時にファイルシステムをぶっ壊す可能性があるのでSunはZILを止めるなと言っているからあくまで試験的に。zfs set sync=disabled [volume]で即時停止できる。
こんくらい常時出てればまあまあですなー。
【改良】ZILドライブとしてSSDを足す
というわけで、さらなる高速化を目指してZFSストレージプールにZIL用SSDを足してハイブリッドストレージプール化して高速化を図る。
とりあえず容量は少なくていいんでこれを買った。
ZILとして必要な容量はメインメモリの半分が目安。データ保持期間は短くていいが高い信頼性と高速な速度が要求される。mirror構成も取れるがまあ今回はそこまではしない。
L2ARCドライブは速ければ信頼性はどうでもいいが容量は多い方がいい。
発売:シリコンパワー
発売日:
定価:オープンプライス
ASIN:B00CBNZRMA
参考にSSD単体の速度を計る。
というわけで、待望のハイブリッドストレージプールの速度。
だいぶよくはなったけど、まだ遅え…
ZILをミラー構成にすればもう少し速度稼げようかね?
参考値としてハイブリッドストレージプールでZILを停止するとこんな結果。
理屈通りZILを止めるとハイブリッドストレージプールでも速度差ありませんな。
【結論】
とゆーわけで、結果的にこのような構成になった。
2TB HDD : RAID計画で起動ディスク(ミラーリング)
2TB HDD : RAID計画で起動ディスク(ミラーリング)
3TB WD RED : openindianaにRDMしてストレージプール(ミラーリング)
3TB WD RED : openindianaにRDMしてストレージプール(ミラーリング)
60GB SSD : openindianaにRDMしてZIL
問題は、電源喪失などで異常終了したときに、起動がめんどくさいこと。
マシンを起動してESXiがRAID計画ボリュームに作られたデータストアを見つけたら、openindianaを起動して、iSCSIボリュームをESXiに認識させて、その他のVMを起動しなければならない。
(あとNASは素のopenindianaを使うのではなくラクチンにFreeNASとか使いたかったなー、的なことも)
今後の展開的にさらに速度を出す場合には、やはりストレージプールの構成ドライブを増やすことと、ZILドライブをミラー化すること、L2ARCドライブをSSDで足すこと、あたりかなー、と思える。
ウチの今後の構成としては、NAS領域ディスクとしてhp MicroServer (旧機種)でFreeNASをUSB起動でiSCSI TargerにしてVMのopenindianaでマウントする、構成で容量拡張をしていきたいと思う所存。
容量が足んなくなったらhp MicroServer (旧機種)を在庫がある限り増やし続ける方針で。Gen8も早く値段下がらんか。
あと、そもそも論として、現代だと一般公開用サーバなんかはVPSサービス使ったほうが総合的にメリット多そうですよ!
自宅サーバはあくまで、LAN内の速度がほしいところで大容量なディスクが欲しかったりとかそういう用途に使う感じで。
参考リンク
「ジグソー | 家庭内zfsストレージ兼VDIサーバを構築してみる。 - ウエスタンデジタルジャパン WD Red」
「ESXi5におけるRaw Device Mappingのやりかたについて - k32ru’s blog」
「0.はじめに - OpenIndianaでZFSなiSCSIを構築するまでの道のり」
短期連載一覧
「自宅サーバを仮想化しよう1-立志篇」
「自宅サーバを仮想化しよう2-ディスク編」
「自宅サーバを仮想化しよう3-I/O高速化編・パススルー失敗」
自宅サーバを仮想化しよう3-I/O高速化編・パススルー失敗
Posted on 2013/11/25 (月) 1:47
Filed Under 技術, 日記 | Leave a Comment | TrackBack |
前回「ディスク編」の続き。
高いRAIDカードを買うという解決方法はひとまず考えずにIOを高速化する方法を考える。
ESXiの上のVMにSATAをパススルーしてZFSでミラーしてiSCSIでESXiのデータストアにする、というアイデアを思いついた。
めんどくさいので絵とかはない。
というわけでさっそく実験。なかなかうまく行かない。
【失敗】Sil3132 SATAカードを挿してそこを起動ディスクに、オンボードSATAをパススルー
起動ディスクはなんでもいいので余ってたSil3132のPCIeカードを挿してテスト。
まずSil3132カードが認識されない。
原因はPCIe Gen1をAutoだと認識に失敗していたため。
参考リンク:「NEC Express S70/タイプhfで認識しないSiI3132チップ搭載eSATAカードの問題(解決) - tuedaの日記」
ようやくSil3132が認識されてESXiインストールして起動してきたので、オンボードのLynx Point AHCI Controllerをパススルーしようとしたらパススルー選択肢に出てこない。
さっと調べてみると全世界的にHaswell SATAはパススルーできてないようなので諦めて次へ。
【失敗】Sil3132 SATAカードを挿してそこをパススルー、オンボードSATAを起動ディスクに、逆にSATAカードの方をパススルーに。
なぜかパススルー設定して再起動しても設定を忘れる現象と、SATAポートが起動タイミングによって見えたり見えなかったり、ESXiメンテナンス用NICの設定がしょっちゅう変わってしまうというナゾの現象に遭遇、まったく安定しなかったんでこれもまた諦めて次へ。
【失敗】ASM1061 SATAカードをパススルー
「ESXi5.1でeSATAカード(ASM1061)をパスするーしてFreeNASから使ってみる - tuedaの日記」という記事を見つけたので早速ASM1061カードを買ってみた。
発売:エアリア
発売日:
定価:オープンプライス
ASIN:B00AATF4DY
パススルー設定してカードはPCIデバイスとして見えているのだけど初期化に失敗した系ログで接続したディスクが見えずVM側から利用ではない。ドライバのあるopenindiana,FreeNAS(FreeBSD),CentOSのいずれのVMからも同じ症状。
物理マシンとして起動するとドライブ見えるのでもうESXi5.5のバグということにして諦め。
次回RDM(Raw Device Mapping)編に続く!
自宅サーバを仮想化しよう2-ディスク編
Posted on 2013/11/12 (火) 12:52
Filed Under 技術, 日記 | 1 Comment | TrackBack |
前回の続き。
ハードウェアを組み上げて、仮想化ハイパーバイザはVMWare ESXi 5.5(無料)を選定してダウンロードした。
まず、ダウンロードしたてのESXiインストーラisoで起動すると、SuperMicro X10SLM+-LN4F オンボードNIC intel 210ATを認識しない。これが第1のつまづき。
VMWare公式ドライバ、「ESXi 5.x driver package includes version 4.2.16.3 of the Intel igb driver」を「VMware Front Experience: ESXi-Customizer」で入れて、isoをビルドし直す。
ESXiインストーラを起動して、起動ディスクはオンボードのintel RST RAID1でミラーリングでもしておけばいいかな、と気楽に考えていたらこれが第2のつまづき。VMWare ESXi 5.5はRSTのRAIDを認識しない。
仕方ないので安いハードウェアミラーリングカードRAID計画壱号機改を買い足した。 台湾IOI Technology の「RAID Controller | eSATA & USB 3.0 to Quad SATA II RAID Bridge Board | ESU3-QS201-R5」のOEMっぽい。
発売:CMインダストリー
発売日:
定価:オープンプライス
ASIN:B0067G1Y92
このカードが非常に使い方が難解なのでざっくり使い方を書いておくと、モードを切り替える(ディスクは初期化される)ときには
1.ロータリースイッチをPMに合わせて通電しながらCHANGE MODEボタンを数秒押す
2.ロータリースイッチを目的のモードに合わせて通電しながらCHANGE MODEボタンを数秒押す
を1から実行する必要がある。
そして、よく見ると、Faultしたときに、どのドライブを交換すればいいのかわからない。
そこで秋葉原の千石電商で50円のコネクタ付きケーブル4本と15円のLED4つを書い足し。
試しにこんなかんじに接続してテスト。動いたらショートしないように足を切って短くするか、熱収縮チューブあたりで絶縁すると良いかもしれない。
これで起動ディスクが冗長化されたんで、ESXiを入れて、VMを作ってWindows8 Enterprise 64bit評価版を入れて、まずディスクのベンチマークをしてみた。
これはちょっと実用にならないくらい遅い。
念のためRAID計画壱号機改を外してHDDを直結してみてもやっぱり遅い。
しかも、RAID計画壱号機改は起動時に認識しないことが度々あって解決方法が全くわからない。
起動できない時には何度か再起動してればいつかESXiが起動してくるのだけど、なぜか同じディスク内に作ったデータストアが見えなかったりする。そんな時も何度か再起動しているとたまに見えるようになる。なんなのだ。
というわけで、I/Oを高速化するための長い戦いが始まったのである。
次回に続く!
自宅サーバを仮想化しよう1-立志篇
Posted on 2013/11/10 (日) 22:59
Filed Under 技術, 日記 | Leave a Comment | TrackBack |
(CV:田口トモロヲ)
自宅サーバ。
生活とともに台数は増え、増える傍から老朽化が進み、誰もが管理に頭を悩ませてきた。古いサーバは性能も出ずに電力効率は悪く場所を取る。
仮想化しての集約が求められた。
高いパフォーマンス、堅牢な信頼性、低廉なコスト、相反する厳しい水準が要求された。
これは仮想化を目指しながら一筋縄では行かなかった苦難の記録である。
-BGM:中島みゆき:「地上の星」(YouTubeで地上の星 / 中島みゆき [公式] を視聴)
とおもったけど文が続かなかったんで、まず設計方針として、こんな感じにした。
・録画機以外のNASを含めた主要サーバ類を集約化する。
・新NASはストレージをhp microserver的なものでiSCSI TargetとしてNAS本体でまとめてストレージプールとする。
・家庭用なのでコストが大事。
・信頼性とパフォーマンスも大事。→メンテで止めてもいいがデータは失われないように。
ということで予算を考慮して主要パーツの選定から始める。
マザーボードはリモートからの管理のためIPMIが欲しかったので選択肢が割と少なく、定番のSuperMicroからHaswell Xeon シングルソケット(UP LGA1150)、4NICのX10SLM+-LN4Fを選択。
発売:Supermicro
発売日:
定価:オープンプライス
ASIN:B00E8BKCTG
CPUはHaswell世代の4C/8T Intel Xeon E3-1230v3 3.3GHzあたり。
(Amazonになかった)→価格.com Xeon E3-1230 v3 BOX
CPUクーラーは空冷に比べて静かかなー?と思ってメンテナンスフリーの水冷キットCoolerMaster Seidon 120M 。
発売:CoolerMaster
発売日:
定価:オープンプライス
ASIN:B00AOEWCWG
ケースは静音そうだったCoolerMaster Silencio 550。
発売:Coolermaster
発売日:2011-07-15
定価:￥ 11,979
ASIN:B004WPBD96
ハードディスクはNAS用で24時間通電でも寿命が長いという触れ込みのWestern Digital WD RED 3TBを2台。
発売:WESTERNDIGITAL
発売日:
定価:オープンプライス
ASIN:B008P56QEQ
ディスク交換をラクチンにするためにホットスワップ対応ケースをなんでもいいんだけど今回はSilver Stone FP57を選択した。
発売:Silver Stone
発売日:2011-09-02
定価:￥ 2,480
ASIN:B005J2WQ3I
メモリはECCで32GBでマザボに載るならなんでもいい。
発売:サンマックス・テクノロジーズ
発売日:
定価:オープンプライス
ASIN:B007QMV0YU
電源も500W位でなんでもいいんだけど今回はENERMAX PLATIMAX500Wを選択した。
発売:ENERMAX
発売日:2011-12-03
定価:オープンプライス
ASIN:B005ZXUARU
次回へ続く!
foltiaで全自動CMカットを実現しよう
Posted on 2013/10/15 (火) 3:46
Filed Under foltia | 1 Comment | TrackBack |
民生機ではわりと一般的になってるCMカットを実装したくて色々調べていたら、2ちゃんねるのCMカットスレで良さそうな情報を見つけた。
536 ：名無しさん＠編集中：2013/10/05(土) 22:23:02.74 ID:iNl1yeOz
comskip81_056を一日弄っていたけど、CMスキップ楽勝だね、アニメじゃなくても。
先人に感謝。
detect_method=255、min_show_segment_length=125、punish=28
.vdr（output_vdr=1）で出力すると加工は楽です。
自分はバッチでchapters.txtにしてから、空橋さんの「gen_.chapters.txt_to_.chapter（チャプタースキップ用）b.bat」を通してTVTplayで見ている。
Avisynth要りません。まあcomskipはtrimコマンド出力できるので入用な人は大丈夫ですね。
http://toro.2ch.net/test/read.cgi/avi/1140501201/536n
ほほうと思って試してみたところとりあえず動いたのでメモ代わりにここに書いておく。
試した環境:CentOS6.4/64bit,ffmpeg1.2.5,comsip81_0.56(comskip.org)、comskip.iniに536さんの設定を書いた。
手順1:TSからCM検出する。
wine /home/foltia/comskip81_056/comskip.exe -t -d 255 -v 2 --zpcut --zpchapter --videoredo --csvout --quality --plist --ini=comskip.ini ./3027-12-20130924-0135.m2t
#必要ない形式のカットファイルも吐いてるんで、そのうち見直す。
手順2:検出された本編部分を切り出す。
ffmpeg -y -i ./3027-12-20130924-0135.m2t -c copy -ss 00:01:02.56 -t 00:00:36.72 -sn ./3027-12-20130924-0135_0001.ts
ffmpeg -y -i ./3027-12-20130924-0135.m2t -c copy -ss 00:02:39.46 -t 00:11:02.63 -sn ./3027-12-20130924-0135_0002.ts
ffmpeg -y -i ./3027-12-20130924-0135.m2t -c copy -ss 00:15:12.88 -t 00:12:46.87 -sn ./3027-12-20130924-0135_0003.ts
ffmpegが理解できるタイムスタンプの形式がcomskipで吐いてくるのとは若干異なるのでいまんところちょっとした計算が必要になる。
手順3:切り出した本編をくっつける。
ffmpeg -i "concat:3027-12-20130924-0135_0001.ts|3027-12-20130924-0135_0002.ts|3027-12-20130924-0135_0003.ts" -c copy 3027-12-20130924-0135-CUT.ts
concatオプションが使えるようになったのがffmpeg1.1以降らしいのでそれ以降のもので。
上のサンプルで作ったのをDLNA経由でPS3で再生したのがこの画面。30分アニメの尺が24:26に短くなってるのがわかる。
ffmpegはGOP関係なく指定したタイムスタンプでぶった切っているようなんで、そのへんは今後の課題の予定。mencoderはスマートなんとかで切れる説も。
TSをCMカットせずに、MP4にチャプタを入れたい場合は、ググればMP4Boxでチャプタを追加するようなやり方が見つかりそうなんでその辺を参考に。
おまけ
当初、mencoderにedl読ませてカットしようとしたらなぜか途中までしか処理されなかった。avidemuxでカット編集しようとしたらクラッシュして正常動作しなかった。mplexもSegmentation Faltを起こして期待通り動作しなかった、mkvmergeは複数のmkvを連結するような機能はなかった、などいろいろ試して上の結果となった。
CentOS5からCentOS6へLVMを持って行ったら認識しなくなった時の解決方法
Posted on 2013/10/11 (金) 17:27
Filed Under 技術 | Leave a Comment | TrackBack |
CentOS5で使っていたマシンのOSをCentOS6に入れ替えようとして、CentOS6で起動したらいままで動作していたLVMが認識されなくなった。
構成は次の6台
2TB(起動ディスク)
3TB
2TB
2TB
2TB
3TB
CentOS6で起動するとこんな状態になっていて、PVが2本見つからないと言い出し3TBドライブがunknown deviceになっていた。
#内容のコピペがなくスクショしかなかったのでこれで。
結論から言うと、CentOS5上では動いていた、3TBディスクの上にGPTパーティションテーブルで1パーテーションをつくり作成したPV(作成例:pvcreate /dev/sdf1)がCentOS6では認識されていなかった。
ので、CentOS5上でpvmoveを駆使して、3TBドライブをドライブ全体をPV作成例:pvcreate /dev/sdf)にする構成に作り直したところ、無事にCentOS6上でも全PVが認識され、VG,LVもそのまま認識された。めでたしめでたし。
参考:「4.2. 物理ボリュームの管理 - Red Hat Customer Portal」
ところで、CentOS6.3/RHEL6.3からLVMが冗長構成を取れるようになっていたのを初めて知った。そのうち検証する予定。
「4.4.15. RAID 論理ボリューム - Red Hat Customer Portal」
ＪコミFANディングの白井三二朗先生と飲み会に行って来たよ
Posted on 2013/09/29 (日) 3:20
Filed Under イベント | Leave a Comment | TrackBack |
「ＪコミFANディング - 白井三二朗ＰＤＦセット」で買った時の特典でついてきた「白井三二朗先生と飲み会」に行って来た。
便利リンク:白井三二朗先生の代表作2作品がJコミで無料で読めますよ!
「Jコミ | ジョバレ」
「Jコミ | Dear Monkey 西遊記」
白井先生本人、購入者5人、Jコミの幹事2人の8人だったのだけど、男性率100%! おかしい、オタク人口は女子のほうが多かったのではないか?と思いつつも和気藹々とスタートした飲み会で語られた公開してもよさそうな裏話を列挙していくよ。
- 白井三二朗先生のペンネームの由来は黒澤映画の「椿三十郎」かららしい。黒澤映画がお好きなようだ
- ジョバレの背景は先生の仕事場のある江古田が多いらしい。
- ジョバレの単行本はこの世にはまだ初版本しかないらしいぞ。キミの持ってる初版本は貴重品だ。ヤッタネ!
- Dear Monkey 西遊記、射雕英雄伝EAGLETと中国マンガを2作品も描いているのに中国への取材費は出なかったので行けてないそうだ。シリウス編集部渋いね!
- 中国の作家・金庸の武俠小説『射鵰英雄伝』を原作にした射雕英雄伝EAGLETを描いたきっかけは、シリウスの編集長に「最遊記を描いたんだから中国詳しいんだろ?」と思われたかららしいぞ! 取材費出ないのに!
参考リンク:2004年の宗子時空のジョバレ記事:「DCC-JPL:宗子時空日誌過去駄文:2004/08後半」
DCC-JPL Japan夏コミのご案内(3日目 東5 へ48b)
Posted on 2013/08/11 (日) 22:00
Filed Under 同人イベント | Leave a Comment | TrackBack |
早いもので、今度こそこれがジェノサイドだったんじゃねーか?というくらいの暑さと戦ってきた夏コミもついに最終日となってしまいました。
ここ連続で落選していたのですが、今回のコミケはスペースをいただけることになりました。
8/12(月)3日目 東5 へ48b DCC-JPL Japanです。
いつものようにいつも同じで変わり映えしなく違うのはジャケットくらい?な感じなのですが、今回は思い切って消費税増税反対生活防衛値下断行として頒価200円です。
防衛を頑張りましょう。まおちゃんとか懐かしいですね。いま調べたら11年前でした。カノープスのMTV-1000とかで録画していた頃でしょうきっと。
ていうか、なんで未だにハートキャッチなの?ドキドキ!じゃねーの?と1億人くらいが思っているとおもいますが、ひとえにロゴを作るのが困難だったからです。わかれ。
とりあえず何枚売っても多分赤字なので、持っていく枚数もきっといつもと同じくらいです。
Squareは持って行ってるとは思いますが、200円をカードで!とかいう無茶を言うのはやめましょう。Squareが切れるのはVISAとMasterだけです。便利な時代になりましたね。いつかSuicaにも対応してくれるとさらに便利ですね。
この2日間を乗り切った精鋭ならこれ以上言うことはなにもないとは思います。きっと引き続き体温より暑いと思うんで引き続き頑張りましょう。
Recently
- Comistream Reader公開!
- 2024年10月時点の令和最新版ウチのバックアップ環境
- C104 夏コミのご案内
- C103 冬コミのご案内
- C102 夏コミのご案内 13日 日曜日 西お28b
- 「アニメソムリエ」という新サービスを作りました！
- C101冬コミのご案内 2日目 12/31 土曜日 西さ07a
- モバイルディスプレイをMac miniにつないだら1600×1000がRetina表示にならなかったんで設定変更した話
- C100夏コミのご案内 1日目 8/13 土曜日 西し15b
- DCC-JPL.COMのメールシステムをG SuiteからCloudflare Email Routingに切り換えた
- ゲーム実況とVTuber的な日記【毎週土曜15時配信】
- C99冬コミのご案内 2日目 12/31金曜日 東5 テ07b
- アニメオブジイヤ2020
- MacでjpegのzipをQuickLookしよう
- USB2.5GbEアダプタを買ったりErgoDoxのキースイッチをまた交換したりといった最近の日記
- CentOS 8 StreamがESXi5.5上でIllegal instruction (core dumped)で死にまくるのを解決するメモ
- 2020年のヒット曲TOP41が1時間でわかるMIX（原曲Spotifyリンク&各曲コメントつき）
- アニメオブジイヤ2019
- 今日のErgoDoxなどの日記
- 2019年のヒット曲TOP41が1時間でわかるMIX
- 中古のThinkPad X1 Carbon 4th Genを買ってWWAN(LTEモデム)を内蔵した話
- Raspberry PiでGNSSをクロックソースにするStratum1 NTPサーバーを作った話
- 40ギガビットイーサネットへの道 1（MikroTik CRS326-24S+2Q+RM導入編）
- メインプロバイダを「ZOOT NATIVE IPv4固定IP1個」に乗り換えた
- C97冬コミのご案内 4日目 12/31火曜日 南3 ヨ-18a
- 2018年のヒット曲TOP41が1時間でわかるMIX
- 最近のErgoDox日記
- レーザー刻印で薙刀式キーキャップを作った
- Mac miniの重さ
- Mac用薙刀式のセンターシフト+T,Yの実装
Categories
Archives
- 2024年 11月
- 2024年 8月
- 2023年 12月
- 2023年 8月
- 2023年 3月
- 2022年 12月
- 2022年 8月
- 2022年 3月
- 2021年 12月
- 2021年 11月
- 2021年 5月
- 2021年 3月
- 2021年 2月
- 2020年 12月
- 2020年 11月
- 2020年 10月
- 2020年 6月
- 2019年 12月
- 2019年 11月
- 2019年 10月
- 2019年 9月
- 2019年 8月
- 2019年 7月
- 2019年 5月
- 2019年 4月
- 2019年 3月
- 2019年 1月
- 2018年 12月
- 2018年 8月
- 2018年 6月
- 2018年 4月
- 2018年 2月
- 2017年 12月
- 2017年 8月
- 2017年 5月
- 2017年 1月
- 2016年 12月
- 2016年 9月
- 2016年 8月
- 2016年 7月
- 2016年 4月
- 2016年 1月
- 2015年 11月
- 2015年 9月
- 2015年 8月
- 2015年 5月
- 2015年 3月
- 2015年 2月
- 2015年 1月
- 2014年 12月
- 2014年 11月
- 2014年 10月
- 2014年 9月
- 2014年 8月
- 2014年 7月
- 2014年 5月
- 2014年 3月
- 2014年 2月
- 2014年 1月
- 2013年 12月
- 2013年 11月
- 2013年 10月
- 2013年 9月
- 2013年 8月
- 2013年 7月
- 2013年 6月
- 2013年 5月
- 2013年 4月
- 2012年 11月
- 2012年 10月
- 2012年 9月
- 2012年 8月
- 2012年 7月
- 2012年 6月
- 2012年 5月
- 2012年 4月
- 2012年 3月
- 2012年 2月
- 2012年 1月
- 2011年 12月
- 2011年 11月
- 2011年 10月
- 2011年 9月
- 2011年 8月
- 2011年 7月
- 2011年 6月
- 2011年 5月
- 2011年 4月
- 2011年 3月
- 2011年 2月
- 2011年 1月
- 2010年 12月
- 2010年 11月
- 2010年 10月
- 2010年 9月
- 2010年 8月
- 2010年 7月
- 2010年 6月
- 2010年 5月
- 2010年 4月
- 2010年 3月
- 2010年 2月
- 2010年 1月
- 2009年 12月
- 2009年 11月
- 2009年 10月
- 2009年 9月
- 2009年 8月
- 2009年 7月
- 2009年 6月
- 2009年 5月
- 2009年 4月
- 2009年 3月
- 2009年 2月
- 2009年 1月
- 2008年 12月
- 2008年 11月
- 2008年 10月
- 2008年 9月
- 2008年 8月
- 2008年 7月
- 2008年 6月
- 2008年 5月
- 2008年 4月
- 2008年 3月
- 2008年 2月
- 2008年 1月
- 2007年 12月
- 2007年 11月
- 2007年 10月
- 2007年 9月
- 2007年 8月
- 2007年 7月
- 2007年 6月
- 2007年 5月
- 2007年 4月
- 2007年 3月
- 2007年 2月
- 2007年 1月
