Desert Rose

この記事については現在も設定などを試行錯誤中ですので加筆修正される可能性があります。 Docker-mirakurun-EPGStationの導入は検索をすると非常に多くの記事がヒットします。 省電力・省スペースのメリットがあるRaspberry Piを用いて導入されているケースも多くまた、書かれた時期から年数が経っている場合など読み進めると設定の仕方が微妙に違うぞ、となることもありました。 自分の環境の場合に参考になったのは以下のリンクの記事でした。 【初心者向け】Ubuntu20.04とPT3環境にDocker-MirakurunでTVサーバーを構築する 私が導入した環境についてはこのシリーズの① https://desertrose17.blogspot.com/2023/01/ubuntu-server-2204pt3.html に記載しています。LenovoのThinkCentre M710e Smallをベースに用い、チューナーボードにはPT3を使用する環境です。 Mirakurunの導入にあたっては以下の前提条件があります。 チューナーのドライバーがインストールされている Docker, docker-composeの導入 ホスト上のpcscd(バックグラウンドで動くPCカードリーダーを読み取るソフトウェア)を停止する 「ホスト上のpcscd」という単語が出てきますが、Dockerというのが仮想環境を作成する基盤のようなもののようです。かなり前にVMwareは使っていたことがありますがホストOS(ここではUbuntu22.04)の中にMirakurunとEPGStationが動作する仮想サーバを作ると理解しておいて先に進めることにします。 確認作業など PT3のドライバは現行のUbuntuではOSに組み込まれているようなので確認します。 $ ls /dev/dvb/ のコマンドの出力で adapter0 adapter1 adapter2 adapter3 と出ていれば認識されています。 /dev/dvb/adapter0/ ・・・衛星放送用 /dev/dvb/adapter1/ ・・・地上デジタル用 /dev/dvb/adapter2/ ・・・衛星放送用 /dev/dvb/adapter3/ ・・・地上デジタル用 必要と思われるソフトをインストールし...

 久しぶりの更新になりますが、本当にこの間色々とあって落ち着かず更新が出来ずじまいでした。 久しぶりに書くネタが出来たので備忘録を兼ねて書くことにします。 最初に記事の内容をまとめて起きます。 元の録画サーバの構成や入れ替えに至るまでの経緯(この記事) Ubuntu 22.04LTSを入れた後SSHでログインできるようになるまでの手順 Docker-mirakurun-EPGStationインストールから稼働まで 録画データの共有のためのSambaの設定 サーバ稼働状況の確認のためのmuninとNGinxの設定 Foltiaインストール時にデフォルトだと不満があるので個人的にやっていること といったような構成で書いていこうと思います。作業はこの箇条書きの通りに進めると思いますが、安定稼働に至るまで色々とあれば更新する順番は前後するかと思います。それとUbuntu Serverのインストールに関しては他に山ほど出てくるためここでは記事にしません。 録画サーバの使用状況 ほとんど深夜アニメのタイムシフト視聴のために録画サーバを作動させています。この5年ほどはOSというかシステムにはFoltia Anime Lockerを利用して夜間録画して翌朝以降に視聴するスタイルです。とはいえずっと見ないままサーバのHDDに保管されているだけになっている作品も数多くあったりします。それと、Perfumeなど好きなアーティストの出ている番組を録画して出演しているところだけ切り取って保存するのにEPG録画も時々してます。市販のレコーダーだとこの編集がなかなか自由に出来ないのが難なのですよね。 Foltiaの方は商用ソフトのため必要なハードウェアさえ揃えて結線などに致命的な間違いでも無ければほとんどハマる事もなく順調にインストールが進み録画もできるようになると思います。 しかしながら4年ちょっと使用していると、最近とても不安定になり朝録画できているか確認したら応答しないという事態が頻繁に起こるようになりました。 Foltiaのサポートにも相談したのですが、データベースの破損またはハードウェアの不具合が考えられるためシステムの再インストールをして原因の切り分けを勧められました。再インストールするにしても録画データの入ったHDDはほぼ満タンとなっていてそれならHDDを入れ替えてリアルタ...

http://desertrose17.blogspot.jp/2013/05/nas.html の続きです。 HDDにはNAS用と謳われているWestern Digitalの赤の3TBを6台使用することにしました。 OSはZFSを使用したかったので、FreeNAS。 写真はあまり撮っていなかったので次回にでもと思っていますが、転送速度をとりあえずCIFS(Samba)で計ってみた。 RAIDZ2(RAID6相当)なのでもうちょっと落ちるかと思っていたが、このテストをしている時もrsyncでバックアップしている時もCPU負荷は約50％程度でした。 CIFSの設定はオプションに非同期書き込みをON、「max protocol = SMB2」を追加したのみ。 こんなものなのかな。もうちょっとチューニングが必要かもしれないが、調べて追加していくとする。

　今までNASサーバとして、QNAP社のTS-509Proという製品を使用していたのだけれど、保存しているデータが多くなってきて手狭になってきました。購入当初は1TBのHDDを5台で、特に重要なデータをそのうち2台でRAID1のボリュームに保存し、優先度の低い物は残り3台でRAID5のボリュームに保存していました。総容量は3TBですね。 　これでも手狭になってきたのとHDDの価格低下してきたのを見計らって全て２TBに交換し5台でRAID5のボリュームに変更し総容量8TBになって、もうコレでしばらく大丈夫!! と思っていたのですが、これでも足りなくなってきてしまいました…。 「HDDの容量はあればあっただけ、保存するデータが増える」といいますが、全くその通りです。 あと、ローカルのHDDに保存しなくなったという事もあるのかもしれません。 今ではHDDの容量も４TBの物もありますが、困った事にこの製品は対応しているHDDの最大容量が2TBまでのものしか対応してません(´Д⊂ヽ 前置きが長くなってしまいましたが、そういう事情でNASサーバを自作する事にしました。 ケース　Lian-Li PC-Q25 マザーボード ASUS C60M-I 電源 Corsair C430M といった感じの構成です。 録画サーバではUbuntu Serverを使用していますが、こちらはファイルサーバとしての使用のみで考えているためOSはFreeNASでZFSを使用してみたいと思います。 マザーボードのASUS C60M-I はSATA6Gの端子が6つありますのでHDDではそのスピードを使い切る事は無いでしょうがOSはUSBメモリにインストールして、SATA端子の方は全てHDDを繋ぎます。 ケースには最後までFractal DesignのNode304と迷いに迷いましたが、HDDを最大7つ搭載可能な事、録画サーバでLian-Liのケースを使用していて作りの良さが気に入っていたのでこちらにしました。 SATAを増設するカードを挿して、HDDの台数を増やす事もできるかなという目論見もありました。 まぁ、その目論見は叶わない事が後で分かる訳なんですが…。

タイでの洪水以降、HDD価格の高騰が続いています。2TB, 3TBのHDDだと最も安かった時の3倍近い値段になっており、秋葉原のPCパーツショップだと表示が「時価」なんてお高級な寿司やのような状態になったりもしているそうです。 現地の人達の生活が元の日常に一日も早く戻る事をまずお祈りします。 しかし、それまでの間保存しているデータが増えたからといっておいそれとHDDを買い足すということが非常に難しい状況は当面続く訳です。録画サーバに保存している動画を整理したりして空き容量を稼ぐことにします。 検索してみると、相当数のサイトが出てきます。私なりに理解した事を列挙していきますと、 録画したファイルの加工の手順としては TSファイルの状態からワンセグデータなど余分なデータを削ぐ CMなどをカットする。 映像と音声に分離してそれぞれエンコード 分離した音声と映像を合成する という感じでやる事をたいていのサイトで勧めているのでこの手順で行ってみようと思う。 とりあえず、未加工のTSファイルが大小合わせて約250個、3TB弱あったのですが、ワンセグデータなどを削ぐと約600GB程度容量を節約する事ができました。 ここでふと思ったのが、録画の際にHD動画のデータだけ保存することは出来ないものだろうか？と思い調べていくと、PT2の録画用のソフト recpt1 にはSIDを指定するオプションがあり、--sidにてそれを設定すれば、録画の段階でワンセグデータ等を含まないHD動画だけを保存できるみたいです。 recpt1が結構前からsidオプションを搭載していた http://d.hatena.ne.jp/shiwork/20110125/1295894310 上記の方はFoltiaをご使用されいているみたいなんですが、私が録画に使用しているのはEPGrecなので本家サイトを見ると http://www.mda.or.jp/epgrec/index.php/epgrecの使い方#qba72a08 チャンネル設定ダイアログのサービスID欄に、そのチャンネルに設定したいサービスIDを設定し「変更」をクリックするとサービスIDの情報が更新されます。設定したサービスIDは、do-record.sh内で環境変数$SIDとして参照、利用できます。 ...

RAID構築に関しての記事も一応3度目になりました。 故障したHDDは販売店に送って確認して頂いた所、保証期間内であったため無償交換して頂けました。タイでの洪水、HDD価格の高騰の直前だったため迅速に対応して頂けました。ArkJAPANさんに感謝です。 前回の投稿の通り、HDD3台でのRAID5は一応2日ほどかけて再構築も完了しました。新品のHDDも3台手元にある状態になりましたので、当初の計画通りHDD6台でのRAID6に移行させていこうかと思います。 先日の投稿 の通りの手順で、まずは追加した3台のHDDにパーティションを作成します。 # parted /dev/sdX (parted) mklabel gpt としておきます。一旦partedを終了します。 (parted) quit そして通常のコンソールで # parted --align=min --script /dev/sdX mkpart primary ext4 0 100% 作成したHDD3台分のパーティションを、RAIDアレイに追加します。元々、/dev/sda1、/dev/sdb1、/dev/sdc1 を既に使用しており、/dev/sdd1、/dev/sde1、/dev/sdf1 を追加するものとします。 # mdadm --manage --add /dev/md0 /dev/sd[def]1  mdadm: added /dev/sdd1 /dev/sde1 /dev/sdf1 RAIDの状態を確認します。 # cat /proc/mdstat  Personalities : [raid1] [raid6] [raid5] [raid4]  md0 : active raid5 sdf1[5] (S) sde1[4] (S) sdd1[3] (S) sdc1[2] sdb1[1] sda1[0] 586082736 blocks level 5, 64k chunk, algorithm 2 [3/3] [UUU]  追加した3台のHDDのパーティションがスペアディスクとして認識されています。スペアディスクは上記の状態ですと、/dev/sda1, /dev/sdb1, /dev/sdc1 のいず...

前々回の更新でmdadmでWD30EZRX(３TB)のHDD3台でのRAID５の構築ができました。 本当は3台追加してパリティディスクを2台に分散したRAID６へ移行するつもりだったのですが、途中でRAID5の状態でHDDが1台故障してしまったり、移行にも失敗してしまったのでその記録を書いておきます。タイでの洪水により現在は３TBのHDDも1台が2万円以上になるほど価格が高騰していますが、1ヶ月ほど前の時点では1台8000円程でしたので追加用に3台購入して次の休日にケースを空けてHDDを追加しよう…と思っていた矢先に保存していたアニメを見ていたら 「カコ～ン」という音とともにアクセス速度が急に落ちるという現象がorz cat /proc/mdstat としてみると正常な状態であれば、 Personalities : [raid6] [raid5] [raid4] md0 : active raid5 sdc1[2] sdb1[1] sda1[0]       586082736 blocks super 1.0 level 5, 128k chunk, algorithm 2 [3/3] [UUU]       bitmap: 2/350 pages [8KB], 4096KB chunk みたいな出力がされるものなんですが、先ほどの異音発生後、mdstatを見ると $ cat /proc/mdstat Personalities : [raid6] [raid5] [raid4] md0 : active raid5 sdc1[1] sda1[0]        586082736 blocks super1.0 level 5, 128k chunk, algorithm 2 [3/2] [U_U]       bitmap: 2/350 pages [8KB], 4096KB chunk       unused devices: <none> ...

サーバを24時間稼働させていると外部から侵入されないかなど気になります。自分だけならともかくも、踏み台にされて多数の方に迷惑をかけるような事にはならないようにしたいものです。 EPGrecの運用を色々と調べているうちに、参考にさせて頂いたサイトの１がふと目に留まり、設定しておく事にしました。 目的は、apacheから書き込み権限を無くすと録画したファイルが生成されない為、epgrec以下のディレクトリを外部から見られないように認証を設けることです。 手順は以下の通りです。 パスワードファイルを生成する rootでhtpasswdを実行する ファイルの場所や名前はどこでも良いらしいが、後々わかりやすいように/etc/apache2/mods-available以下にhtpasswdという名前で生成する sudo htpasswd -c /etc/apache2/mods-available/htpasswd hogehoge New Password: Re-type new password: Apacheの設定を変更する httpd.confを開き、epgrecに認証の設定を追記する sudo vi /etc/apache2/httpd.conf 追記する内容は以下の通り <Directory "/var/www/epgrec"> AuthType Basic AuthName "Private" AuthUserFile /etc/httpd/conf/htpasswd Require valid-user --（既存の設定）-- </Directory> 設定を反映するためApacheの再起動 sudo service apache2 restart 反映させた後、EPGrecの番組表などにアクセスしようとすると、上記で設定したユーザー名、パスワードを要求されるようになります。 参考にさせて頂いたサイト epgrecを安全に運用する Ubuntu 10.04 LTSでApacheのBASIC認証

前回の更新が８月なので、ほぼ３ヶ月更新できませんでした。ちょうどその頃Twitterって奴を始めてしまい、お手軽なせいもあってついついそちらばかりになってしまいました。 Ubuntu 10.04LTSを用いた録画サーバですが、現在のところ安定して運用できています。構成も前回書いたものから少々変更になりましたが、備忘録も兼ねて書き出しておきます。 CPU Intel Core i3 2100T CPUクーラー サイズ KABUTO Mother Board ASUSTek P8H67M-Pro Memory 4GB x2 計8GB HDD HGST HTS543225A7A(2.5" 250GB): システム用 Western Digital WD20EARS(3.5" 2TB): 一次録画用 Western Digital WD30EZRX(3.5" 3TB) x 6台: RAID6 データ倉庫用 拡張カード類 玄人志向 SATA2I2-PCIe(システム・一次録画用HDDを接続) アースソフト PT2 電源ユニット Corsair AX650 ケース Lian-Li PC-A04B ツッコミどころ多々あるかと思います…この構成で650Wの電源はいらないだろう…とかTDP35WのCPUにそんなクーラーいらないだろう…とか。一応弁解しておきますと、KABUTOについては前録画サーバとして使っていたものから流用です。オークションで売って処分しようかとも思いましたが、相場価格を見たら手間がかかる割にたいした金額になりそうもないので使ってしまおうと思った次第です。 電源については、プラグイン式で24時間稼働させるので高効率のもの…と思って色々検討した結果これになりました。動作音も静かで良好です。 電源電卓 で計算してもHDDが全て動いても恐らくは300W以下だろうと思いますのでマージンを見ても400Wクラスの電源で十分だったんですが、SATAの端子が足りなすぎたり(まぁ分岐ケーブル使えば良いんですが数が多くなるとそれも結構な金額になるし)、プラグインじゃ無かったり、色んな所のレビュー見たら音がうるさいとかだったりで、これになりました...

前回の続き。 とりあえず、新録画サーバの準備がある程度できてきました。 迷っていたケースはLian-Li PC-04Bに決定し購入済み。 CPU: Intel Core i3 2100T MotherBoard: Asus P8H67-M Pro Memory: 4GBx2 Strage: HGST HTS543225A7A384 SATA 250GB 5400rpm (System) 　　　　　WD WD30EZRX 3TB SATA x3台(RAID5でデータ領域) 　　　　　WD WD10EADS(録画データの一時保管場所) Board: Earthsoft PT2 　　　　玄人志向 SATA3I2-PCIe 6Gbps(OS,録画データ分HDD接続用)   といった感じです。 OSは今回もUbuntu Serverで行こうかと思います。 今はとりあえず録画のみで他のマシンにストリーミング等できない状態で使用していますが、目標は以下の通り。 ●ストリーミングが可能な設定にして他のマシンで視聴できるようにする。 ●DLNAサーバの機能を組み込む ●録画休止している間にH264&AACのMP4にエンコードしてRAIDの領域に保存する。 ●Handbrakeなどを使って所持しているDVDもエンコードして保存する。 ●Munin等でWebベースでHDD温度、CPU使用率の推移などを監視 等です。

先日書いた、現在録画サーバとして使用しているマシン…消費電力の観点からと、ストレージが混乱してきているためハードウェアの整理と、できれば外観はよりコンパクトに、ストレージの容量は倍増したいということでここ数日仕事の合間などに調査しています。 自分の頭の中の整理の為に決めていることと、迷っていることを書き出してみることにします。 決めていること CPUはCore i3 2100T等省電力のもの。 KVM(キーボード、マウス、ディスプレイ)はつながない。SSH等、リモートで管理する。 マザーボードはMicroATX規格のもので、H67チップセット、SATAが6個以上あるものにする。 ケースは高さ40cm以下、できれば電源は下置きのもので正圧にしやすいもの。 3.5"HDDを最低6台積めるものにする。 ホットスワップの可否には拘らない。 最終的に 3TBのHDD 6台で RAID6のアレイを組み12TBの保存領域を確保する。 RAIDカードは使用せずにソフトウェアRAIDを採用する。 ファイルサーバを兼ねるので、保存領域に使用するHDDはマザーボードのSATA端子に接続するとして、システムは別の拡張カードを買ってそれにつないだ2.5"HDDにインストールする。  っていうところまでは心に決めています。 RAID6のアレイなんですが、HDDを一括で購入して揃えられればよいのですが、資金面でこの間メインマシンを新調したばかりなのでちょっくら 厳しい。あと、現在使用しているサーバに保存してあるデータは安全に移動させたい。ので、 最初に3台3TBのHDDを購入してRAID5のアレイを組んでおき予算の都合が付き次第もう3台設置してオンライン容量拡張、RAIDレベルも5から6 へ変更できればいいなと思っています。 一応RAIDレベルの変更、容量拡張はmdadmを使用することでLinuxでは可能な事は確認しています。WindowsでソフトウェアRAIDは使用したことはないんですが、可能なのかしら。 迷っていること OSを今と同じUbuntu Serverにするか、Windows7にするか、はたまたWindows Home Server 2011にするか。 ケースを何にするか。  OSを何にするかなんですが、録画したファイルをエ...

録画兼ファイルサーバとして使用しているPCは通常Ubuntu Serverがインストールしてあるのですが、 ここのサイト を見てたら、省電力＆録画後エンコードもできて非常に便利そうです。 ハードディスクの容量も逼迫してきている今日この頃、マシンの更新を検討しているのですがWindowsベースにする方が何かと便利かなと心の揺れているところです。 録画PCは、ファイルサーバとしても使用しているため、Adaptec 2405というRAIDカードを挿して２TBのHDD4台をRAID 1のストレージ2組で使用しています。 Windowsまたは、Linuxでもデスクトップ版で使用していれば、Adaptec Strage Manager(以下ASM)というGUIの管理ソフトが使用できるのですが、あいにくインストールしてあるのはServer版で普段はキーボード、マウスもつながずにSSHでログインしてコマンドラインで使用しているためASMは使用できません。 いろいろググってみるとCUIでも使用する方法はあるみたいなんですが、BIOSをアップデートしたいだけなので、システム用のHDDの先頭にこういう時用にWindowsXPをインストールしておいたので、ASMをインストールしてBIOSをアップデートしました。 新しいサーバを作ってデータもすべて引っ越ししてからの方が安全かなと思いましたが、ASM経由で無事にBIOSを17530から18252へアップデートできました。というのもアップデートしないままでは、３TBのHDDに対応できないのです。 新しく組むときはLinuxベースにするとしてもソフトウェアRAIDにしようかと思ったりもしています。そうなると不要になったRAIDカードはオークションに出品することになるかと思います。アップデートしておいて3TBのHDDもすぐ使用できる方がいいかと思ったのです。まぁ出品せずに使用するかもしれませんが、その場合でも3TBのHDDが使えた方がいいですし。 現在のマシンの構成っていうのが、自分で言うのもなんなんですが建て増しを繰り返してかなりちぐはぐな構成になっています。 CPU: AMD Phenom 905e MotherBoard: ASUSTeck M3A78Pro Memory: DDR2-800 8GB HDD: WD...

SSHでログインした際に、 Linux a-chan 2.6.32-31-server #61-Ubuntu SMP Fri Apr 8 19:44:42 UTC 2011 x86_64 GNU/Linux Ubuntu 10.04.2 LTS Welcome to the Ubuntu Server!  * Documentation:  http://www.ubuntu.com/server/doc   System information as of Sun May 22 19:04:58 JST 2011   System load:    1.16               Processes:          212   Usage of /home: 0.1% of 132.81GB   Users logged in:    0   Memory usage:   4%                 IP address for br0: 192.168.0.77   Swap usage:     5%   Graph this data and manage this system at https://landscape.canonical.com/ Ubuntu 10.04.2 LTS Welcome to the Ubuntu Server!  * Documentation:  http://www.ubuntu.com/server/doc   System information as of Thu Apr 21 15:11:09 JST 2011   System load:    0.25           ...

ファイルサーバのマシンは、kvmにより仮想化したvmが幾つか動いているのですが、アップデートはそこそこきちんとしていたものの、古いカーネルなど不要になったパッケージを削除しないままになっていました。 モニターは繋がず、sshでログインして管理しているため(といっても遠隔操作ではなく直ぐ隣りに置いているのですけれど)、UbuntuTweakなどのGUIなアプリを使用することもできません。で、シェルにzshを使用しているため試しに、 $ sudo dpkg -P linux-image-2.6.32-{21..29}-server としてみたところ、最新のカーネルを除いて全てサクッと削除してくれました。 zshはまだ使いこなせてない…。勉強しないと。

ファイルサーバとして使用しているUbuntu Serverのマシンのストレージの残り容量が殆ど無くなってきていたので、スペースを拡張致しました。 方法について、今度やるときに忘れてしまいそうなので自分用にメモしておきます。 手順は以下のサイトを参考にさせて頂きました。 3章 LVM操作 応用編 http://pantora.net/pages/linux/lvm/3/ LVMの構築方法（論理ボリュームの大きさを拡張する） http://piro791.blog.so-net.ne.jp/2008-10-01-3 使用したマシンではAdaptecのRAIDカードを挿して使用しています。 Adaptec RAID 2405とハードディスクケースを組み合わせて使用していました。幸か不幸かホットスワップは一度も使ったことはありません。 ４台のSerial ATA HDDを接続できるカードなのですが、今まではWestern Digitalの2TBのHDD2台をRAID1で運用して使用してきました。 で、1TBずつのパーティションを切ってそのどちらもが容量不足に陥りかかっていたので、HGSTの2TBのHDDを2台追加しました。初めから4台でRAID1x2で組んでいれば良かったのでしょうが、予算がちょっと不足していたのです。 で、RAIDカードのBIOS画面でとりあえずHGSTのHDD2台をRAID1で使用する設定にした上でOSを起動します。 ここからは、以下の手順です。 fdiskコマンドでHDDにLVMボリュームのパーティションを作成する。 pvcreateコマンドでそのパーティションに物理ボリュームを作成する。 vgextendコマンドで2で作成した物理ボリューム(PV)をVGに加える。 lvextendコマンドで論理ボリュームのサイズを拡張する。 resize2fsでファイルシステムを拡張する。 といった手順で容量を拡張できました。5については拡張する予定のファイルシステムがext3フォーマット以降でないと、オンライン拡張(ファイルシステムをマウントしたまま拡張する)が出来無いようです。

前々回にUSBメモリーにXenSeverをインストールといったようなことを書いてしまったのですが、その後 Ubuntu Server 9.10(amd64)+kvmに乗り換えました。 USBメモリーから起動できるのは魅力的だったのですか、他のUSBデバイスをつないだままだと色々やってみたんですが起動できないみたいで。 地デジ録画をさせたいので、起動の度に抜き挿しするのも面倒ですし。 500GBのHDDがあったので、BIOSアップデートなんかの時の事に必要になる事もあるので、40GBをWindowsXPに割り当てて、残り425GBをUbuntu Server に割り当てました。 とりあえず http://bach.istc.kobe-u.ac.jp/lect/tamlab/ubuntu/kvm.html と http://www.mztn.org/kvm/kvm.html を参考にさせていただきました。 -vncオプションでWindowsXPも無事にインストールできましたが、WindowsUpdateに2時間以上かかってしまいました。 あと、サーバ側にはXをインストールしたくなかったので、こちらを参考にsshでログインして仮想マシンを起動させています。 http://d.hatena.ne.jp/Fiore/20080228/1204174833 まだ色々と設定していかなくちゃいけないので暫くは更新していけそうです。