億劫になってきた

・SSHのconfを直した。
[root@db01 ~]# rpm -qa | grep ssh
openssh-askpass-4.3p2-36.el5_4.3
openssh-4.3p2-36.el5_4.3
openssh-clients-4.3p2-36.el5_4.3
openssh-server-4.3p2-36.el5_4.3
[root@db01 ~]# rpm -qa | grep ssl
openssl-0.9.8e-12.el5
[root@db01 ~]#

[root@db01 ~]# cat /etc/ssh/sshd_config
▽▽▽▽▽
省　略
△△△△△
#Protocol 2,1
Protocol 2　←最初から「SSHバージョン2のみ」になっていた
▽▽▽▽▽
省　略
△△△△△
#PermitRootLogin yes
PermitRootLogin no　←念のためrootユーザによるログインは不可能に設定
▽▽▽▽▽
省　略
△△△△△
[root@db01 ~]# service sshd restart
sshd を停止中:                                             [  OK  ]
sshd を起動中:                                             [  OK  ]
[root@db01 ~]#

・/etc/hostsをさらに修正した。（以前の記述は明らかにおかしかった。。）
[root@db01 ~]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1               localhost.localdomain localhost
::1                     localhost6.localdomain6 localhost6

192.168.130.1           db01eth0.orbital db01eth0
192.168.130.11          db01eth0-vip.orbital db01eth0-vip
192.168.131.1           db01eth1-prv.orbital db01eth1-prv
192.168.132.1           db01eth2-nas.orbital db01eth2-nas

192.168.130.2           db02eth0.orbital db02eth0
192.168.130.12          db02eth0-vip.orbital db02eth0-vip
192.168.131.2           db02eth1-prv.orbital db02eth1-prv
192.168.132.2           db02eth2-nas.orbital db02eth2-nas
[root@db01 ~]#
※あわせて、以下のファイルも修正。
→/etc/sysconfig/network
→/etc/sysconfig/network-scripts/ifcfg-eth0

・RACの共有ディスクについて、さらに。
→根拠もなく、NFS上にRAWデバイスファイルを作れると思っていたのだが、できないようだ。
RACの共有ディスクとしては、NFSではなく、マウントせずともローカルディスクのように扱えるものの方がやりやすかったように思う。黒本もネット上のマニュアルもそういった共有ディスクが前提のものばかりだから。ただ、ファイバーチャネルは高すぎる。iSCSIは楽にそろえられるんだろうか。
→まあとりあえずNFSでいくということで、（RAWもOCFSもダメなので）ASM選択が決定的となったのだが、ASMというのは、RACのOCRファイルと投票ディスクを格納することができないというやっかいな特徴を持つ。黒本等の手順説明では、この2つだけはRAWディスクへ保存している。が、今回それはできない。しかしどうやら、NFSファイルへ直に保存できるようで一安心。（ちゃんとOracleマニュアルに書いてあった。）

メモ：次やりたいこと２

・SSHのconfはまだ直してない。

・/etc/hostsを修正した。
[root@db01 oracle]# vi /etc/hosts
[root@db01 oracle]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1               localhost.localdomain localhost
::1                     localhost6.localdomain6 localhost6
192.168.130.1           db01.orbital db01
192.168.131.1           db01.orbital db01
192.168.132.1           db01.orbital db01
192.168.130.2           db02.orbital db02
192.168.131.2           db02.orbital db02
192.168.132.2           db02.orbital db02
[root@db01 oracle]#

修正前は、自端末の131番、132番だけだったが（localhostの下は2行のみ）、
・相手の端末分
・130番
も加えた。（130番はまだNICにIPアドレスふってないけど。）
で、1号機も2号機も同じ内容にした。

・RACの共有ディスクについて、RAWかOCFSかASMにしないといけない。
休みの日にネットサーフィンしながら考えた。
→難しいイメージのないOCFSがいいなと漠然と考えていたのだが、iSCSIもFCもないため、あきらめねばならないということがわかった。
→RAWはファイル一つ一つに領域を用意せねばならない。できないこともないが、他にbindとかいうのが面倒という噂が。。ちゃんと調べていないが。
→ASMはなんといっても運用が面倒でスキルもいるだろう。だが、黒本にも解説があるし、なによりOracleはそのうちにRAWを葬る気でいるらしいので、将来性を考えて、ここはASMしかなさそうだ。

メモ：次やりたいこと

[済]・CentOSの本で、SSHについて読んでおく。
（RACインストールにSSHが必要なので。）

[済]・CentOSの本で、NTPについて読んでおく。
（DBサーバ両機で時刻がずれてるとRACインストールでエラーになるらしいので。）

[済] ・RACの黒本で、以下の点を確認。

□SSHは、telnetで使う？端末エミュレータで使う？scpを使う？
→端末エミュレータで、sshコマンドとscpコマンドを使う。

□SSHは、ver１と２どっち使えるようにしておくべき？
→記述がないが、ver２を使えるようにしておく。

□SSHのver１は使えないようにしちゃってＯＫ？
→記述がないが、ver１を使えないようにしてしまう。

□SSHのパスワード認証と鍵認証のどっち使えるようにしておくべき？
→鍵認証。だが、最初の１回はパスワード認証でないと駄目。

□SSHのパスワード認証使えないようにしちゃってＯＫ？
→（上記項目より）試しに、パスワード認証は使えるようにしておく。

□SSHの「クライアントの鍵作成」と「クライアントの公開鍵をサーバへ格納」という作業はやっておいた方がよい？
→インストール作業の中で行う。

□SSHは、rootは使えないように設定したいが、しちゃってＯＫ？
→ユーザoracleが使えればよいので、rootはsshを使えないように設定する。

[　]・DBサーバ１号機で、SSH設定。
→次のものは行えないように設定しておく。
・ver１としての利用
・rootによる操作

[　]・DBサーバ２号機で、SSH設定。
→次のものは行えないように設定しておく。
・ver１としての利用
・rootによる操作

[済]・DBサーバ１号機で、NTP設定。
→OSインストール時に行っていたようだ。GUIツール上で設定済みになっていることを確認した。

[済]・DBサーバ２号機で、NTP設定。
→OSインストール時に行っていたようだ。GUIツール上で設定済みになっていることを確認した。
※2号機は1号機から時間を取得すればとも考えたが、クラスタ構成ならどっちかが落ちても稼動を続けられないといけないので、やはり1･2号機ともに、外部のNTPサーバから時刻を取得することにする。

---
＜メモ＞
・OracleDatabaseのインストールで、カスタムインストールからStandardEditionはインストールできないことを知った。コンポーネントの選択で、EnterpriseOptionをはずしても駄目とのこと。例えば、フラッシュバック機能はEEしか使えないが、カスタムインストールだと必ずそれが使えてしまう。仕事でインストールする時は要注意。

PCの起動／停止

整理する必要性がないような気もするけれど、一応整理しておく。

・各機器のコンセントをつなぐ。→HUBはこの時点でスイッチＯＮを確認。
・NASの電源スイッチを押す。→スイッチが入った音を確認。
・１分くらい経つと、NASが起動完了となる。→起動完了を知らせる音を確認。
・DBサーバ１号機のスイッチＯＮ。→ログイン画面を確認。
・DBサーバ１号機にログイン。→NASのNFSディレクトリの自動マウントを確認。
・DBサーバ２号機のスイッチＯＮ。→ログイン画面になることを確認。
・DBサーバ２号機にログイン。→→NASのNFSディレクトリの自動マウントを確認。
---

※この部分に書くことは未整理

---
・DBサーバ２号機をシャットダウン。→電源が切れることを確認。
・DBサーバ１号機をシャットダウン。→電源が切れることを確認。
・音がなるまで、NASの電源スイッチを押し続ける。→（１分程で）電源断を確認。
・各機器のコンセントをはずす。→HUBはこの時点でスイッチＯＦＦを確認。

NASと格闘

・NASにハードディスクを取り付ける。
→HDとNASの端子をはめあわせて、ネジで止めるだけ。簡単。

・WindowsマシンとNASをつないで、スイッチON。
→ビープ音が2回のタイミングでなる。

・付属のCD-ROMを使ってセットアップ。
→QNAP Finderというソフトをインストール。
→QNAP Finder起動する。
→「NASが見つかりません」とエラー。
→→WindowsマシンとNASの間にHUBをはさんでみる。→変化無しで解決せず。
→→WindowsマシンのNW設定変更："自動IP取得"を"ローカルIPアドレス＆サブネットマスク"に変更。(192.168.133.1、255.255.255.0)
→問題解決。(NAS見つかる。)
→各種設定。
・サーバ名はnas01に設定。
・adminパスワード設定。
・IPアドレス：192.168.131.3
・サブネットマスク：255.255.255.0
・デフォルトゲートウェイ、プライマリDNS、セカンダリDNS：設定なし
→ハードディスク初期化タイム　＆　設定適用タイム　＆　NASの自動再起動

・続いて、ネットワークドライブの割り当てもやってみる。
→またもNASが見つからない旨のエラー。
→→WindowsマシンのNW設定変更："IPアドレス＆サブネットマスク"を「192.168.133.1、255.255.255.0」から「192.168.131.4、255.255.255.0」に変更。(NASと同一ネットワークにした。)
→問題解決。(NAS見つかる。)
→設定画面に進んだのだが、どうもピンとこないので中断。NFSの設定をしたいのだが、実はよくわかっていなかった。

・忘れずにファームウェアのアップデート。
→本当は、セットアップの前にQNAPのサイトへ行って最新ファームウェアをダウンロードしておくのがよかったのだが、（そうすればセットアップ途中の「適応するファームウェアファイル選択画面」で最新版を選択できる。）気づけなかったので、セットアップ後に実施。
→Windowsマシンのケーブルを「HUB経由でNASへ延びているもの」から、「ルータ経由でインターネットへ延びているもの」へ交換。そして、NW設定を「ローカルIP（つまりLAN用設定）」から「DHCP（つまりインターネット用設定）」に変えて、インターネットへ繋げられるようにし、ファームウェアをダウンロードしてくる。ダウンロードしたら、また設定を戻して、QNAP Finderのメニューから「NASのファームウェア更新」を実施。ああ面倒くさい。

・NFSの設定はどうも付属の説明書には載ってないようだ。
→こんなこともあろうかと、ネットで製品の取扱説明書(pdf)をダウンロードしておいた。
→190ページもあるのに、NFSについては2箇所にしかなかった。(以下2点。)
・管理ページで、NFSを有効にするというチェックボックスにチェックを入れること。（管理ページには、詳細設定へのリンクもある。）
・Linuxからのマウントコマンドは、「mount -t nfs 192.168.131.3:/nfs /mnt/nfs」のようにする。
→管理ページへアクセス。(http://NASのIPアドレス:8080/)

→NFSを有効にするのチェックボックスをチェックして適用ボタンをクリック。
→「Nfs」という名前で共有フォルダを作成してみた。ファイルサイズの設定はないようだ。作ったばかりだと4KBと表示される。パスは「/nfs」とした。アクセス権は、adminのR/Wしかない。とりあえずゲストユーザもフルアクセスという設定にしてみる。NFSからのアクセス権は「制限無し」に設定。（多分、共有フォルダを新たに作らなくても「Public」フォルダというデフォルトのフォルダを使えばいいような気がする。こいつだけは初めからNFSからのアクセス権が「制限無し」になっていた。ゲストユーザもフルアクセス。ちなみにこちらのパスは「/Public」だった。）
→NFS以外のシステムサービスを片っ端から解除しておく。NFSだけ使えればいいから。

※「NAS側でoracleというユーザを作って、共有フォルダにoracleユーザのR/Wアクセス権を設定する」という作業がいるような気がするのだが、今はやらないですすめてみよう。

・Linux(DBサーバ1号機)からNASへのアクセスを試みる。
→pingは通った。
[oracle@db01 ~]$ ping 192.168.131.3
PING 192.168.131.3 (192.168.131.3) 56(84) bytes of data.
64 bytes from 192.168.131.3: icmp_seq=1 ttl=64 time=1.77 ms
64 bytes from 192.168.131.3: icmp_seq=2 ttl=64 time=0.172 ms
64 bytes from 192.168.131.3: icmp_seq=3 ttl=64 time=0.132 ms
64 bytes from 192.168.131.3: icmp_seq=4 ttl=64 time=0.143 ms

--- 192.168.131.3 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3000ms
rtt min/avg/max/mdev = 0.132/0.555/1.773/0.703 ms
[oracle@db01 ~]$

→ではmountしてみよう。
[oracle@db01 ~]$ mount -t nfs 192.168.131.3:/nfs /mnt/nfs
mount: root だけがそれを行なえます

※mountコマンドはrootで。。

[oracle@db01 ~]$ su
パスワード:
[root@db01 oracle]# mount -t nfs 192.168.131.3:/nfs /mnt/nfs
mount.nfs: mount point /mnt/nfs does not exist

※mountコマンド打つときは、マウント先のディレクトリ(/mnt/nfs)が存在してないとね。。

[root@db01 oracle]# cd /mnt
[root@db01 mnt]# ls
[root@db01 mnt]# mkdir -p /mnt/nfs
[root@db01 mnt]# ls -l
合計 4
drwxr-xr-x 2 root root 4096 11月 23 07:07 nfs
[root@db01 mnt]# mount -t nfs 192.168.131.3:/nfs /mnt/nfs
mount.nfs: Input/output error
[root@db01 mnt]#

※NFSクライアント(この場合DBサーバ1号機)もportmapサービスを立ち上げておかないとね。。

[root@db01 oracle]# service
bash: service: command not found

※"su"じゃなくて"su -"でroot権限を持っていないと、serviceコマンドは打てないのね。。

[root@db01 oracle]# exit
exit
[oracle@db01 ~]$ su -
パスワード:
[root@db01 ~]# service portmap start
portmap を起動中:                                          [  OK  ]
[root@db01 ~]# chkconfig --list portmap
portmap         0:off   1:off   2:off   3:off   4:off   5:off   6:off
[root@db01 ~]# chkconfig portmap on
[root@db01 ~]# chkconfig --list portmap
portmap         0:off   1:off   2:on    3:on    4:on    5:on    6:off
[root@db01 ~]#

※portmapを起動したついでに、自動起動に設定しておかないとね。

[root@db01 ~]# showmount -e 192.168.131.3
Export list for 192.168.131.3:
/Qweb        
/Qusb        
/Qrecordings 
/Qmultimedia 
/Qdownload   
/Public      
/Nfs         
[root@db01 ~]#

※このコマンドは便利。NFSサーバ(この場合NAS)の公開ディレクトリが一目でわかる。

[root@db01 ~]# mount -t nfs 192.168.131.3:/nfs /mnt/nfs
[root@db01 ~]# df -kh
Filesystem          サイズ  使用  残り 使用% マウント位置
/dev/mapper/VolGroup00-LogVol00
                      130G  3.7G  120G   3% /
/dev/sda1              99M   18M   77M  19% /boot
tmpfs                 4.0G     0  4.0G   0% /dev/shm
192.168.131.3:/nfs    458G  168M  458G   1% /mnt/nfs
[root@db01 ~]#

※やっと無事マウントされた。。

[root@db01 ~]# cat /etc/fstab
/dev/VolGroup00/LogVol00 /                       ext3    defaults        1 1
LABEL=/boot             /boot                   ext3    defaults        1 2
tmpfs                   /dev/shm                tmpfs   defaults        0 0
devpts                  /dev/pts                devpts  gid=5,mode=620  0 0
sysfs                   /sys                    sysfs   defaults        0 0
proc                    /proc                   proc    defaults        0 0
/dev/VolGroup00/LogVol01 swap                    swap    defaults        0 0
[root@db01 ~]# vi /etc/fstab
[root@db01 ~]# cat /etc/fstab
/dev/VolGroup00/LogVol00 /                       ext3    defaults        1 1
LABEL=/boot             /boot                   ext3    defaults        1 2
tmpfs                   /dev/shm                tmpfs   defaults        0 0
devpts                  /dev/pts                devpts  gid=5,mode=620  0 0
sysfs                   /sys                    sysfs   defaults        0 0
proc                    /proc                   proc    defaults        0 0
/dev/VolGroup00/LogVol01 swap                    swap    defaults        0 0
192.168.131.3:/nfs      /mnt/nfs                nfs     rw,intr         0 0
[root@db01 ~]#

※マウントも自動設定にしておく。なお、NFSがつながっていない状態でノード起動しちゃう等、サーバやネットワークがダウンしたような場合は、その間中、NFSサービスを利用するプログラムがすべてハングアップしてしまう。しかし、intrを入れておけば、動作を中断できるとのこと。

[oracle@db01 ~]$ cd /mnt
[oracle@db01 mnt]$ ls -l
合計 4
drwxrwxrwx 2 root root 4096 11月 23 07:56 nfs
[oracle@db01 mnt]$

※ちなみに、/mnt/nfsのアクセス権はこんな感じ。chownでoracle:dbaに変える必要はなさそう。あと、NFSサーバ(NAS)側のユーザ作成も必要なさそう。/mnt/nfs配下でoracleユーザで新規ファイル作成もできたし。

・そして、2号機も同様の設定を行った。こちらはコピペでさくさくと。