tech_memo/oracle_RAC/Install
事前準備(RHEL6) †
install script †
- 下記にしたがってInstallerのスクリプトを編集しておく
oraInverntory †
- oraInventoryが/home/oracle/oraInventory固定になってしまった。gridユーザでrunInstallerを実行すると権限でOUIを起動できないメッセージがでた。
775に設定して実行した。
- racserver2もあらかじめ/home/oracle/oraInventoryを作成し、権限変更しないとinstall中にエラーが発生する。
Oracle Grid Infrastructureインストール †
Select Cluster Type (12c) †
- Install画面では以下の二つを選択できる
- Standard cluster
- Flex cluster
- Flex clusterを選択すると、その後のScan入力画面で、GNS構成のチェックが外せなくなる
- GNS構成は実績がないので、Standard clusterを選択する
SCAN(Single Client Access Name) †
- cluster name --> rac-cluster
- scan-name --> rac-cluster-scan
- scan-port --> 1521
- Configure GNSのチェックは外す
Cluster Node Information †
Specify Network Interface Usage (12c) †
- NICの役割に関して、Public, Privateの他、12cから「ASM & Private」が追加されている
- Flex ASMを使用する場合は、上記を選択するらしいが、使用しないので、インターコネクタNIC(eth1)は、従来どおり、Privateを選択する
- (2016/11/25追記) RHEL7.2 + GUI パッケージをインストールしているとVNICが見えることがあった。使用しないので「Do Not Use」を選択する。
Storage Option Information (12c) †
- 12cより以下のオプションが増えているが、従来通り、Standard ASMを選択
- Oracle Flex ASM
- ASM Client Cluster
Create ASM Disk Group †
再インストール時に、diskが選択できない †
- RACアンインストール後の、再インストールで、以前使用していた、diskがASM diskgroupのMemberとして認識されたまま(All Disksをチェックすると表示される)になり、選択できない事象があった(2015/05/29)
ASMLib †
- rpmパッケージインストール後、以下の作業は1ノードだけとWord手順書にあるが、pdfには全ノードとある。1ノードだけだと怒られたので、全ノード実行が正しいと思われる。
oracleasm configure -i
- RHEL6.3ではASMLibは使えない。(必要なし)
AU Size (Allocation Unit Size) †
Disk group †
- Disk group name --> CRS
- add Disk --> /dev/raw/raw1
- 12cだと、投票Diskに最低5GBがいるが、データ用LUN以外は、2GBのLUNしかない。。。仕方ないので、データ用LUNと共用させる
Specify Management Options (12c) †
- Oracle Enterprise Manager Cloud Controlを登録する場合はチェックを入れる
- すでにOEM Cloud Controlが稼働中の場合のみ実行可能っぽい。
- 稼働してないのでチェックは入れない。
Privileged Operating System Groups (12c) †
- 12cの場合参照しているドキュメントと指定の順番が違うので注意すること。
12cの場合は以下の順番になる。
| OSASM | asmadmin |
| OSDBA for ASM | asmdba |
| OSOPER for ASM | oinstall |
Installation Location †
- /u01ディレクトリにgridユーザで書き込み権限がないとエラーになるので権限を付与しておく(777でもOK)
Root script execution configuration (12c) †
- インストール後の、rootユーザで実行するスクリプトを自動で行うかどうかの選択。 自動実行を試してみる。
- 「Automatically run configuration」にチェックをいれて、rootユーザのパスワードを入力
Perform Prequisite Checks †
LINKLOCAL_INTERFACES network parameter was defined †
- ZEROCONFが設定されていることによる警告
- 解決方法
Device Checks for ASM †
- node1とnode2でディスクを共有できませんという旨のエラーが出た。
ASM使用ディスクを選ぶ際はdeviceファイルそのもの(/dev/sdaなど)を指定することになったが、
指定するのはnode1のみであり、今回iStorageサーバはnode1は/dev/sdd、node2は/dev/sdeと、デバイスファイル名が異なっていたため、このエラーが出た。
下記の設定で、デバイスファイル名を別名にした。
[root@racserver1 ~]# vi /etc/udev/rules.d/99-oracle-asmdevices.rules
KERNEL=="sde", OWNER="grid", GROUP="asmadmin", MODE="0660", NAME="ora_rac", BUS=="scsi", PROGRAM=="/sbin/scsi_id", RESULT=="20016971210340005"
- しかし、この後は下記のようなWARNNINGが出るようになった。
Verification result of failed node: racserver2
Details:
-
PRVF-5184 : Check of following Udev attributes of "racserver2:/dev/ora_rac" failed:
"[Owner: Found='root' Expected='grid', Group: Found='root' Expected='asmadmin', Permissions: Found='0600' Expected='0660']"
- Cause: Found incorrect attributes for the specified device.
- Action: Ensure that the device attributes are set correctly. See Configurable Dynamic Device Naming documentation (udev) for further information.
- PRVF-5184で検索したところ、OracleのBugらしい。
- 上記ページに書いてあった回避策を実行しても改善せず。
下記ページに同じエラーが出たが、ignoreを選択してインストールに成功したという報告もあったので、とりあえず無視して続行することにした。
- rawデバイスファイルをudevのルールに追加したらエラーが消えた！
Device Checks for ASM (RHEL7.1 + Oracle12c) †
- 以下のメッセージ。rawデバイスを指定しているためか？ただ、RHEL6のときは出てなかった気がする。。。
Details:
- PRVG-12805 : Device "/dev/raw/raw3" cannot be managed by the ASM Filter Driver on node "racserver1".
- Cause: The indicated ASM device did not have a correct device type and hence was identified as not AFD capable.
- Action: If you intend to use the ASM Filter Driver to manage this device, ensure that the device selected for ASM is a block device on Linux or a character device on AIX and Solaris operating system platforms.
- ステータスはWARNで、上記Actionにあるように、blockデバイスであることは保障できているので、無視。
- ASMLib + udevルール付すれば上記は回避できる。tech_memo/ORACLE/oracle_RAC/Install/HW-setupを参照
swap領域不足エラー †
resolve.confに関するエラー †
- GSからもらったインストール手順書には各ノードの名前解決に、DNSか/etc/hostsどちらかだけでよいとあったが、DNS設定に関するエラーがでた。
- testserver18にすでにunboundがインストールしてあったので、/etc/unbound.confに下記を追加した。(たぶんzoneの設定はいらない)
server:
local-zone: "mydomain.local" static
local-data: "rac-cluster-scan.mydomain.local A 192.168.100.15"
local-data-ptr: "192.168.100.15 rac-cluster-scan.mydomain.local"
local-data: "racserver1. A 192.168.100.11"
local-data-ptr: "192.168.100.11 racserver1"
local-data: "racserver1-vip A 192.168.100.13"
local-data-ptr: "192.168.100.13 racserver1-vip"
local-data: "racserver1-priv A 192.168.0.10"
local-data-ptr: "192.168.0.10 racserver1-priv"
local-data: "racserver2 A 192.168.100.12"
local-data-ptr: "192.168.100.12 racserver2"
local-data: "racserver2-vip A 192.168.100.14"
local-data-ptr: "192.168.100.14 racserver2-vip"
local-data: "racserver2-priv A 192.168.0.11"
local-data-ptr: "192.168.0.11 racserver2-priv"
- ファイル編集後は下記のコマンドでunboundを起動する必要がある。(serviceコマンドのrestartだけではファイルが読まれない様子)
unbound -c /etc/unbound.conf
- また、各ノードにも下記の設定を追加。
[root@racserver1 ~]# domainname mydomain.co.jp
[root@racserver1 ~]# domainname
mydomain.co.jp
[root@racserver1 ~]# vi /etc/resolv.conf
search mydomain.co.jp
nameserver 192.168.100.118
- 永続化の場合は/etc/sysconfig/networkに下記を追加
NISDOMAIN=mydomain.co.jp
resolve.confに関するエラーその2 (Oracle11.2.0.3 & RHEL6.3) †
- 上記を設定しても出る。
PRVF-5637 : DNS response time could not be checked on following nodes: racserver1,racserver2
Cause: An attempt to check DNS response time for unreachable node failed on nodes specified.
Action: Make sure that 'nslookup' command exists on the nodes listed and the user executing the CVU check has execute privileges for it.
- PRVF-5637でググると、下記サイトで11.2.0.3のバグで無視してよいとある。ただし、このサイトはインストール時の話ではななさそう。
pdkshがない (RHEL6.3 & Oracle11.2.0.3) †
- 佐藤さんに入れてもらったが、kshと競合するため、kshを抜いてインストール。しかし、後のOracle soft wareのOUIのインストール事前チェックで、kshが無いと起こられる。意味不明。
/dev/shm/ mounted as temporary file system (RHEL7.1 + 12cR1) †
- /etc/fstabに/dev/shmのマウントのエントリーがないと以下のエラーがでる。
Details:
-
PRVE-0421 : No entry exists in /etc/fstab for mounting /dev/shm
- Cause: The file /etc/fstab did not have an entry specifying /dev/shm and its size to be mounted.
- Action: Modify /etc/fstab to mount /dev/shm with appropriate size.
- RHEL7.1では/dev/shmのエントリはないので、手動で追加
tmpfs /dev/shm tmpfs defaults 0 0
- まだ、以下のWARNがでる。
Verification WARNING result on node: racserver1
Expected Value : 49152
Actual Value : 0
- 上記以外の情報が何もない。WARNなので無視する
Run Level (RHEL7.1 + 12cR1) †
- 「who -r」コマンドでrunlevelが取得できないのが原因。
- RHEL7では上記コマンドでrunlevelは取得できない。OracleがRHEL7に対応しきれていないように見える。
- ステータスはFailedだが、どうしようもないので無視
Daemon "avahi-daemon" not configured and running (RHEL7.1 + 12cR1) †
- avahi-daemonが生きているかどうかのチェックができない
Details:
- PRVF-7591 : Daemon process check cannot be performed for process "avahi-daemon" on node "racserver1"
- Cause: An error was encountered while trying to determine if the identified process was running on the specified node.
- Action: Ensure that the user has the ability to execute the command displayed.
- serviceコマンドでも、systemctlコマンドのどちらでもチェックはできるが。。。
[grid@racserver1 ~]$ service avahi-daemon status
Redirecting to /bin/systemctl status avahi-daemon.service
avahi-daemon.service - Avahi mDNS/DNS-SD Stack
Loaded: loaded (/usr/lib/systemd/system/avahi-daemon.service; enabled)
Active: active (running) since Thu 2016-02-18 17:39:39 JST; 22s ago
Main PID: 32027 (avahi-daemon)
Status: "Server startup complete. Host name is racserver1.local. Local service cookie is 1811121560."
CGroup: /system.slice/avahi-daemon.service
├─32027 avahi-daemon: running [racserver1.local]
└─32028 avahi-daemon: chroot helper
- サービス停止と、自動起動をOFFにしておけばよい
systemctl stop avahi-daemon
systemctl disable avahi-daemon
Install Product †
Oracle Cluster Verification Utility failed. †
- DNSのscanipのhostnameを間違えていたため最後の最後で以下のようなエラーが出た。
[INS-20802] Oracle Cluster Verification Utility failed.
Cause - The plug-in failed in its perform method
Action - Refer to the logs or contact Oracle Support Services.
Log File Location
/u01/oracle/oraInventory/logs/installActions2011-11-08_11-54-11AM.log
- /u01/oracle/oraInventory/logs/installActions2011-11-08_11-54-11AM.logのエラー部分
INFO: Checking name resolution setup for "rac-cluster-scan"...
INFO: ERROR:
INFO: PRVG-1101 : SCAN name "rac-cluster-scan" failed to resolve
INFO: ERROR:
INFO: PRVF-4657 : Name resolution setup check for "rac-cluster-scan" (IP address: 192.168.100.15) failed
INFO: ERROR:
INFO: PRVF-4664 : Found inconsistent name resolution entries for SCAN name "rac-cluster-scan"
INFO: Verification of SCAN VIP and Listener setup failed
- Listenerのセットアップに失敗したというのうはかなり気になる。が、この部分だけのやり直しができないようなので、先に進んでみる。
- と、思いきや、retryボタンがあったので設定し直して実行して成功。
root.shでエラー †
- CRSディスクグループのrawデバイスファイルがudevのルールに追加されていなかった。(DATAディスクグループは追加されていた)
[ins-20802] oracle net configuration assistant failed during installation (12.1.0.2 + RHEL7.2) †
- RHEL7.1ではおきなかったエラー
- racserver1, racserver2の/etc/oracleのパーミッションを777にしてretryを実行したところ、成功した
- /etc/oracleディレクトリは、インストール時にマニュアル実行するスクリプト内で作成される。
- 12cからはマニュアル実行ではなく、あらかじめ事前設定画面で、パスワード入力しておくなどしておけば、自動実行されるが、自動実行すると、パーミッション変更する前に、次の処理に進んでしまう可能性があるので注意が必要。
[INS-20802] Automatic Storage Management Configuration Assistant failed. (12.1.0.2 + RHEL7.2) †
- ログからは以下の情報のみ。
WARNING: Skipping line: Unable to retrieve local node. The following error occurred:
INFO: Exceeded the number of arguments passed to stdin. CurrentCount:3 Total args:2
INFO: Read: KFOD-00313: No ASM instances available. CSS group services were successfully initilized by kgxgncin
WARNING: Skipping line: KFOD-00313: No ASM instances available. CSS group services were successfully initilized by kgxgncin
- ASMを認識できていないっぽいので、ORACLE_SID含め、すべての環境変数を設定してリトライするとパスできた
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/12.1.0/grid
export ORACLE_SID=+ASM1
- リトライしないとできないっぽい。。。何か間違っていそう。。。
after install †
crsctl stat †
[grid@racserver1 ~]$ crsctl stat res -t
--------------------------------------------------------------------------------
NAME TARGET STATE SERVER STATE_DETAILS
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
ONLINE ONLINE racserver1
ONLINE ONLINE racserver2
ora.LISTENER.lsnr
ONLINE ONLINE racserver1
ONLINE ONLINE racserver2
ora.asm
ONLINE ONLINE racserver1 Started
ONLINE ONLINE racserver2
ora.gsd
OFFLINE OFFLINE racserver1
OFFLINE OFFLINE racserver2
ora.net1.network
ONLINE ONLINE racserver1
ONLINE ONLINE racserver2
ora.ons
ONLINE ONLINE racserver1
ONLINE ONLINE racserver2
ora.registry.acfs
ONLINE ONLINE racserver1
ONLINE ONLINE racserver2
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
1 ONLINE ONLINE racserver1
ora.cvu
1 ONLINE ONLINE racserver1
ora.racserver1.vip
1 ONLINE ONLINE racserver1
ora.racserver2.vip
1 ONLINE ONLINE racserver2
ora.oc4j
1 ONLINE ONLINE racserver1
ora.scan1.vip
1 ONLINE ONLINE racserver1
ifconfig †
最新の20件
2023-01-26
2022-11-11
2022-03-02
2022-02-03
2021-11-18
2021-11-11
2021-10-27
2021-10-04
2021-09-30
2021-08-24
2021-04-01
2021-02-25
2020-08-13
2020-05-22
2020-04-16
2020-04-15
2020-03-23
2020-03-12
2020-02-27
今日の2件
- counter: 2073
- today: 1
- yesterday: 3
- online: 1
