rac has,crsd啟動跟蹤--linux平臺RAC日志誤刪

刪掉了$CRS_HOME/log/$HOSTNAME/下的所有日志文件和目錄，于是has啟不來了,單步執行：

sh -x /etc/init/ohasd

strace -p ohasd的pid

查看/var/log/messages,$ORACLE_HOME/log/$HOSTNAME/alert_$HOSTNAME.log,發現其步驟如下：

檢查/opt/crs/product/bin/crsctl.bin文件：

進入目錄：/var/tmp/.oracle 建立socket文件；

進入目錄：/etc/oracle/

讀取目錄：

/opt/crs/product/log/mysql-1/ohasd

寫入文件：ohasdOUT.log

讀取：

/opt/crs/product/crs/mesg/crsus.msb

執行：

/opt/crs/product/crs/install/s_crsconfig_mysql-1_env.txt 

進入/opt/crs/product/log/mysql-1/agent/

寫日志，日志目錄如下：

|-- client

|-- crflogd

|-- crsd

|   |-- oraagent_grid

|   |   |-- oraagent_grid.log

|   |   |-- oraagent_gridOUT.log

|   |   `-- oraagent_grid.pid

|   |-- oraagent_oracle

|   |   `-- oraagent_oracle.log

|   |-- orarootagent_root

|   |   |-- orarootagent_root.log

|   |   |-- orarootagent_rootOUT.log

|   |   `-- orarootagent_root.pid

|   `-- scriptagent_grid

|       |-- scriptagent_grid.log

|       `-- scriptagent_gridOUT.log

|-- cssd

`-- ohasd

    |-- oraagent_grid

    |   |-- oraagent_grid.log

    |   |-- oraagent_gridOUT.log

    |   `-- oraagent_grid.pid

    |-- oracssdagent_root

    |   `-- oracssdagent_root.log

    |-- oracssdmonitor_root

    |   `-- oracssdmonitor_root.log

    `-- orarootagent_root

        |-- orarootagent_root.log

        |-- orarootagent_rootOUT.log

        `-- orarootagent_root.pid

進入/opt/crs/product/log/mysql-1，接著寫目錄：

|-- crflogd

|   |-- crflogd.log

|   `-- crflogdOUT.log

|-- crfmond

|   |-- crfmond.log

|   `-- crfmondOUT.log

|-- crsd

|   |-- crsd.log

|   `-- crsdOUT.log

|-- cssd

|   |-- core.3307

|   |-- cssdOUT.log

|   `-- ocssd.log

|-- ctssd

|   |-- ctssdOUT.log

|   `-- octssd.log

|-- diskmon

|-- evmd

|   |-- evmd.log

|   `-- evmdOUT.log

|-- gipcd

|   |-- gipcd.log

|   `-- gipcdOUT.log

|-- gnsd

|-- gpnpd

|   |-- gpnpd.log

|   |-- gpnpdOUT.log

|   `-- mysql-1.pid

|-- mdnsd

|   |-- mdnsd.log

|   `-- mdnsdOUT.log

|-- ohasd

|   |-- ohasd.log

|   `-- ohasdOUT.log

|-- racg

`-- srvm

筆記一下，防止再次發生；

另磁盤的檢查超時也可能導致RAC啟動不了，報：

2016-12-17 16:14:46.845: [ CSSD][1029]clssgmShutDown: Received abortive shutdown request from client.
2016-12-17 16:14:46.845: [ CSSD][1029]clssnmRemoveNodeInTerm: node 2, terminated due to Normal Shutdown. Removing from member and connected bitmaps
2016-12-17 16:14:46.845: [ CSSD][1029]###################################
2016-12-17 16:14:46.845: [ CSSD][1029]clssscExit: CSSD aborting from thread GMClientListener
2016-12-17 16:14:46.845: [ CSSD][1029]###################################
2016-12-17 16:14:46.845: [ CSSD][1029](:CSSSC00012:)clssscExit: A fatal error occurred and the CSS daemon is terminating abnormally
2016-12-17 16:14:47.276: [ SKGFD][1286]Handle 1119160d0 from lib :UFS:: for disk :/dev/rhdiskpower103:

建議臨時解決辦法：修改啟動的超時時間：

crsctl modify resource "ora.cssd" -attr "START_TIMEOUT=1200" -init