ORA-12170: TNS:Connect timeout occurred ORA-06512: at "SYS.DBMS_SNAPSHOT"

Oracle job 無法自動運行 報以下大量的錯

Errors in file /oracle/admin/orcl/bdump/orcl_j000_2158798.trc:
ORA-12012: error on auto execute of job 482
ORA-12008: error in materialized view refresh path
ORA-12170: TNS:Connect timeout occurred
ORA-06512: at "SYS.DBMS_SNAPSHOT", line 1883
ORA-06512: at "SYS.DBMS_SNAPSHOT", line 2089
ORA-06512: at "SYS.DBMS_IREFRESH", line 683
ORA-06512: at "SYS.DBMS_REFRESH", line 195
ORA-06512: at line 1
Sat Apr 26 21:57:53 2014
Errors in file /oracle/admin/orcl/bdump/orcl_j000_2158798.trc:
ORA-12012: error on auto execute of job 425
ORA-12170: TNS:Connect timeout occurred
ORA-06512: at "SYS.DBMS_SNAPSHOT", line 1883
ORA-06512: at "SYS.DBMS_SNAPSHOT", line 2089
ORA-06512: at "SYS.DBMS_IREFRESH", line 683
ORA-06512: at "SYS.DBMS_REFRESH", line 195


主要環境介紹，兩個數據庫之間要刷新物化視圖，平時都是正常的，某天開始主庫的自動job執行失敗，而且是持續的失敗

查看原因主要是ORA-12170: TNS:Connect timeout occurred TNS超時所致，排查思路大概可以定在網絡上


1.網絡排查

在兩臺主機之間互相ping各自的IP地址和網關，看有無丟包情況

期初查看經查看無丟包

2.查看防火墻1521端口是否正常

網絡工程師確認防火墻1521端口正常開放，telnet 1521也是通的

3.tnsping 各自的服務名
$tnsping orcl
TNS Ping Utility for 64-bit Aix: Version 10.2.0.4.0 - Production on 05-6月 -2014 11:47:24
Copyright (c) 1997, 2006, Oracle Corporation.  All rights reserved.
Attempting to contact (DESCRIPTION= (ADDRESS_LIST = (ADDRESS=(PROTOCOL=TCP)(HOST =192.168.10.8)(PORT = 1521))) (CONNECT_DATA= (SERVICE_NAME=orcl)))
OK (0 msec)
OK (10 msec)


$tnsping yyzf
TNS Ping Utility for 64-bit Aix: Version 10.2.0.4.0 - Production on 05-6月 -2014 11:48:24
Copyright (c) 1997, 2006, Oracle Corporation.  All rights reserved.
Attempting to contact (DESCRIPTION= (ADDRESS_LIST = (ADDRESS=(PROTOCOL=TCP)(HOST =192.168.11.9)(PORT = 1521))) (CONNECT_DATA= (SERVICE_NAME=yyzf)))
OK (0 msec)
OK (10 msec)

tnsping服務名也是OK的

4.到此為止所有網絡看似都正常，網絡似乎應該不存在問題，但job還是一直是報錯，由于兩臺主機不再同一個網段，ping任務在持續，忽然在某幾個時刻有丟包現象，telnet 1521端口也存在某幾次不通的現象這么看來網絡還是有問題，最后跟客戶確認說是有人重新規劃過網絡，于是查看主機ip和路由


Command: OK            stdout: yes           stderr: no

Before command completion, additional instructions may appear below.

Routing tables
Destination        Gateway           Flags   Refs     Use  If   Exp  Groups

Route tree for Protocol Family 2 (Internet):
default            192.168.10.1      UG       60 442255197 en0      -      -   =>
default            192.168.10.254    UG       40 432853407 en0      -      -
10.0.0.0           10.0.0.1          UHSb      0         0 en1      -      -   =>
10/27              10.0.0.1          U         1  11339108 en1      -      -
10.0.0.1           127.0.0.1         UGHS      0   1840821 lo0      -      -
10.0.0.31          10.0.0.1          UHSb      0        10 en1      -      -
10.0.1.0           10.0.1.1          UHSb      0         0 en0      -      -   =>
10.0.1/27          10.0.1.1          U         2  12382572 en0      -      -
10.0.1.1           127.0.0.1         UGHS      2   3268795 lo0      -      -
10.0.1.31          10.0.1.1          UHSb      0        10 en0      -      -
127/8              127.0.0.1         U        31   6493884 lo0      -      -
192.168.10.0       192.168.10.9      UHSb      0         0 en0      -      -   =>
192.168.10.0       192.168.10.10     UHSb      0         0 en1      -      -   =>
192.168.10/27      192.168.10.9      U         0    193565 en0      -      -   =>
192.168.10/27      192.168.10.10     U         1    209927 en1      -      -
192.168.10.9       127.0.0.1         UGHS     23  13738093 lo0      -      -
192.168.10.10      127.0.0.1         UGHS      0    151330 lo0      -      -
192.168.10.31      192.168.10.9      UHSb      0         0 en0      -      -   =>
192.168.10.31      192.168.10.10     UHSb      0         0 en1      -      -

Route tree for Protocol Family 24 (Internet v6):
::1                ::1               UH        0         0 lo0      -      -
  
  
  這樣看來，主機的路由還是存在問題的,主機存在兩條默認路由
  
  在AIX中如果有默認網關設置多個的話，會存在時斷時續的丟包現象，于是進入AIX的路由表查看，果然存在兩條默認路由，192.168.10.1和192.168.10.254,同一個網卡存在這樣兩條路由肯定是有問題的，兩條路由的use使用都很高，與網絡工程師確認后.254的路由是無效的，存在的原因可能是在之前修改路由的時候忘記***舊的路由導致



于是***廢棄的路由

>#route delete  -if en0 default  192.168.10.254
192.168.10.254 net default: gateway 192.168.10.254

***路由后，觀察一小時，所有job均執行正常，沒有再出現TNS超時現象

看來，修改生產系統的任何參數都要按照嚴格的標準和檢查流程才行，穩定重于一切