11gR2 Redundant Interconnet and ora.cluster_interconnect.haip，Oracle 用196.254段来进行私有网络


11gR2 Redundant Interconnet and ora.cluster_interconnect.haip，Oracle 用196.254段来进行私有网络
 
11gR2 网格构架冗余链路和ora.cluster_interconnect.haip
======================================================
$ $GRID_HOME/bin/oifcfg getif
eth1 10.1.0.128   global  cluster_interconnect
eth3 10.1.0.0  global  public
eth6 10.11.0.128  global  cluster_interconnect
eth7 10.12.0.128  global  cluster_interconnect
 
$ $GRID_HOME/bin/oifcfg iflist -p -n
eth1  10.1.0.128  PRIVATE  255.255.255.128
eth1  169.254.0.0  UNKNOWN  255.255.192.0
eth1  169.254.192.0  UNKNOWN  255.255.192.0
eth3  10.1.0.0  PRIVATE  255.255.255.128
eth6  10.11.0.128  PRIVATE  255.255.255.128
eth6  169.254.64.0  UNKNOWN  255.255.192.0
eth7  10.12.0.128  PRIVATE  255.255.255.128
eth7  169.254.128.0  UNKNOWN  255.255.192.0
======================================================
适用于：
Oracle Server - Enterprise Edition - Version: 11.2.0.2 and later
 
该文档中的信息可以应用于任何平台
 
目的： 
该文档意在解释什么是在11gR2中的ora.cluster_interconnect.haip的网格架构。
 
范围和应用：
该文档是为RAC数据库管理员和Oracle支持工程师准备的。
 
11gR2 网格构架冗余链路和ora.cluster_interconnect.haip
  
网格构架从11.2.0.2版本开始，不包括任何的第三方IP故障专业技术（bond, IPMP or similar）的冗余连接支持。在安装阶段，可以定义多个专用网络适配器或随后使用oifcfg。Oracle数据库，CSS，OCR，CRS，CTSS，并在11.2.0.2的EVM组件采用自动。
 
如果更多的网络适配器被指定，网格构架可以一次激活最多4个专用网络适配器。ora.cluster_interconnect.haip 将为Oracle RAC、Oracle ASM、Oracle ACFS等启用一至四个连接本地HAIP的互联通信网络适配器，注意，如果存在sun cluster，HAIT特性将在11.2.0.2中禁用。
 
Grid将自动选择连接本地保留地址169.254.*.*作为HAIP子网，并且不会尝试适用任何169.254.*.*地址，如果它已经被在用于其它目的使用。由于HAIP，在默认情况下，网络流量将被所有活动的网络接口负载均衡。并且如果其中一个失败或者变成不可连接状态，相应的HAIP地址将透明的转移到相对的其它网络适配器。
 
当Grid中启动集群中的第一个节点，HAIP地址数量是由有多少个私有网络适配器是活动状态所决定的。如果只有一个活跃的私有网络，那么Grid将创建一个，如果有两个，Grid将创建两个,如果大于两个，Grid将创建4个HAIPs.即使更多的私有网络适配器随后被激活，HAIPs的数量是不会改变的，要使得新的网络适配器变成活动状态，则要重启集群所有的节点。
  
当Oracle Clusterware完全启动，resource haip应该显示ONLINE状态；
 
$ $GRID_HOME/bin/crsctl stat res -t -init
..
ora.cluster_interconnect.haip
1 ONLINE ONLINE racnode1
 
案例1:单专用网络适配器
 
如果多个物理网络适配器在操作系统级别上被绑定在一起，作为一个单一的设备名称，例如bond0，它仍被认为是一个单一的网络适配器环境。如果只有一个专用网络适配器被指定，如下面的例子中的eth1，将又HAIP创建一个虚拟的HAIP，这里当Grid启动和运行时的需求：
 
$ $GRID_HOME/bin/oifcfg getif
eth1 10.1.0.128 global cluster_interconnect
eth3 10.1.0.0 global public
 
$ $GRID_HOME/bin/oifcfg iflist -p -n
eth1 10.1.0.128 PRIVATE 255.255.255.128
eth1 169.254.0.0 UNKNOWN 255.255.0.0
eth3 10.1.0.0 PRIVATE 255.255.255.128
 
注：在eth1上的168.254.0.0子网是由resource haip启动的。
ifconfig
..
eth1 Link encap:Ethernet HWaddr 00:16:3E:11:11:22
inet addr:10.1.0.168 Bcast:10.1.0.255 Mask:255.255.255.128
inet6 addr: fe80::216:3eff:fe11:1122/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:6369306 errors:0 dropped:0 overruns:0 frame:0
TX packets:4270790 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:3037449975 (2.8 GiB) TX bytes:2705797005 (2.5 GiB)
eth1:1 Link encap:Ethernet HWaddr 00:16:3E:11:22:22
inet addr:169.254.167.163 Bcast:169.254.255.255 Mask:255.255.0.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
 
Instance alert.log (ASM and database):
Private Inte易做图ce 'eth1:1' configured from GPnP for use as a private interconnect.
[name='eth1:1', type=1, ip=169.254.167.163, mac=00-16-3e-11-11-22, net=169.254.0.0/16, mask=255.255.0.0, use=haip:cluster_interconnect/62]
Public Inte易做图ce 'eth3' configured from GPnP for use as a public inte易做图ce.
[name='eth3', type=1, ip=10.1.0.68, mac=00-16-3e-11-11-44, net=10.1.0.0/25, mask=255.255.255.128, use=public/1]
..
Shared memory segment for instance monitoring created
Picked latch-free SCN scheme 3
..
Cluster communication is configured to use the following inte易做图ce(s) for this instance
169.254.167.163
注：网络连接使用虚拟专用IP：192.254.167.163，而不是真正的私有IP。对于11.2.0.2之前的实例，默认情况下，依旧使用真正的私有IP，去使用新的特性，每当Grid被重启的时候，init.ora参数 cluster_interconnects将可以被更新
 
对于11.2.0.2及以上的版本，v$cluster_interconnects将显示haip的信息。
 
SQL> select name,ip_address from v$cluster_interconnects;
 
NAME            IP_ADDRESS
--------------- ----------------
eth1:1          169.254.167.163
 
案例2: 多个专用网络适配器
2.1. 默认状态:
下面是3个专用网络的eth1，eth6和eth7例如，当Grid启动并运行
$ $GRID_HOME/bin/oifcfg getif
eth1 10.1.0.128 global cluster_interconnect
eth3 10.1.0.0 global public
eth6 10.1.0.128 global cluster_interconnect
eth7 10.1.0.128 global cluster_interconnect
 
 
$ $GRID_HOME/bin/oifcfg iflist -p -n
eth1 10.1.0.128 PRIVATE 255.255.255.128
eth1 169.254.0.0 UNKNOWN 255.255.192.0
eth1 169.254.192.0 UNKNOWN 255.255.192.0
eth3 10.1.0.0 PRIVATE 255.255.255.128
eth6 10.1.0.128 PRIVATE 255.255.255.128
eth6 169.254.64.0 UNKNOWN 255.255.192.0
eth7 10.1.0.128 PRIVATE 255.255.255.128
eth7 169.254.128.0 UNKNOWN 255.255.192.0
 
注：resource haip启动了四个虚拟专用IP地址，在eth1上两个，和一个eth6、eth7.
 
ifconfig
..
eth1 Link encap:Ethernet HWaddr 00:16:3E:11:11:22
inet addr:10.1.0.168 Bcast:10.1.0.255 Mask:255.255.255.128
inet6 addr: fe80::216:3eff:fe11:1122/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:15176906 errors:0 dropped:0 overruns:0 frame:0
TX packets:10239298 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:7929246238 (7.3 GiB) TX bytes:5768511630 (5.3 GiB)
 
eth1:1 Link encap:Ethernet HWaddr 00:16:3E:11:11:22
inet addr:169.254.30.98 Bcast:169.254.63.255 Mask:255.255.192.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
eth1:2 Link encap:Ethernet HWaddr 00:16:3E:11:11:22
inet addr:169.254.244.103 Bcast:169.254.255.255 Mask:255.255.192.0
UP B