參考:http://support.huawei.com/huaweiconnect/enterprise/thread-282727.html
?網(wǎng)卡綁定mode共有七種(0~6) bond0、bond1、bond2、bond3、bond4、bond5、bond6
??第一種模式:mod=0 ,即:(balance-rr) Round-robin policy(平衡掄循環(huán)策略) ,平衡負(fù)載模式,有自動(dòng)備援,但需要”Switch”支援及設(shè)定。
??特點(diǎn):傳輸數(shù)據(jù)包順序是依次傳輸(即:第1個(gè)包走eth0,下一個(gè)包就走eth1….一直循環(huán)下去,直到最后一個(gè)傳輸完畢),此模式提供負(fù)載平衡和容錯(cuò)能力;但是我們知道如果一個(gè)連接或者會(huì)話的數(shù)據(jù)包從不同的接口發(fā)出的話,中途再經(jīng)過不同的鏈路,在客戶端很有可能會(huì)出現(xiàn)數(shù)據(jù)包無序到達(dá)的問題,而無序到達(dá)的數(shù)據(jù)包需要重新要求被發(fā)送,這樣網(wǎng)絡(luò)的吞吐量就會(huì)下降.
??如果想做成mode 0的負(fù)載均衡,僅僅設(shè)置這里options bond0 miimon=100 mode=0是不夠的,與網(wǎng)卡相連的交換機(jī)必須做特殊配置(這兩個(gè)端口應(yīng)該采取聚合方式),因?yàn)樽鯾onding的這兩塊網(wǎng)卡是使用同一個(gè)MAC地址.從原理分析一下(bond運(yùn)行在mode 0下):
???mode 0下bond所綁定的網(wǎng)卡的IP都被修改成相同的mac地址,如果這些網(wǎng)卡都被接在同一個(gè)交換機(jī),那么交換機(jī)的arp表里這個(gè)mac地址對(duì)應(yīng)的端口就有多 個(gè),那么交換機(jī)接受到發(fā)往這個(gè)mac地址的包應(yīng)該往哪個(gè)端口轉(zhuǎn)發(fā)呢?正常情況下mac地址是全球唯一的,一個(gè)mac地址對(duì)應(yīng)多個(gè)端口肯定使交換機(jī)迷惑了。所以 mode0下的bond如果連接到交換機(jī),交換機(jī)這幾個(gè)端口應(yīng)該采取聚合方式(cisco稱為 ethernetchannel,foundry稱為portgroup),因?yàn)榻粨Q機(jī)做了聚合后,聚合下的幾個(gè)端口也被捆綁成一個(gè)mac地址.我們的解 決辦法是,兩個(gè)網(wǎng)卡接入不同的交換機(jī)即可。
??第二種模式:mod=1,即: (active-backup) Active-backup policy(主-備份策略) ,自動(dòng)備援模式,其中一條線若斷線,其他線路將會(huì)自動(dòng)備援。
??特點(diǎn):只有一個(gè)設(shè)備處于活動(dòng)狀態(tài),當(dāng)一個(gè)宕掉另一個(gè)馬上由備份轉(zhuǎn)換為主設(shè)備。mac地址是外部可見得,從外面看來,bond的MAC地址是唯一的,以避免switch(交換機(jī))發(fā)生混亂。此模式只提供了容錯(cuò)能力;由此可見此算法的優(yōu)點(diǎn)是可以提供高網(wǎng)絡(luò)連接的可用性,但是它的資源利用率較低,只有一個(gè)接口處于工作狀態(tài),在有 N 個(gè)網(wǎng)絡(luò)接口的情況下,資源利用率為1/N
??第三種模式:mod=2,即:(balance-xor) XOR policy(平衡策略)
??特點(diǎn):基于指定的傳輸HASH策略傳輸數(shù)據(jù)包。缺省的策略是:(源MAC地址 XOR 目標(biāo)MAC地址) % slave數(shù)量。其他的傳輸策略可以通過xmit_hash_policy選項(xiàng)指定,此模式提供負(fù)載平衡和容錯(cuò)能力
??第四種模式:mod=3,即:broadcast(廣播策略)
特點(diǎn):在每個(gè)slave接口上傳輸每個(gè)數(shù)據(jù)包,此模式提供了容錯(cuò)能力
??第五種模式:mod=4,即:(802.3ad) IEEE 802.3ad Dynamic link aggregation(IEEE 802.3ad 動(dòng)態(tài)鏈接聚合)
特點(diǎn):創(chuàng)建一個(gè)聚合組,它們共享同樣的速率和雙工設(shè)定。根據(jù)802.3ad規(guī)范將多個(gè)slave工作在同一個(gè)激活的聚合體下。
??外出流量的slave選舉是基于傳輸hash策略,該策略可以通過xmit_hash_policy選項(xiàng)從缺省的XOR策略改變到其他策略。需要注意的 是,并不是所有的傳輸策略都是802.3ad適應(yīng)的,尤其考慮到在802.3ad標(biāo)準(zhǔn)43.2.4章節(jié)提及的包亂序問題。不同的實(shí)現(xiàn)可能會(huì)有不同的適應(yīng) 性。
必要條件:
- 條件1:ethtool支持獲取每個(gè)slave的速率和雙工設(shè)定
- 條件2:switch(交換機(jī))支持IEEE 802.3ad Dynamic link aggregation
- 條件3:大多數(shù)switch(交換機(jī))需要經(jīng)過特定配置才能支持802.3ad模式
??第六種模式:mod=5,即:(balance-tlb) Adaptive transmit load balancing(適配器傳輸負(fù)載均衡)
特點(diǎn):不需要任何特別的switch(交換機(jī))支持的通道bonding。在每個(gè)slave上根據(jù)當(dāng)前的負(fù)載(根據(jù)速度計(jì)算)分配外出流量。如果正在接受數(shù)據(jù)的slave出故障了,另一個(gè)slave接管失敗的slave的MAC地址。
該模式的必要條件:ethtool支持獲取每個(gè)slave的速率
??第七種模式:mod=6,即:(balance-alb) Adaptive load balancing(適配器適應(yīng)性負(fù)載均衡) ,平衡負(fù)載模式,有自動(dòng)備援,不必”Switch”支援及設(shè)定。
??特點(diǎn):該模式包含了balance-tlb模式,同時(shí)加上針對(duì)IPV4流量的接收負(fù)載均衡(receive load balance, rlb),而且不需要任何switch(交換機(jī))的支持。接收負(fù)載均衡是通過ARP協(xié)商實(shí)現(xiàn)的。bonding驅(qū)動(dòng)截獲本機(jī)發(fā)送的ARP應(yīng)答,并把源硬件地址改寫為bond中某個(gè)slave的唯一硬件地址,從而使得不同的對(duì)端使用不同的硬件地址進(jìn)行通信。
??來自服務(wù)器端的接收流量也會(huì)被均衡。當(dāng)本機(jī)發(fā)送ARP請(qǐng)求時(shí),bonding驅(qū)動(dòng)把對(duì)端的IP信息從ARP包中復(fù)制并保存下來。當(dāng)ARP應(yīng)答從對(duì)端到達(dá) 時(shí),bonding驅(qū)動(dòng)把它的硬件地址提取出來,并發(fā)起一個(gè)ARP應(yīng)答給bond中的某個(gè)slave。使用ARP協(xié)商進(jìn)行負(fù)載均衡的一個(gè)問題是:每次廣播 ARP請(qǐng)求時(shí)都會(huì)使用bond的硬件地址,因此對(duì)端學(xué)習(xí)到這個(gè)硬件地址后,接收流量將會(huì)全部流向當(dāng)前的slave。這個(gè)問題可以通過給所有的對(duì)端發(fā)送更新 (ARP應(yīng)答)來解決,應(yīng)答中包含他們獨(dú)一無二的硬件地址,從而導(dǎo)致流量重新分布。當(dāng)新的slave加入到bond中時(shí),或者某個(gè)未激活的slave重新 激活時(shí),接收流量也要重新分布。接收的負(fù)載被順序地分布(round robin)在bond中最高速的slave上
??當(dāng)某個(gè)鏈路被重新接上,或者一個(gè)新的slave加入到bond中,接收流量在所有當(dāng)前激活的slave中全部重新分配,通過使用指定的MAC地址給每個(gè) client發(fā)起ARP應(yīng)答。
??下面介紹的updelay參數(shù)必須被設(shè)置為某個(gè)大于等于switch(交換機(jī))轉(zhuǎn)發(fā)延時(shí)的值,從而保證發(fā)往對(duì)端的ARP應(yīng)答 不會(huì)被switch(交換機(jī))阻截。
必要條件:
- 條件1:ethtool支持獲取每個(gè)slave的速率;
- 條件2:底層驅(qū)動(dòng)支持設(shè)置某個(gè)設(shè)備的硬件地址,從而使得總是有個(gè)slave(curr_active_slave)使用bond的硬件地址,同時(shí)保證每個(gè) bond 中的slave都有一個(gè)唯一的硬件地址。如果curr_active_slave出故障,它的硬件地址將會(huì)被新選出來的 curr_active_slave接管
其實(shí)mod=6與mod=0的區(qū)別:mod=6,先把eth0流量占滿,再占eth1,….ethX;而mod=0的話,會(huì)發(fā)現(xiàn)2個(gè)口的流量都很穩(wěn)定,基本一樣的帶寬。而mod=6,會(huì)發(fā)現(xiàn)第一個(gè)口流量很高,第2個(gè)口只占了小部分流量
操作配置:
Linux網(wǎng)口綁定
通過網(wǎng)口綁定(bond)技術(shù),可以很容易實(shí)現(xiàn)網(wǎng)口冗余,負(fù)載均衡,從而達(dá)到高可用高可靠的目的。
測(cè)試環(huán)境如下:
2個(gè)物理網(wǎng)口分別是:eth0,eth1
綁定后的虛擬口是:bond0
服務(wù)器IP是:192.168.0.100
第一步,配置設(shè)定文件:
/etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
IPADDR=192.168.0.100
NETMASK=255.255.255.0 #PREFIX=24 可以直接替代 NETMASK=255.255.255.0
NETWORK=192.168.0.0
BROADCAST=192.168.0.255 #BROADCAST廣播地址
/etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=none
MASTER=bond0
SLAVE=yes
/etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=none
MASTER=bond0
SLAVE=yes
第二步,修改modprobe相關(guān)設(shè)定文件,并加載bonding模塊:
1.創(chuàng)建一個(gè)加載bonding的文件
/etc/modprobe.d/bonding.conf
alias bond0 bonding
options bonding mode=0 miimon=200
2.加載模塊(重啟系統(tǒng)后就不用手動(dòng)再加載了)
modprobe bonding
3.確認(rèn)模塊是否加載成功:
lsmod | grep bonding
bonding 100065 0
第三步,重啟一下網(wǎng)絡(luò),然后確認(rèn)一下狀況:
/etc/init.d/network restart
cat /proc/net/bonding/bond0
ifconfig | grep HWaddr
在輸出的結(jié)果中,我們可以看到3個(gè)重要信息:
- 1.現(xiàn)在的bonding模式是active-backup
- 2.現(xiàn)在Active狀態(tài)的網(wǎng)口是eth0
- 3.bond0,eth1的物理地址和處于active狀態(tài)下的eth0的物理地址相同,這樣是為了避免上位交換機(jī)發(fā)生混亂。
任意拔掉一根網(wǎng)線,然后再訪問你的服務(wù)器,看網(wǎng)絡(luò)是否還是通的。
第四步,系統(tǒng)啟動(dòng)自動(dòng)綁定、增加默認(rèn)網(wǎng)關(guān):
/etc/rc.d/rc.local
ifenslave bond0 eth0 eth1
route add default gw 192.168.0.1
#如可上網(wǎng)就不用增加路由,0.1地址按環(huán)境修改.
------------------------------------------------------------------------
注意:前面只是2個(gè)網(wǎng)口綁定成一個(gè)bond0的情況,如果我們要設(shè)置多個(gè)bond口,比如物理網(wǎng)口eth0和eth1組成bond0,eth2和eth3組成bond1,
那么網(wǎng)口設(shè)置文件的設(shè)置方法和上面第1步講的方法相同,只是/etc/modprobe.d/bonding.conf的設(shè)定就不能直接疊加內(nèi)容。
正確的設(shè)置方法有2種:
- 第一種,多個(gè)bond口的模式就只能設(shè)成相同的了:
alias bond0 bonding
alias bond1 bonding
options bonding max_bonds=2 miimon=200 mode=1
- 第二種,不同的bond口的mode可以設(shè)成不一樣:
alias bond0 bonding
options bond0 miimon=100 mode=1
install bond1 /sbin/modprobe bonding -o bond1 miimon=200 mode=0
簡(jiǎn)單的介紹一下上面在加載bonding模塊的時(shí)候,options里的一些參數(shù)的含義:
- miimon 監(jiān)視網(wǎng)絡(luò)鏈接的頻度,單位是毫秒,我們?cè)O(shè)置的是200毫秒。miimon是用來進(jìn)行鏈路監(jiān)測(cè)的。 比如:miimon=100,那么系統(tǒng)每100ms監(jiān)測(cè)一次鏈路連接狀態(tài),如果有一條線路不通就轉(zhuǎn)入另一條線路。
- bonding只能提供鏈路監(jiān)測(cè),即從主機(jī)到交換機(jī)的鏈路是否接通。如果只是交換機(jī)對(duì)外的鏈路down掉了,而交換機(jī)本身并沒有故障,那么bonding會(huì)認(rèn)為鏈路沒有問題而繼續(xù)使用。
- max_bonds 配置的bond口個(gè)數(shù)
- mode bond模式,主要有以下幾種,在一般的實(shí)際應(yīng)用中,0和1用的比較多.
除了上面的操作,還有更省事的配置bond的辦法。
1、確定內(nèi)核是否支持bonding
執(zhí)行:cat /boot/config-3.0.13-0.27-default |grep -i bonding
例,執(zhí)行:
cat /boot/config-2.6.32-431.el6.x86_64 |grep -i bonding
CONFIG_BONDING=m
CONFIG_BONDING為m表示支持bonding
配置文件根據(jù)自己實(shí)際環(huán)境,table鍵自動(dòng)補(bǔ)齊。
2、確保網(wǎng)線已經(jīng)連接好。
cd /etc/sysconfig/network-scripts
把原有的網(wǎng)卡配置文件mv成bak后綴的文件或者其他后綴的,總之讓他不生效即可??梢灾苯觤v到其他目錄。
也可以直接刪除,前提是,你以后想恢復(fù)文件的時(shí)候能自己找回一樣的配置。
3、配置bond0文件

這里的mode是1,請(qǐng)注意,文件名字叫bond0,使用的是bond1模式。
4、修改加入bond0的兩個(gè)網(wǎng)卡的配置


根據(jù)自己實(shí)際情況操作,你的網(wǎng)卡未必叫這個(gè),如果是rhel7系列的,你需要自己對(duì)網(wǎng)卡修改名字,并且配置永久生效,這個(gè)后續(xù)我可能會(huì)記錄。
5、關(guān)閉NetworkManager服務(wù)
service NetworkManager stop
service NetworkManager status #查看驗(yàn)證
chkconfig NetworkManager off
chkconfig --list | grep NetworkManager #查看驗(yàn)證
6、reboot
重啟后查看配置情況
執(zhí)行
cat /proc/net/bonding/bond0
ifconfig bond0 #查看配置后狀態(tài)。