網(wǎng)絡(luò)管理的日志記錄:特殊網(wǎng)絡(luò)故障處理方案

字號(hào):

網(wǎng)絡(luò)在如今的生活中起到了無(wú)可替代的作用,比如網(wǎng)上購(gòu)物,網(wǎng)上股票交易,網(wǎng)上商店,網(wǎng)絡(luò)電話......等等??傊W(wǎng)絡(luò)給人類帶來(lái)了便捷!但是網(wǎng)絡(luò)的故障卻時(shí)時(shí)給人帶來(lái)不快!快速的解決網(wǎng)絡(luò)故障是我們網(wǎng)絡(luò)管理者的首要任務(wù),也是我們的職責(zé)!
    十一假期期間,大家都已經(jīng)休假,我們管理員必須有一個(gè)人值班,也夠郁悶的,第二天就出現(xiàn)有6棟樓網(wǎng)絡(luò)故障,我一個(gè)人呀,這樣大的網(wǎng)絡(luò)故障我還是第一次遇見(jiàn)。當(dāng)時(shí)第一預(yù)感就是先穩(wěn)一穩(wěn),自己先理清思路,制定查看故障的方案。我就拿起我們當(dāng)初的一手布線網(wǎng)絡(luò)拓樸資料,查看網(wǎng)絡(luò)拓樸結(jié)構(gòu),首先從最低層用戶著手,采用走訪性質(zhì)查看網(wǎng)絡(luò)故障現(xiàn)象,在去接入層查看交換網(wǎng)絡(luò)設(shè)備配置,在去匯聚層查看配置(去匯聚層又出現(xiàn)了一個(gè)小小的插曲,因?yàn)樵O(shè)備配線間鑰匙管理不善,找不到匯聚層機(jī)房鑰匙,翻箱倒柜的找到了鑰匙。這一點(diǎn)作為我們網(wǎng)絡(luò)管理者也是不能忽視的問(wèn)題之一?。?。問(wèn)題是發(fā)現(xiàn)了,原來(lái)匯聚層的網(wǎng)絡(luò)設(shè)備華為L(zhǎng)S-3026FM光交換機(jī)掛了。直接是電源指示燈都不亮。我手邊又沒(méi)有備用替換網(wǎng)絡(luò)設(shè)備。就是有也都在庫(kù)房,我也取不出來(lái)。無(wú)奈之下就向我們正在休假中的領(lǐng)導(dǎo)打電話催他們支援。
    他們來(lái)了,我們立馬在庫(kù)房找了個(gè)新的替換交換機(jī),帶過(guò)去,將壞交換的光模塊取下,插到替換交換機(jī)上,將交換配置配好,測(cè)試還是不通。還有問(wèn)題!還是交換機(jī)的問(wèn)題?無(wú)奈之下,又去庫(kù)房重拿了一個(gè)LS-3026FM和同型號(hào)的光模塊,替換掉光模塊,經(jīng)過(guò)設(shè)備調(diào)試,走訪用戶端測(cè)試,問(wèn)題算是解決了。整整用了4天時(shí)間,想想只有7天假,4天都在忙那個(gè)。
    無(wú)疑對(duì)用戶是造成了一定的損失,也影響了我們部門的形象。但是我們要清楚,這個(gè)故障不僅僅是技術(shù)問(wèn)題呀!作為一個(gè)合格的網(wǎng)絡(luò)管理者,保障網(wǎng)絡(luò)的暢通,快速的解決網(wǎng)絡(luò)故障,是我們的職責(zé),不僅僅需要技術(shù)的支持,同時(shí)也需要一點(diǎn)點(diǎn)必要的管理經(jīng)驗(yàn)!比如配線間鑰匙的管理,外界的因素也不容忽視哦!
    隨著經(jīng)濟(jì)的快速增長(zhǎng),一家一端口一臺(tái)電腦的設(shè)計(jì)方案,也遠(yuǎn)遠(yuǎn)不夠部分炒股者的需求,作為學(xué)校的03年的網(wǎng)絡(luò)設(shè)計(jì)方案的不足也慢慢浮現(xiàn)出水面。網(wǎng)絡(luò)故障也不可預(yù)知的頻頻發(fā)生!
    一些用戶因?yàn)槎丝诘牟蛔悖x擇自己加設(shè)備。誰(shuí)加了他們也不上報(bào),這樣給我們的管理帶來(lái)許多不便!網(wǎng)絡(luò)故障也層出不窮。教學(xué)區(qū)固定ip,不選擇mac地址綁定,但在用戶申請(qǐng)ip的時(shí)候至少有其mac地址的記錄,發(fā)現(xiàn)某用戶流量過(guò)高還可以打電話警告,但是部分用戶不服從該制度,不登記。挺聰明得,看看隔壁辦公室的ip配置,在該ip附近隨便找一個(gè)用,這樣就出現(xiàn)了,ip濫用現(xiàn)象,ip沖突現(xiàn)象時(shí)有發(fā)生;家屬區(qū)dhcp,又沒(méi)有很好的管理方案!許多網(wǎng)管軟件也派不上用場(chǎng)。對(duì)dhcp用戶來(lái)說(shuō):比如某用戶中毒,向設(shè)備狂發(fā)包,影響網(wǎng)絡(luò)設(shè)備性能,造成網(wǎng)絡(luò)出口速率低,部分用戶上網(wǎng)慢,網(wǎng)絡(luò)有嚴(yán)重丟包現(xiàn)象,我們也沒(méi)有什么高級(jí)的網(wǎng)絡(luò)測(cè)試工具。只有帶個(gè)筆記本,一根跳線在接入層的設(shè)備配線間內(nèi),時(shí)時(shí)ping網(wǎng)關(guān),拔線,尋找狂發(fā)包用戶。無(wú)疑這樣的工作對(duì)我們管理員很累!
    也就是在11月初,一個(gè)特殊的網(wǎng)絡(luò)問(wèn)題出現(xiàn)了,估計(jì)大家也應(yīng)該沒(méi)出現(xiàn)過(guò)的,真的是莫不著頭腦了.我們大領(lǐng)導(dǎo)出差,辦公室除了我們4個(gè)網(wǎng)絡(luò)管理員,一個(gè)技術(shù)主管,他掌管我們機(jī)房所有的服務(wù)器,路由器,核心交換機(jī).還有一個(gè)接故障電話的女孩.近來(lái)1,2,3,4,5號(hào)家屬院分別有用戶反映,近來(lái)網(wǎng)絡(luò)特慢,時(shí)通時(shí)不通.我們也沒(méi)留意!都是強(qiáng)調(diào)他們查毒,殺毒.可是沒(méi)過(guò)多久,這幾棟樓都上不了網(wǎng)了.有用戶電話反映獲取IP地址是169.92.2.115,我們?cè)豪镎_的DHCP獲取的IP地址是 100.100.X.X.根據(jù)我以前的經(jīng)驗(yàn)總結(jié)很可能是的網(wǎng)絡(luò)光鏈路故障,具體看連接http://bbs.chinaitlab.com/thread-325421-1-1.html.我們就去看主機(jī)房到匯聚交換及接入層交換光路,一切正常.將主交換設(shè)備重起還是無(wú)濟(jì)于事,到接入層設(shè)備機(jī)房查看,設(shè)備狀態(tài)正常.筆記本接到consol 口,查看交換配置一切正常,接入普通端口獲取ip地址還是169.X.X.X.將交換機(jī)重新啟動(dòng),馬上獲取ip地址,突然獲取正常,但是不能瀏覽網(wǎng)頁(yè).將網(wǎng)卡禁用啟用,又獲取的是那個(gè)169.X.X.X.
    起初斷定可能是上層主機(jī)房問(wèn)題,回去檢查核心交換,一切都是原來(lái)的配置,一切正常,沒(méi)辦法,去研究已前的網(wǎng)絡(luò)拓?fù)浜鸵皇值木W(wǎng)絡(luò)配置信息資料.有一個(gè)不小的發(fā)現(xiàn),故障所在區(qū)的1#,2#,3#,4#.5#,這5棟樓屬于同一個(gè)Vlan125.當(dāng)時(shí)我們幾個(gè)人一起坐在會(huì)議室研究解決方案.一直到晚上9:00.最后決定將嘗試的將Vlan125改劃分到Vlan126上,主負(fù)責(zé)有我的一個(gè)同事處理.第二天常識(shí)的改了vlan后當(dāng)時(shí)是好了,我不時(shí)有個(gè)疑問(wèn),我問(wèn)領(lǐng)導(dǎo)為什么Vlan125不行呢?以前Vlan125不是也可以的呀!而且是正常了好多年的呀!我領(lǐng)導(dǎo)也說(shuō)不上來(lái)什么!他就帶我去了匯聚交換機(jī)房,核心交換機(jī)房查看Vlan125的信息.分析故障原因.設(shè)備配置Vlan125一切正常.正當(dāng)我和領(lǐng)導(dǎo)思索,其他人狂歡的時(shí)候,電話響了.用戶反映故障又出現(xiàn)了,我們百思不得其解.我們冷靜的想想,換Vlan后可以了一會(huì).說(shuō)明問(wèn)題是在用戶端!可能有用戶中毒或者架接了DHCP服務(wù).最后決議將這5棟樓分割開(kāi)來(lái),轉(zhuǎn)接到不同的Vlan內(nèi).
    我于是帶了本子,網(wǎng)絡(luò)設(shè)備遠(yuǎn)程控制密碼,來(lái)到匯聚機(jī)房,匯聚交換也是LS-3026FM.我的處理辦法是:匯聚交換LS-3026FM配置不變,將它的下邊連接的設(shè)備通過(guò)LS-3026FM遠(yuǎn)程控制訪問(wèn),更改下層交換設(shè)備配置信息.我起先定了所需的配置規(guī)則:1#劃到vlan120;2#劃到 vlan121;3#劃到vlan122;4#劃到vlan123;5#劃到vlan124.在匯聚機(jī)房找一臺(tái)網(wǎng)絡(luò)設(shè)備也同樣更改,將它的更改和我遠(yuǎn)程控制樓號(hào)的更改相一致.這樣我可以不用下樓到其他樓層看效果.直接拿跟跳線連接到這個(gè)設(shè)備上,查看獲取到的ip地址,嘗試上網(wǎng),測(cè)試網(wǎng)絡(luò)連通性.直接在匯聚機(jī)房找到有問(wèn)題的樓.這個(gè)方法不錯(cuò),當(dāng)我調(diào)試到第3號(hào)樓的時(shí)候,測(cè)試獲取的ip地址是169.X.X.X,問(wèn)題就出在這個(gè)樓上,但是我還是耐著性子繼續(xù)更改其它樓的配置.測(cè)試完后,其它樓都正常,我欣喜萬(wàn)千,一想這樣找到了,主要對(duì)3號(hào)樓單獨(dú)處理,就用我們以前最原始的隔離用戶的方法處理.于是我就遠(yuǎn)程將所更改的設(shè)備配置恢復(fù)(因?yàn)槭菧y(cè)試,我就沒(méi)有保存我當(dāng)時(shí)更改的配置信息,重起交換機(jī)配置自動(dòng)恢復(fù),我就遠(yuǎn)程重起.這樣和耗時(shí)間,每遠(yuǎn)程重起一設(shè)備都需要 3~5分鐘.我沒(méi)有那么好的性子,要想想如果遠(yuǎn)程控制重起設(shè)備.設(shè)備的數(shù)量有18個(gè)之多!于是就想起到個(gè)單元樓道,將樓道電源斷掉再打開(kāi)就可以實(shí)現(xiàn)設(shè)備重起了.
    就那樣做過(guò)之后,這5棟樓的Vlan又回到了Vlan125.(我當(dāng)時(shí)的想法是,既然已經(jīng)確定了3#樓有問(wèn)題,我直接用用戶隔離法,將用戶一個(gè)一個(gè)隔離,知道找到有問(wèn)題用戶!)但是出人意料的事又發(fā)生了.當(dāng)我恢復(fù)其他樓的配置之后,來(lái)到3#將筆記本接到交換機(jī)普通端口上,測(cè)試獲得ip地址還是 169.X.X.X,無(wú)奈之下將所有的接入用戶拔掉.只留一個(gè)我自己筆記本那個(gè)端口,將設(shè)備重起,問(wèn)題依舊!進(jìn)入交換機(jī)控制端,查看配置,設(shè)備不停的警告2fun shutdown 交換機(jī)上第二個(gè)風(fēng)扇壞了!個(gè)人感覺(jué)應(yīng)該與這個(gè)警告沒(méi)關(guān)系.即使是它的原因也不至于影響其他4棟樓的網(wǎng)絡(luò).我有些惱火了,既然是這棟樓的問(wèn)題,就先將它斷掉,隨即我就斷掉了3#樓的交換機(jī)電源.其他樓網(wǎng)絡(luò)應(yīng)該沒(méi)問(wèn)題!到了晚上,我電話回訪用戶,他們反映說(shuō)是下午好了時(shí)間不長(zhǎng),問(wèn)題又出現(xiàn)了!
    晚上我躺在床上一直在想,這個(gè)問(wèn)題應(yīng)該與設(shè)備本身的性能有關(guān),該類型的網(wǎng)絡(luò)設(shè)備有華為S2403,E026.可以說(shuō)在市場(chǎng)上都看不到的設(shè)備,設(shè)備陳舊,設(shè)備性能下降,是一個(gè)原因;最主要的問(wèn)題可以追究到存放設(shè)備的環(huán)境中,我們都知道,灰塵是網(wǎng)絡(luò)設(shè)備的無(wú)形殺手!我們的接入層設(shè)備都是壁掛于單元樓頂陽(yáng)臺(tái)內(nèi)的鐵箱子.設(shè)備都是立放的!久而久之灰塵就彌漫了整個(gè)箱子.我們沒(méi)次排除故障都不關(guān)清理里邊的灰塵!再就是有用戶私設(shè)DHCP服務(wù)!同事們都灰心了,說(shuō)這問(wèn)題沒(méi)辦法處理!我不管那么多,申請(qǐng)自己去嘗試下!第二天我爭(zhēng)的領(lǐng)導(dǎo)同意,將我以前所做的配置保存到網(wǎng)絡(luò)設(shè)備中.一大早我就去了故障地點(diǎn).還是按以前的操作更改設(shè)備所在的Vlan,改好后保存退出!我更改一個(gè)辦公室就打電話報(bào)信說(shuō)1#故障消失.......當(dāng)聽(tīng)到這話我不知道有多高興!繼續(xù)更改,當(dāng)?shù)?#時(shí)網(wǎng)絡(luò)是通了,只有一個(gè)用戶反映它那不行.尾巴終于露出來(lái)了!我按辦公室給我的電話找到那個(gè)用戶,進(jìn)去后查看他們的布局使我大吃一驚.它是三室一廳,每個(gè)房間一臺(tái)臺(tái)式機(jī),還有好幾臺(tái)筆記本.無(wú)語(yǔ)真是有錢人!查看它家布局,門外網(wǎng)絡(luò)端口引進(jìn),接入一6口路由器,通過(guò)路由接入一臺(tái)式機(jī).
    查看網(wǎng)絡(luò),一切正常,不能瀏覽網(wǎng)頁(yè).Ping網(wǎng)關(guān)也正常,起初以為是瀏覽器問(wèn)題,不過(guò)帶我筆記本后故障依舊!隨后斷掉他們的路由,直接接到筆記本,一切正常.問(wèn)題就在這個(gè)路由器上!就是因?yàn)樗斐梢淮笃W(wǎng)絡(luò)故障;就是因?yàn)樗勰サ奈页圆伙?,睡不好!至今那樣的?wèn)題再也沒(méi)出現(xiàn)過(guò)!哎,問(wèn)題算是解決了.但是還是有點(diǎn)模糊!
    估計(jì)大家對(duì)這個(gè)處理問(wèn)題過(guò)程不感興趣,但是那種將大網(wǎng)絡(luò)劃分為小網(wǎng)絡(luò)處理的方法值得大家學(xué)習(xí)