軟考數據庫:高效實現數據倉庫的七個步驟

字號:

軟考數據庫:高效實現數據倉庫的七個步驟

    數據倉庫和我們常見的RDBMS系統有些親緣關系,但它又有所不同。如果你沒有實施過數據倉庫,那么從設定目標到給出設計,從創(chuàng)建數據結構到編寫數據分析程序,再到面對挑剔的用戶的評估,整個過程都會帶給你一種與以往的項目完全不同的體驗。一句話,如果你試圖以舊有的方式創(chuàng)建數據倉庫,那你所面對的不是預算超支就是所建立的數據倉庫無法良好運作。
    在處理一個數據倉庫項目時需要注意的問題很多,但同時也有很多有建設性的參考可以幫助你更順利的完成任務。開放思維,不斷嘗試新的途徑,對于找到一種可行的數據倉庫實現方法來說也是必需的。
    1.配備一個全職的項目經理或你自己全面負責項目管理
    在通常情況下,項目經理都會同時負責多個項目的實施。這么做完全是出于資金和IT資源方面的考慮。但是對于數據倉庫項目的管理,絕對不能出現一人身兼數個項目的情況。由于你所處的領域是你和你的團隊之前沒有進入過的領域,有關數據倉庫的一切-數據分析、設計、編程、測試、修改、維護-全都是嶄新的,因此你或者你指派的項目經理如果能全心投入,對于項目的成功會有很大幫助。
    2.將項目管理職責推給別的項目經理
    由于數據倉庫實現過程實在是太困難了,為了避免自虐,你可以在當前階段的項目完成后就將項目管理職責推給別的項目經理。當然,這個新的項目經理一定要復合第一條所說的具有全職性。為什么要這么做呢?首先,從項目經理的角度看,數據倉庫實施過程的任何一個階段都足以讓人身心疲憊。從物理存儲設備的開發(fā)到Extract-Transform-Load的實現,從設計開發(fā)模型到OLAP,所有階段都明顯的比以前接觸的項目更加困難。每個階段不但需要新的處理方法、新的管理方法,還需要創(chuàng)新性的觀點。所以將管理職責推給別的項目經理不但不會對項目有損害,還可以起到幫助作用。
    3.與用戶進行溝通
    這里所講的內容遠比一篇文章本身要重要的多。你必須明白,在數據倉庫的設計階段,那些潛在用戶自己也不清楚他們到底需要數據倉庫為他們做什么。他們在不斷的探索和發(fā)現自己的需求,而你的開發(fā)團隊也在和客戶的接觸中做著同樣的事情。更加頻繁的與客戶接觸,多做記錄,并讓你的團隊更關注于項目需求討論的結果而不是討論的過程本身。
    既然你和客戶的交流是為了了解存儲的數據是何種類型以及如何有效存儲數據,你也許需要(和你的用戶一起)采用一種新的方法觀察數據,而不是直接處理數據。你可以嘗試從中找出隱藏的信息,比如在一段時期內的數字漲落等。不要試圖追尋項目需求的答案,而是要讓答案找上門來。
    4.以技術/信息庫作為領導
    由于數據倉庫實施的各個階段都有很大不同,因此你需要有人能起到維持整個項目的連續(xù)進行的作用,不過這個職責并不需要那種全職性。項目實施有三個重要方面:架構、技術和業(yè)務。將架構作為重點可以保證在整個項目中,數據倉庫的架構從物理層往上,都會受到良好的維護。而我們應該將技術作為重點,因為開發(fā)團隊和關鍵用戶都在使用他們以前從未用過的工具,必須有人監(jiān)督開發(fā)過程以及工具使用的一致性。
    后,在數據倉庫的應用過程中浮現出來的業(yè)務需求必須被詳細分析和記錄,以促機開發(fā)過程持續(xù)下去。如果用戶不能很好的開發(fā)人員以及其它用戶溝通,那么數據分析和度量方面的開發(fā)進程就會延期,所以必須有人關注業(yè)務方面的開發(fā),推動開發(fā)進入更高級別。
    5.跳出反復修改程序的陷阱
    第實現的數據倉庫肯定不會是終交付的版本。為什么呢?實際上在真正見到產品前,你無法確定的知道自己的目標是什么?;蛘哒f,終用戶只有在使用數據倉庫產品一段時間后,才能明確告訴你這個產品是不是他所希望的。與你以往處理的項目不同,業(yè)務智能還處于發(fā)展的初期,每個公司對業(yè)務智能都有不同的解釋,因此你的項目決不會成功。
    為了以正確的格式獲得數據,你需要在不斷變化的狀況中摸索前進。BI具有很強的個性,不同的環(huán)境、不同的市場以及不同的企業(yè)都有不同的BI。這又代表什么呢?這表示你需要把數據庫管理員放在一個消息相對封閉的環(huán)境中,不要讓他知道數據倉庫的數據結構以及ETL程序在不斷的改變。對此沒有別的辦法。這樣可以減輕你和DBA所承受的壓力。
    6.對大量的前端資源進行數據源分析
    在數據倉庫實現過程中,你不得不在舊有的數據中艱難跋涉,這些數據來自老的數據庫、老的磁帶機以及遠程的數據。它們中的大部分都凌亂不堪,并且難以獲取。你要對這些數據進行大量處理,并且還要設計ETL程序來尋找其中的有用信息。如果你希望整個項目做起來比較順利,并且找到一種方法能夠成功,那就需要你的開發(fā)人員必須花費足夠的時間來充分研究這些舊有數據,將凌亂的數據規(guī)則化,并盡力設計和實現強壯的數據采集和轉換過程。數據倉庫的ETL部分會占用整個項目資源的百分之八十,所以一定要確定你的資源都用在刀刃上了。
    7.將人際關系處理放在首位
    在數據倉庫實現過程中真正的地獄不是來自技術或者開發(fā)方面,而是來自你周圍的人。你也許會遇到一個對項目并不樂觀而又沒時間聽你陳述的領導。你也許會遇到一些開發(fā)人員將進度拖延太長時間還抱怨為什么不能用老方法實施。你也許還會遇到一些抱有不切實際的幻想的用戶,他們希望輕點鼠標就能實現想象中的功能,但卻不愿在他們那邊多做些智力投資,更好的培訓他們自己的員工。而你也已經疲憊不堪,鼓勵投資,以及在開發(fā)團隊和用戶(甚至老板)中推廣新的開發(fā)技巧。
    總之你要保持微笑。當一切搞定,你的煩惱也就一掃而空了,笑到后才笑得輕松。