走近消息摘要--Md5產(chǎn)生重復的概率

字號:

問題:假設(shè)有十萬個不同的文件,每個文件對應于一個MD5。這十萬個MD5中,存在兩個相同的MD5的概率是多大?
    答:MD5是128位hash碼(4個整數(shù),每個整數(shù)4個字節(jié))。我們假設(shè)它的計算結(jié)果是足夠隨機和足夠分散的。因此,一個文件的MD5碼,有2的128次方(用2e128表示,下面都用這種方式表示)個可能。進而我們知道,隨意找出來的兩個文件的MD5碼相等的可能性,是2e128分之一。下面討論中,我們用r來表示這個概率(即r=2e-128)。
    假設(shè)這十萬個MD5是一條條插入到數(shù)據(jù)庫中的。第二個MD5插入時,它跟第一條重復的概率是r。第三條url插入時,它有可能跟第一條重復,也有可能跟第二條重復,因此總發(fā)生重復的概率是2×r。同理,第四條插入時發(fā)生重復的概率是3×r...第n條插入時發(fā)生重復的概率是(n-1)×r。n個MD5碼,其中有兩個重復的概率是上面那么多個可能的加和。
    因此,n個md5碼,自然產(chǎn)生重復的概率是:
    (1+2+3+...+(n-1))×r = (1/2)×n×(n-1)×r
    以n=10e4,r=1/2e128 代入,得到重復的概率為:
    (1/2)×10e4×(10e4-1)×(1/2e128)
    10e4-1約等于10e4,上式可以簡化:
    (1/2)×10e8×(1/2e128)
    =10e8/(2×2e128)
    我們使用近似2e10 = 1024 = 10e3,那么
    =10e8/(10e9*2e89)
    =1/(10*2e89)
    =1/(10*10e27)
    =1/(10e28)
    這個數(shù)字小得可憐,到底有多小,我們來算一下:一般福利彩票的中頭獎的機會,約一百萬份之一,即1/10e6。而上面的數(shù)字,相當1/10e22個一百萬份之一。也就是說:相當于某人買了一億億億次福彩,每次都中頭獎的概率。
    結(jié)論:對于十萬條數(shù)據(jù),發(fā)生MD5沖突的概率非常小,可以忽略不計。
    那么,大約要多少個文件才能產(chǎn)生自然重復呢?根據(jù)上面的計算,對于N個MD5碼的集合,存在重復的概率是:
    (1/2)*(N/2e64)e2
    因此,只有N大到可以與2e64比擬,才需要考慮它的沖突問題。
    2e64是怎樣的一個數(shù)字?
    2e64是4G個4G。目前32位系統(tǒng)的內(nèi)存尋址范圍才是區(qū)區(qū)4G。
    形象地說就是:如果一臺電腦上可以存放四十億(4G)個文件,而系統(tǒng)中有四十億臺這樣的電腦。那么,這么多的文件數(shù)才會令到系統(tǒng)自然產(chǎn)生重復。
    所以MD5碼作為系統(tǒng)的索引是非??煽康?。
    補充:
    上面對于MD5的計算,并未考慮到人為制造的MD5沖突(現(xiàn)在已經(jīng)有方法可以制造有沖突的MD5碼了),也未考慮到計算MD5碼時,因數(shù)據(jù)補零而造成的MD5沖突。事實上,在一般的系統(tǒng)中,并沒有必要考慮這兩種情況。