mysql技巧:提高插入數(shù)據(jù)(添加記錄)的速度

字號:


    問題描述:
    普通臺式機(jī),采集數(shù)據(jù),表中已經(jīng)有>1000萬數(shù)據(jù)量。
    采集回來的數(shù)據(jù)插入表中的時候很慢,每條約100毫秒。
    解決方法:
    1、加大mysql配置中的bulk_insert_buffer_size,這個參數(shù)默認(rèn)為8m
    bulk_insert_buffer_size=100m
    2、改寫所有insert語句為insert delayed
    這個insert delayed不同之處在于:立即返回結(jié)果,后臺進(jìn)行處理插入。
    還有一個技巧是在一跳insert中插入多條數(shù)據(jù),類似insert into tablename values('xxx','xxx'),('yyy','yyy'),('zzz','zzz')...;但是在我采集程序中改sql比較麻煩,故未采用
    腳本之家小編提醒:
    說實(shí)話一般主要用于數(shù)據(jù)的采集入庫操作,成熟的cms不建議修改,dedecms是由于本人的系統(tǒng)設(shè)計(jì)問題,建議使用商業(yè)版或自行建立索引等,現(xiàn)在大數(shù)據(jù)首選帝國cms或phpcms。