Python的gevent框架的入門教程

字號:


    這篇文章主要介紹了Python的gevent框架的入門教程,示例代碼基于Python2.x版本,需要的朋友可以參考下
    Python通過yield提供了對協(xié)程的基本支持,但是不完全。而第三方的gevent為Python提供了比較完善的協(xié)程支持。
    gevent是第三方庫,通過greenlet實現(xiàn)協(xié)程,其基本思想是:
    當(dāng)一個greenlet遇到IO操作時,比如訪問網(wǎng)絡(luò),就自動切換到其他的greenlet,等到IO操作完成,再在適當(dāng)?shù)臅r候切換回來繼續(xù)執(zhí)行。由于IO操作非常耗時,經(jīng)常使程序處于等待狀態(tài),有了gevent為我們自動切換協(xié)程,就保證總有g(shù)reenlet在運行,而不是等待IO。
    由于切換是在IO操作時自動完成,所以gevent需要修改Python自帶的一些標(biāo)準(zhǔn)庫,這一過程在啟動時通過monkey patch完成:
    from gevent import monkey; monkey.patch_socket()
    import gevent
    def f(n):
    for i in range(n):
    print gevent.getcurrent(), i
    g1 = gevent.spawn(f, 5)
    g2 = gevent.spawn(f, 5)
    g3 = gevent.spawn(f, 5)
    g1.join()
    g2.join()
    g3.join()
    運行結(jié)果:
    <Greenlet at 0x10e49f550: f(5)> 0
    <Greenlet at 0x10e49f550: f(5)> 1
    <Greenlet at 0x10e49f550: f(5)> 2
    <Greenlet at 0x10e49f550: f(5)> 3
    <Greenlet at 0x10e49f550: f(5)> 4
    <Greenlet at 0x10e49f910: f(5)> 0
    <Greenlet at 0x10e49f910: f(5)> 1
    <Greenlet at 0x10e49f910: f(5)> 2
    <Greenlet at 0x10e49f910: f(5)> 3
    <Greenlet at 0x10e49f910: f(5)> 4
    <Greenlet at 0x10e49f4b0: f(5)> 0
    <Greenlet at 0x10e49f4b0: f(5)> 1
    <Greenlet at 0x10e49f4b0: f(5)> 2
    <Greenlet at 0x10e49f4b0: f(5)> 3
    <Greenlet at 0x10e49f4b0: f(5)> 4
    可以看到,3個greenlet是依次運行而不是交替運行。
    要讓greenlet交替運行,可以通過gevent.sleep()交出控制權(quán):
    def f(n):
    for i in range(n):
    print gevent.getcurrent(), i
    gevent.sleep(0)
    執(zhí)行結(jié)果:
    <Greenlet at 0x10cd58550: f(5)> 0
    <Greenlet at 0x10cd58910: f(5)> 0
    <Greenlet at 0x10cd584b0: f(5)> 0
    <Greenlet at 0x10cd58550: f(5)> 1
    <Greenlet at 0x10cd584b0: f(5)> 1
    <Greenlet at 0x10cd58910: f(5)> 1
    <Greenlet at 0x10cd58550: f(5)> 2
    <Greenlet at 0x10cd58910: f(5)> 2
    <Greenlet at 0x10cd584b0: f(5)> 2
    <Greenlet at 0x10cd58550: f(5)> 3
    <Greenlet at 0x10cd584b0: f(5)> 3
    <Greenlet at 0x10cd58910: f(5)> 3
    <Greenlet at 0x10cd58550: f(5)> 4
    <Greenlet at 0x10cd58910: f(5)> 4
    <Greenlet at 0x10cd584b0: f(5)> 4
    3個greenlet交替運行,
    把循環(huán)次數(shù)改為500000,讓它們的運行時間長一點,然后在操作系統(tǒng)的進程管理器中看,線程數(shù)只有1個。
    當(dāng)然,實際代碼里,我們不會用gevent.sleep()去切換協(xié)程,而是在執(zhí)行到IO操作時,gevent自動切換,代碼如下:
    from gevent import monkey; monkey.patch_all()
    import gevent
    import urllib2
    def f(url):
    print('GET: %s' % url)
    resp = urllib2.urlopen(url)
    data = resp.read()
    print('%d bytes received from %s.' % (len(data), url))
    gevent.joinall([
    gevent.spawn(f, 'https://www.python.org/'),
    gevent.spawn(f, 'https://www.yahoo.com/'),
    gevent.spawn(f, 'https://github.com/'),
    ])
    運行結(jié)果:
    GET:
    GET:
    GET:
    45661 bytes received from .
    14823 bytes received from .
    304034 bytes received from .
    從結(jié)果看,3個網(wǎng)絡(luò)操作是并發(fā)執(zhí)行的,而且結(jié)束順序不同,但只有一個線程。
    小結(jié)
    使用gevent,可以獲得極高的并發(fā)性能,但gevent只能在Unix/Linux下運行,在Windows下不保證正常安裝和運行。
    由于gevent是基于IO切換的協(xié)程,所以最神奇的是,我們編寫的Web App代碼,不需要引入gevent的包,也不需要改任何代碼,僅僅在部署的時候,用一個支持gevent的WSGI服務(wù)器,立刻就獲得了數(shù)倍的性能提升。具體部署方式可以參考后續(xù)“實戰(zhàn)”-“部署Web App”一節(jié)。