45 行 Python 代码实现 TCP 二级代理

迫于种种原因，有时候我们不得不做一些流量转发的操作。

比如写爬虫。

写爬虫时，时常要与目标网站的“运维”、“程序员”斗智斗勇，而“代理”作为行走江湖必备的入门级杀手锏，自然是要逢场必上。

有匪君子，如切如磋，如琢如磨。 有匪君子，如切如磋，如琢如磨。

而这个“杀手锏”是不是那么好用却与代理的数量、质量息息相关。

我时常苦恼于“维护代理”和“切换代理”的麻烦，我堂堂一代“爬虫大王”，冉冉升起的“东方新星”，万千少女的。。。呃，好像有点扯远了。总之，怎能沉溺于区区“代理切换”这种微不足道的小事中。

那么，如果可以用一个二级代理来封装这些事情岂不美哉！

所谓空想不如实干，不仅要实干，更要撸起袖子加油干！于是抓起 Python 就撸了一个流量转发程序。

程序不长，去掉空行只有 45 行，但完整的实现了流量转发的功能，基于 ssclient 实现了二级代理，完整代码如下：

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import socket
import select
from concurrent.futures import ThreadPoolExecutor


def process(conn, addr):
    proxy_conn = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    proxy_conn.connect(('127.0.0.1', 1080))
    conn.setblocking(socket.MSG_DONTWAIT)
    proxy_conn.setblocking(socket.MSG_DONTWAIT)
    closed = False
    while not closed:
        rlist, _, _ = select.select([conn, proxy_conn], [], [])
        for r in rlist:
            w = proxy_conn if r is conn else conn
            try:
                d = r.recv(1024)
                if not d:
                    closed = True
                    break
                w.sendall(d)
            except:
                closed = True
                break

    try:
        proxy_conn.shutdown(socket.SHUT_RDWR)
        proxy_conn.close()
    except:
        pass

    try:
        conn.shutdown(socket.SHUT_RDWR)
        conn.close()
    except:
        pass


def start():
    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    s.bind(('', 1991))
    s.listen(10)
    pool = ThreadPoolExecutor(128)
    print('Server listen on 0.0.0.0:1991')
    while True:
        conn, addr = s.accept()
        pool.submit(process, conn, addr)


if __name__ == '__main__':
    start()
    

流量转发既已实现，剩下的事情就很好解决了，无非是维护一个可用的“代理池”，在转发流量的过程中随机选取一个可用代理，之后进行流量转发即可。

完整的功能将在我开发完成之后在博客中跟大家分享，并同步发布到我的微信公众号上。有兴趣的朋友可以关注我的公众号哟~

本帖同步更新在我的博客上，原文在此。