爬取的免费 IP 怎么有效性这么高？甚至 100%

检测网址： https(或 http)://httpbin.org/ip

检测方法：用 python 的 requests 请求，如果状态码为 200 则认为有效

检测结果：有效率高达 90%甚至 100%，但是随机选取了几个通过检测的 ip 请求原代理 IP 网站，成功率 0%，试着请求豆瓣，成功率 50%

目前猜想： 1、代理 IP 网站自己把放出的 ip 屏蔽了； 2、部分 IP 已经被使用过且已被目标网站屏蔽； 3、检测的网址或检测的方法有问题。。。

# 检测 IP 有效性
def test_proxy(proxy):
    ip_port = proxy['ip_port']
    scheme = proxy['scheme']
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6788.400 QQBrowser/10.3.2864.400'
    }
    ip = {
        scheme: "{}://".format(scheme) + ip_port
    }
    try:
        res = requests.get('{}://httpbin.org/ip'.format(scheme), headers=headers, proxies=ip, timeout=5)
        if res.status_code == 200:
            items = {
                'proxy': scheme + '://' + ip_port
            }
            collection.insert(items)
            print('有效', ip_port)
    except:
        print('无效')
        pass