1、爬取代理ip,获取如下信息:IP地址、端口、服务器地址、类型、是否匿名、类型、存活时间、验证时间
2、分别在Redis中和ip查询接口中,验证代理,成功则计算过期时间,并进行分类。
3、将状态,类型,过期时间分别写入Redis。
4、每隔15分钟进行爬取ip代理自动去重提供Python的调用的接口,和http接口保证代理的高可用,在每次调用的时候验证代理可靠性
5、具体所会遇到的一些代码说明
1、爬取代理ip,获取如下信息:IP地址、端口、服务器地址、类型、是否匿名、类型、存活时间、验证时间
2、分别在Redis中和ip查询接口中,验证代理,成功则计算过期时间,并进行分类。
3、将状态,类型,过期时间分别写入Redis。
4、每隔15分钟进行爬取ip代理自动去重提供Python的调用的接口,和http接口保证代理的高可用,在每次调用的时候验证代理可靠性
5、具体所会遇到的一些代码说明