项目介绍
本项目其实就是个简单的代理服务器,经过我小小的修改。加了个代理池进来。渗透、爬虫的时候很容易就会把自己ip给ban了所以就需要ip代理池了。
使用
1、启动ip代理池 先把这个项目跑起来 https://github.com/jhao104/proxy_pool
2、启动代理服务器
默认监听8080 java -jar proxyServer.jar
自定义监听端口 java -jar proxyServer.jar 9090
3、设置代理 设置好代理后你就发现每次请求的ip都不一样。
配置
简单说一下proxy_pool需要做的一些配置。1、如果有更好的代理网站,或者是你买了代理ip。可以在根目录的/fetcher/proxyFetcher.py里面自己写个方法去爬,该方法需要以生成器(yield)形式返回host:ip,然后在根目录 的setting.py文件里面,把自己写方法名添加进去。
2、redis默认装好是没密码的,需要修改setting.py,改为DB_CONN='redis://@127.0.0.1:6379/0'一般全部默认即可
3、修改超时,把setting.py中的VERIFY_TIMEOUT改小点(3)。默认10秒,这种ip基本用不成。
4、已发布版的代理服务器,用的是proxy_pool默认端口。而且代理池需要和代理服务器跑在一起。如不在一台机器上可修改ProxyUtil类里面getProxy方法的url。
本站提供的一切软件、教程和内容信息仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途。本站所有信息均来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑或手机中彻底删除上述内容。如果您喜欢该程序,请支持正版,购买注册,得到更好的正版服务。如有侵权不妥之处请致信 E-mail:[email protected] 我们会积极处理。敬请谅解!
|