lib/http_crawler/client.rb in http_crawler-0.3.0.8 vs lib/http_crawler/client.rb in http_crawler-0.3.0.9
- old
+ new
@@ -148,13 +148,13 @@
# @http.update_proxy(proxy)
end
# 如果自动更新代理 则更新代理返回 true,否则返回false
- def update_proxy?(proxy_ip = {})
+ def update_proxy?
if @auto_proxy
- update_proxy(proxy_ip)
+ self.update_proxy
return true
else
return false
end
end
@@ -168,29 +168,24 @@
Rails.logger.debug("开始获取代理IP")
proxy_client = HttpCrawler::Proxy.for(proxy_api)
proxy_r = proxy_client.get_proxy(proxy_params)
proxy_ip = proxy_r.results unless proxy_r.results.blank?
if proxy_ip.blank?
- Rails.logger.warn "无最新代理等待5秒后重新获取"
+ Rails.logger.warn "无最新代理等待5秒后重新获取:proxy 为空"
else
break
end
sleep(5)
end while true
Rails.logger.debug("当前IP => #{@proxy},获取最新代理 => #{proxy_ip}")
- unless proxy_ip && proxy_ip["p_addr"] && proxy_ip["p_port"]
- Rails.logger.warn "无最新代理等待5秒后重新获取"
+ unless proxy_ip["p_addr"] && proxy_ip["p_port"]
+ Rails.logger.warn "无最新代理等待5秒后重新获取:p_addr 或 p_port 为空"
sleep(5)
proxy_ip = get_proxy
end
- if (@proxy && proxy_ip && @proxy["p_addr"] == proxy_ip["p_addr"] && @proxy["p_port"] == proxy_ip["p_port"])
- Rails.logger.warn "无最新代理等待5秒后重新获取"
- sleep(5)
- proxy_ip = get_proxy
- end
proxy_ip
end
attr_accessor :error_urls