lib/http_crawler/client.rb in http_crawler-0.3.0.8 vs lib/http_crawler/client.rb in http_crawler-0.3.0.9

- old
+ new

@@ -148,13 +148,13 @@ # @http.update_proxy(proxy) end # 如果自动更新代理 则更新代理返回 true,否则返回false - def update_proxy?(proxy_ip = {}) + def update_proxy? if @auto_proxy - update_proxy(proxy_ip) + self.update_proxy return true else return false end end @@ -168,29 +168,24 @@ Rails.logger.debug("开始获取代理IP") proxy_client = HttpCrawler::Proxy.for(proxy_api) proxy_r = proxy_client.get_proxy(proxy_params) proxy_ip = proxy_r.results unless proxy_r.results.blank? if proxy_ip.blank? - Rails.logger.warn "无最新代理等待5秒后重新获取" + Rails.logger.warn "无最新代理等待5秒后重新获取:proxy 为空" else break end sleep(5) end while true Rails.logger.debug("当前IP => #{@proxy},获取最新代理 => #{proxy_ip}") - unless proxy_ip && proxy_ip["p_addr"] && proxy_ip["p_port"] - Rails.logger.warn "无最新代理等待5秒后重新获取" + unless proxy_ip["p_addr"] && proxy_ip["p_port"] + Rails.logger.warn "无最新代理等待5秒后重新获取:p_addr 或 p_port 为空" sleep(5) proxy_ip = get_proxy end - if (@proxy && proxy_ip && @proxy["p_addr"] == proxy_ip["p_addr"] && @proxy["p_port"] == proxy_ip["p_port"]) - Rails.logger.warn "无最新代理等待5秒后重新获取" - sleep(5) - proxy_ip = get_proxy - end proxy_ip end attr_accessor :error_urls