首页 > 营销学院 > 技术知识

PHP并发URL状态检查：解决连接重置与效率瓶颈的cURL Multi方案

在使用php脚本检查大量url状态时，传统的`get_headers()`方法进行顺序请求可能导致`err_connection_reset`错误，尤其是在短时间内发起大量请求时，服务器可能触发ip限制或防火墙规则。本文将深入分析此问题，并提供一个基于curl multi的健壮解决方案，通过并发处理有效避免连接重置，显著提升检查效率和稳定性。

在开发需要批量检查远程文件或页面存在性的PHP脚本时，开发者常常会遇到连接问题，其中最常见且令人困惑的是ERR_CONNECTION_RESET。当尝试使用get_headers()等函数进行大量顺序请求时，即使引入了sleep()延迟，也可能在检查少量链接后出现此错误，导致后续请求失败，甚至影响同一IP地址通过浏览器访问这些链接。

理解ERR_CONNECTION_RESET问题根源

ERR_CONNECTION_RESET错误通常表示服务器主动关闭了连接。这并非偶然，而是服务器或中间网络设备（如防火墙、负载均衡器、DDoS防护系统）在检测到异常或可疑行为时采取的防御措施。对于PHP脚本来说，以下行为可能触发此类防御：

高频请求: 在短时间内从单个IP地址向同一服务器发起大量请求，即使每次请求之间有短暂延迟（如sleep(3)），其整体频率仍可能被识别为自动化脚本或潜在的攻击行为。
资源消耗: 每次get_headers()调用都会建立一个新的TCP连接，如果同时处理的连接过多，或者连接建立/关闭过于频繁，可能会消耗服务器资源，导致其拒绝后续连接。
用户代理缺失或异常: 许多服务器会检查请求的User-Agent头。如果脚本不设置或设置了非标准的User-Agent，可能会被视为非浏览器请求而遭到拦截。
IP限制: 目标服务器可能对特定IP地址在特定时间内的请求数量设置了硬性限制。一旦超出，就会暂时或永久地阻止该IP的连接。

sleep()函数虽然能增加请求间隔，但它无法改变请求的本质——它们依然是顺序执行的，并且每次请求都独立建立连接。这种模式容易被服务器的智能防御系统识别，并最终导致连接重置。

解决方案：使用cURL Multi进行并发请求

解决ERR_CONNECTION_RESET和提高效率的关键在于并发请求。PHP的cURL库提供了curl_multi系列函数，允许我们同时管理多个cURL句柄，以非阻塞的方式执行多个HTTP请求。这样，脚本可以一次性发起多个请求，等待它们并行完成，从而显著减少总耗时，并改变请求模式，降低被服务器识别为恶意行为的风险。

cURL Multi的工作原理是：

创建一个cURL Multi句柄。
为每个URL创建一个独立的cURL句柄，并设置相应的请求选项（如只获取头部、不返回内容等）。
将所有独立的cURL句柄添加到Multi句柄中。
通过循环调用curl_multi_exec()来持续执行这些请求，直到所有请求完成。
在请求完成后，遍历每个独立的cURL句柄，获取其执行结果（如HTTP状态码）。
关闭所有句柄。

这种方式不仅提高了效率，因为它不需要等待一个请求完全完成后再发起下一个，而且服务器在同一时间内可能会看到来自同一IP的多个并发连接，而不是一系列快速的独立连接，这在某些情况下可能更不容易触发防御机制。

示例代码：使用cURL Multi检查URL状态

以下是一个使用cURL Multi来并发检查多个URL是否存在的文件，并记录结果的PHP函数示例：

 0; $x--) {
        $combinedUrl = 'http://update.example.com/Files/Updates/6.' . $revisionNumber . '.' .  $minorNumber . '.' .  $x . '/application7_' . $revisionNumber . '_' .  $minorNumber . '_' .  $x . '_de_FullInstallerx64.exe';

        // 初始化单个cURL句柄
        $curl = curl_init();

        // 设置cURL选项
        curl_setopt($curl, CURLOPT_URL, $combinedUrl);
        curl_setopt($curl, CURLOPT_FILETIME, true); // 获取远程文件时间，如果需要
        curl_setopt($curl, CURLOPT_NOBODY, true); // 只获取HTTP头部信息，不下载文件内容
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); // 将结果作为字符串返回，而不是直接输出
        curl_setopt($curl, CURLOPT_HEADER, true); // 包含响应头到返回字符串中
        curl_setopt($curl, CURLOPT_TIMEOUT, 10); // 设置连接超时时间为10秒
        curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 5); // 设置连接建立超时时间为5秒
        // 可选：设置User-Agent，模拟浏览器请求，降低被服务器拦截的风险
        // curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36');

        // 将单个cURL句柄添加到cURL Multi句柄中
        curl_multi_add_handle($multiCurl, $curl);

        // 存储句柄和对应的版本号
        $curlHandles[] = ['curl' => $curl, 'build' => $x];
    }

    // 执行所有并发请求
    $running = null; // 用于跟踪正在运行的cURL句柄数量
    do {
        // 循环执行cURL Multi句柄，直到所有请求完成或有错误发生
        $status = curl_multi_exec($multiCurl, $running);
        // 如果有正在运行的请求，并且没有错误，则等待套接字活动
        if ($running && $status == CURLM_OK) {
            curl_multi_select($multiCurl); // 阻塞直到有活动发生
        }
    } while ($running > 0 && $status == CURLM_OK); // 当还有请求在运行且没有错误时继续

    // 处理每个请求的结果
    foreach ($curlHandles as $item) {
        $curl = $item['curl'];
        $build = $item['build'];

        file_put_contents('log.txt', "Checking Build: " . $build . "\n", FILE_APPEND);

        // 获取HTTP状态码
        $httpCode = curl_getinfo($curl, CURLINFO_HTTP_CODE);
        // 获取实际请求的URL，以防重定向
        $combinedUrl = curl_getinfo($curl, CURLINFO_EFFECTIVE_URL);

        if ($httpCode === 404) {
            $exists = "no";
            file_put_contents('log.txt', $combinedUrl . " - " . "does not exist. \n", FILE_APPEND);
        } else if ($httpCode >= 200 && $httpCode < 300) { // 2xx 范围表示成功
            $exists = "yes";
            file_put_contents('log.txt', $combinedUrl . " - " . "exists. \n", FILE_APPEND);
        } else {
            // 处理其他HTTP状态码，例如3xx重定向，5xx服务器错误等
            $exists = "unknown/error";
            file_put_contents('log.txt', $combinedUrl . " - " . "returned HTTP " . $httpCode . ". \n", FILE_APPEND);
        }

        // 从cURL Multi句柄中移除已处理的单个cURL句柄
        curl_multi_remove_handle($multiCurl, $curl);
        // 关闭单个cURL句柄
        curl_close($curl);
    }

    // 关闭cURL Multi句柄
    curl_multi_close($multiCurl);
}

// 调用函数执行检查
checkAllUrlsConcurrently();

?>

关键注意事项与最佳实践

错误处理: 在实际应用中，应增加对curl_multi_exec()和curl_multi_select()返回值的错误检查，以及对每个独立cURL句柄的curl_error()检查，以确保请求的健壮性。
并发数控制: 虽然cURL Multi支持并发，但一次性发起过多的并发请求可能会耗尽本地系统资源（如文件描述符）或对目标服务器造成过大压力。可以考虑实现一个“池”机制，限制同时活跃的请求数量。
超时设置: CURLOPT_TIMEOUT和CURLOPT_CONNECTTIMEOUT是至关重要的选项，它们可以防止脚本因某个请求卡住而无限等待。
User-Agent: 模拟一个常见的浏览器User-Agent可以帮助请求更自然地通过服务器的检测。
资源清理: 务必在所有请求处理完毕后，使用curl_multi_remove_handle()移除每个独立的cURL句柄，并用curl_close()关闭它们，最后用curl_multi_close()关闭Multi句柄，以释放系统资源。
HTTP状态码: 仔细检查CURLINFO_HTTP_CODE，区分404 Not Found、200 OK以及其他可能的错误码（如5xx服务器错误，3xx重定向等），从而更准确地判断文件状态。
日志记录: 详细的日志记录对于调试和监控非常重要，可以记录请求的URL、HTTP状态码以及任何错误信息。

总结

当PHP脚本在批量检查URL时遇到ERR_CONNECTION_RESET问题，这通常是由于服务器的防御机制被触发。传统的顺序请求方法难以规避此类问题。通过采纳cURL Multi方案，开发者可以实现高效、并发的URL状态检查，显著提升脚本的执行效率和稳定性，同时有效避免因请求模式被识别而导致的连接重置问题。正确配置cURL选项并实施适当的错误处理和资源管理，将确保这一过程的可靠性。

# php # html # php函数 # windows # 防火墙 # 浏览器 # app # safari # curl # win # apple # 状态码