PHP Curl多線程原理詳解

時間：2024-09-11 06:01:55 PHP

PHP Curl多線程原理詳解

　　給各位介紹一下Curl多線程實例與原理。不對之處請指教

　　相信許多人對php手冊中語焉不詳?shù)腸url_multi一族的函數(shù)頭疼不已，它們文檔少，給的例子更是簡單的讓你無從借鑒，我也曾經(jīng)找了許多網(wǎng)頁，都沒見一個完整的應(yīng)用例子。

　　curl_multi_add_handle

　　curl_multi_close

　　curl_multi_exec

　　curl_multi_getcontent

　　curl_multi_info_read

　　curl_multi_init

　　curl_multi_remove_handle

　　curl_multi_select

　　一般來說，想到要用這些函數(shù)時，目的顯然應(yīng)該是要同時請求多個url，而不是一個一個依次請求，否則不如自己循環(huán)去調(diào)curl_exec好了。

　　步驟總結(jié)如下：

　　第一步：調(diào)用curl_multi_init

　　第二步：循環(huán)調(diào)用curl_multi_add_handle

　　這一步需要注意的是，curl_multi_add_handle的第二個參數(shù)是由curl_init而來的子handle。

　　第三步：持續(xù)調(diào)用curl_multi_exec

　　第四步：根據(jù)需要循環(huán)調(diào)用curl_multi_getcontent獲取結(jié)果

　　第五步：調(diào)用curl_multi_remove_handle，并為每個字handle調(diào)用curl_close

　　第六步：調(diào)用curl_multi_close

　　這里有PHP手冊上的例子：

　　復(fù)制代碼代碼如下:

　　<?php

　　// 創(chuàng)建一對cURL資源

　　$ch1 = curl_init();

　　$ch2 = curl_init();

　　// 設(shè)置URL和相應(yīng)的選項

　　curl_setopt($ch1, CURLOPT_URL, "/");

　　curl_setopt($ch1, CURLOPT_HEADER, 0);

　　curl_setopt($ch2, CURLOPT_URL, "http://www.php.net/");

　　curl_setopt($ch2, CURLOPT_HEADER, 0);

　　// 創(chuàng)建批處理cURL句柄

　　$mh = curl_multi_init();

　　// 增加2個句柄

　　curl_multi_add_handle($mh,$ch1);

　　curl_multi_add_handle($mh,$ch2);

　　$active = null;

　　// 執(zhí)行批處理句柄

　　do {

　　$mrc = curl_multi_exec($mh, $active);

　　} while ($mrc == CURLM_CALL_MULTI_PERFORM);

　　while ($active && $mrc == CURLM_OK) {

　　if (curl_multi_select($mh) != -1) {

　　do {

　　$mrc = curl_multi_exec($mh, $active);

　　} while ($mrc == CURLM_CALL_MULTI_PERFORM);

　　}

　　// 關(guān)閉全部句柄

　　curl_multi_remove_handle($mh, $ch1);

　　curl_multi_remove_handle($mh, $ch2);

　　curl_multi_close($mh);

　　整個使用過程差不多就是這樣，但是，這個簡單代碼有個致命弱點，就是在do循環(huán)的那段，在整個url請求期間是個死循環(huán)，它會輕易導(dǎo)致CPU占用100%。

　　現(xiàn)在我們來改進它，這里要用到一個幾乎沒有任何文檔的函數(shù)curl_multi_select了，雖然C的curl庫對select有說明，但是，php里的接口和用法確與C中有不同。

　　把上面do的那段改成下面這樣：

　　復(fù)制代碼代碼如下:

　　do {

　　$mrc = curl_multi_exec($mh,$active);

　　} while ($mrc == CURLM_CALL_MULTI_PERFORM);

　　while ($active and $mrc == CURLM_OK) {

　　if (curl_multi_select($mh) != -1) {

　　do {

　　$mrc = curl_multi_exec($mh, $active);

　　} while ($mrc == CURLM_CALL_MULTI_PERFORM);

　　}

　　因為$active要等全部url數(shù)據(jù)接受完畢才變成false，所以這里用到了curl_multi_exec的返回值判斷是否還有數(shù)據(jù)，當(dāng)有數(shù)據(jù)的時候就不停調(diào)用curl_multi_exec，暫時沒有數(shù)據(jù)就進入select階段，新數(shù)據(jù)一來就可以被喚醒繼續(xù)執(zhí)行。這里的好處就是CPU的無謂消耗沒有了。

　　另外：還有一些細節(jié)的地方可能有時候要遇到：

　　控制每一個請求的超時時間，在curl_multi_add_handle之前通過curl_setopt去做：

　　curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);

　　判斷是否超時了或者其他錯誤，在curl_multi_getcontent之前用：curl_error($conn[$i]);

　　本類的特點：

　　運行非常穩(wěn)定。

　　設(shè)置一個并發(fā)就會始終以這個并發(fā)數(shù)進行工作，即使通過回調(diào)函數(shù)添加任務(wù)也不影響。

　　CPU占用極低，絕大部分CPU消耗在用戶的回調(diào)函數(shù)上。

　　內(nèi)存利用率高，任務(wù)數(shù)量較多（15W個任務(wù)占用內(nèi)存會超過256M）可以使用回調(diào)函數(shù)添加任務(wù)，個數(shù)自定。

　　能夠最大限度的占用帶寬。

　　鏈?zhǔn)饺蝿?wù)，比如一個任務(wù)需要從多個不同的地址采集數(shù)據(jù)，可以通過回調(diào)一氣呵成。

　　能夠?qū)URL錯誤進行多次嘗試，次數(shù)自定（大并發(fā)一開始容易產(chǎn)生CURL錯誤，網(wǎng)絡(luò)狀況或?qū)Ψ椒⻊?wù)器穩(wěn)定性也有可能產(chǎn)生CURL錯誤）。