當需要同時處理多個url時,可采用curl_multi_perform方式執行,如下代碼1:
1 //初始化一個multi curl 對象 2 CURLM * curl_m = curl_multi_init(); 3 CURL * my_curl[CURL_NUM]; 4 char rcvbuf[CURL_NUM][MAXHEADLEN] = { 0 }; 5 //其他初始化代碼略過... 6 7 //執行多個url 8 while(running_handles) 9 { 10 if (-1 == curl_multi_select(curl_m)) 11 { 12 printf("curl_multi_select error !\n"); 13 break; 14 } 15 else { 16 // select監聽到事件,調用curl_multi_perform通知curl執行相應的操作 // 17 while (CURLM_CALL_MULTI_PERFORM == curl_multi_perform(curl_m, &running_handles)); 18 } 19 } 20 21 //解析數據 22 int msgs_left; 23 CURLMsg * curl_msg; 24 while((curl_msg = curl_multi_info_read(curl_m, &msgs_left))) 25 { 26 if (CURLMSG_DONE == curl_msg->msg) 27 { 28 int idx; 29 for (idx = 0; idx < CURL_NUM; ++idx) 30 { 31 if (curl_msg->easy_handle == my_curl[idx]) break; 32 } 33 34 if (idx == CURL_NUM) 35 { 36 printf("curl not found !\n" ); 37 } 38 else 39 { 40 printf("\ncurl[%d] rcvbuf:\n%s\n", idx,rcvbuf[idx]); 41 //數據處理... 42 } 43 } 44 }
現在我的url為訂閱方式,每個curl都會一直收數據(即使沒數據也會每10s收到一幀心跳消息),永遠不會退出,即上面的循環永遠在執行,這樣我無法運行到"解析數據"那一步。所以我需要在循環內判斷某個curl是否有新數據到來。
首先想到的方法是直接將curl_multi_info_read()函數直接移到循環內,看是否能受到數據,如下代碼2:
1 //執行多個url,並解析數據 2 while(running_handles) 3 { 4 if (-1 == curl_multi_select(curl_m)) 5 { 6 printf("curl_multi_select error !\n"); 7 break; 8 } 9 else { 10 // select監聽到事件,調用curl_multi_perform通知curl執行相應的操作 // 11 while (CURLM_CALL_MULTI_PERFORM == curl_multi_perform(curl_m, &running_handles)); 12 //檢測哪一個curl[idx]來的數據 13 while ((curl_msg = curl_multi_info_read(curl_m, &msgs_left))) 14 { 15 if (CURLMSG_DONE == curl_msg->msg) 16 { 17 int idx; 18 for (idx = 0; idx < CURL_NUM; ++idx) 19 { 20 if (curl_msg->easy_handle == my_curl[idx]) break; 21 } 22 if (idx == CURL_NUM) 23 { 24 printf("curl not found !\n" ); 25 } 26 else 27 { 28 printf("\ncurl[%d] rcvbuf:\n%s\n", idx,rcvbuf[idx]); 29 //數據處理... 30 memset(rcvbuf[idx], 0, sizeof(rcvbuf[idx]));//清空buf下輪循環還要用 31 } 32 } 33 } 34 } 35 }
顯然是我想多了,這樣處理之後唯一的不同就是,哪個curl執行完了就打印哪個的數據(代碼1的是只能等到所有的curl都執行完畢退出循環後依次打印rcvbuf[idx]),但我的curl是訂閱的,根本執行不完,這樣也沒法打印,除非rcvbuf[idx]溢出...
rcvbuf[idx]溢出?這樣肯定不可能,但是讓我想起了curl_easy_setopt()函數,這貨可以配置curl的各種功能,或許總有一個能滿足我吧:
CURLOPT_TIMEOUT_MS 配置超時時間?
不對,這個是要超時了curl直接掛了;
CURLOPT_RANGE 配置斷點續傳?
貌似可以;通過測試發現收指定XX個字節滿了後該curl就退出了,即使後面還有數據他也不要了,這不是我們想看到的。
還有一個接收超時時間的配置?
同上,超過多少s後即使還有數據他也不要了,也不行。
...
相信通過配置curl_easy_setopt()函數應該是最官方的做法,但小弟不才沒有找到相關文章,自己研究也沒搞出來,有待高人指點。
萬般無奈之下,突然想到既然curl[idx]收到的數據在rcvbuf[idx]中,為何不直接檢查rcvbuf[idx]中有沒有數據,如下代碼3:
1 //執行多個url,並解析數據 2 while(running_handles) 3 { 4 if (-1 == curl_multi_select(curl_m)) 5 { 6 printf("curl_multi_select error !\n"); 7 break; 8 } 9 else { 10 // select監聽到事件,調用curl_multi_perform通知curl執行相應的操作 // 11 while (CURLM_CALL_MULTI_PERFORM == curl_multi_perform(curl_m, &running_handles)); 12 //檢測哪一個curl[idx]來的數據 13 int idx = 0; 14 for (idx = 0; idx < CURL_NUM; ++idx) 15 { 16 if (rcvbuf[idx][0] == NULL) //curl[idx]沒有收到數據。 17 continue; 18 printf("curl[%d] rcvbuf:\n%s\n", idx, rcvbuf[idx]); 19 //數據處理... 20 memset(rcvbuf[idx], 0, sizeof(rcvbuf[idx])); 21 } 22 } 23 }
通過上面的處理確實能滿足要求,但是方法有些笨,存在2個明顯的缺陷:
1. 每次都要檢測所有的curl一遍,效率低;
2. 一旦某個curl因某種原因死掉了,我該如何判斷是哪一個curl掛了?
所以處理這個問題是否有官方的方法?還有待高人解答,保持關注更新。
libcurl庫的使用(通過libcurl庫下載url圖像) http://www.linuxidc.com/Linux/2015-09/123609.htm