先講下為什么要使用swoole異步任務，在項目中我們經(jīng)常會遇到執(zhí)行時間比較久的請求（上傳，爬取等），讓用戶一直等待不是好的體驗，所以我們使用swoole異步請求，先返回‘執(zhí)行中’,等異步任務執(zhí)行完畢再修改狀態(tài)。
接下來我們來實現(xiàn)swoole在thinkphp 里的集成：
1.安裝swoole
推薦使用官網(wǎng)提供的安裝方式 安裝swoole擴展
2.安裝QueryList

composer require jaeger/querylist

文檔地址 querylist

3.在Tp5里自定義一個命令行類
在application下建立一個console文件夾用來存放自定義命令文件，然后在該文件夾下新建Crawler.php文件，編輯application目錄下的command.php文件
添加如下代碼

return [
    'app\console\Crawler',
];

深度截圖_選擇區(qū)域_20190920133914.png

編寫 Crawler.php

<?php

namespace app\Console;

use QL\QueryList;
use think\console\Command;
use think\console\Input;
use think\console\Output;


class Ceshi extends Command{
    protected $server;
    protected function configure()
    {
        //參考tp5自定義命令行手冊
        $this->setName('crawler:start')->setDescription('Start Crawler Server!');
    }

    protected function execute(Input $input, Output $output)
    {
        $serv = new \swoole_server('0.0.0.0',9502);//9502為swoole監(jiān)聽端口，可以自行設(shè)置
        $serv->set(array('task_worker_num' => 4));//異步進程數(shù)量 根據(jù)實際情況進行配置，參照官網(wǎng)提供的方案
        $serv->on('connect', function ($serv, $fd){

        });
        $serv->on('receive', function($serv, $fd, $from_id,$data) {
            //投遞異步任務 $data為接口傳遞的參數(shù)，接收參數(shù)做一些處理之后交給task
            echo'收到任務';
            $serv->task($data);
        });
        $serv->on('task', function ($serv, $task_id, $from_id, $data) {
            //接收receive傳遞的任務，進行執(zhí)行
            //本例中實現(xiàn)的是爬取京東商品任務 ，大家可以根據(jù)自身情況修改
            echo'執(zhí)行任務';
            $this->crawler($data);
        });
        $serv->on('finish', function ($serv, $task_id, $data) {

        });
        $serv->start();
    }

    /**
     * 采集商品數(shù)據(jù)
     * @param $activity_id
     * @return bool
     */
    private function crawler($activity_id)
    {
        //假設(shè) $number 為京東活動id
        $number = 123456;
        $data = [];
        $limit = 1;//起始
        $ql = QueryList::getInstance();
        for (; ;) {
            $offset = $limit * 30 + 1;//偏移量
            //這個url是通過分析京東加載商品接口提取出來的，修改這幾個參數(shù)就能模擬分頁爬取到京東全部活動的商品
            $url = 'https://search.jd.com/s_new.php?activity_id=' . $number . '&vt=2&scc=1&page=' . $limit . '&s=' . $offset . '&scrolling=y&tpl=1_M';
            //這里使用了代理，因為循環(huán)爬取的原因被京東檢測到了封了ip，所以使用動態(tài)代理爬取，代理的使用根據(jù)代理服務商提供的api每個都不同，在本文不詳細介紹
            $crawler = $this->immediate($url);
            if ($crawler) {
                $query = [];
                //phpquery 的核心思想就是使用php像js一樣通過dom操作頁面
                //下面代碼的意思是 獲取頁面的html 找到class為gl-item的子元素，并遍歷（就是遍歷京東頁面展示的商品div）
                $ql->html($crawler)->find('.gl-item')->children()->map(function ($item) use (&$query, $number, $activity_id) {
                    $tags = '';
                    //找到標簽展示規(guī)律并提取
                    $item->find('.p-icons')->children()->map(function ($child_tag) use (&$tags) {
                        $tags .= $child_tag->html() . ',';
                    });
                    //找到商品價格展示規(guī)律并提取
                    $price = $item->find('.p-price>strong>i')->html();
                    if (!$price) {
                        $price = $item->find('.p-price>strong')->attrs('data-price')[0] ?? 0;
                    }
                    if ($price && $price > 0) {
                        //這里通過節(jié)點找到需要的數(shù)據(jù)和數(shù)據(jù)表對應存到mysql
                        $query[] = [
                            'activity_id' => $activity_id,
                            'activity_number' => $number,
                            'goods_number' => $item->find('.p-operate>a')->attrs('data-sku')[0] ?? '',
                            'title' => $item->find('.p-name-type-2>a>em')->text(),
                            'image' => 'http:' . $item->find('.p-img>a>img')->attrs('source-data-lazy-img')[0] ?? '',
                            'price' => $price,
                            'tags' => rtrim($tags, ','),
                            'shop_name' => $item->find('.p-shop>span>a')->html(),
                            'shop_number' => $item->find('.p-img>div')->attrs('data-venid')[0] ?? '',
                        ];

                    }
                });
                if (count($query)) {
                    foreach ($query as $k => $v) {
                        $data[] = $v;
                    }
                    $limit++;
                } else {
                    break;
                }
            }
            //盡量讓爬蟲等待一秒再執(zhí)行，避免內(nèi)存溢出
            sleep(1);
        };
        //爬蟲功能結(jié)束之后及時釋放內(nèi)存
        $ql->destruct();
        //.......
        //接下來把數(shù)據(jù)存進mysql中就大功告成啦
    }

}

4.寫一個接口去調(diào)用異步任務

public function swoole_task(Request $request){
        $type = $request->param('type');
        $client = new \swoole_client(SWOOLE_SOCK_TCP, SWOOLE_SOCK_SYNC);
        $ret = $client->connect("服務器ip", 9502);
        if(empty($ret)){
            return 'FAIL';
        } else {
            $client->send($type);//提交任務到crawler.php 處理 我是傳參$type實現(xiàn)不同的異步任務調(diào)用
            return 'SUCCESS';
        }
    }

5.進入tp5 項目根目錄執(zhí)行命令

php think crawler:start//通常用于調(diào)試

讓swoole監(jiān)聽命令以守護進程方式運行(服務器)

php think crawler:start &

6.執(zhí)行上面寫好的調(diào)用接口swoole_task 可以在你想用的任何地方調(diào)用
7.效果

深度截圖_選擇區(qū)域_20190920142220.png

本文提供的方法僅供參考，實例并不能直接執(zhí)行，需要大家理解工作原理后結(jié)合自身項目進行使用

8.推薦一下本文使用技術(shù)在項目中的應用，微信搜索‘東東小賣部’，每天會爬取最新的京東滿減打折活動，
通過算法湊成滿減之后將商品組合返回給用戶，親身體驗過非常不錯，這個項目對于喜歡網(wǎng)購的朋友們來說絕對會帶給你非常棒的體驗。
大家要是覺得本文有幫助的話，幫忙關(guān)注下公眾號分享給身邊的人，不許白嫖哦，十分感謝

微信圖片_20190920104620.jpg

微信圖片_20190920104614.jpg

d19aaddda144ad34e5809b91dfa20cf431ad8526.jpg

e37546d98d1001e9f3030819b70e7bec54e79726.jpg