消息关闭
    暂无新消息!

php 循环中较费时的操作怎样优化?

问题作者 : 简单爱2017-07-12发布
比如现在的情况是从页面中抓取数据,开始的时候数据有些多,如下图:


伪代码如下:
scrapePage($pageNum) {//fetch data from each page}
for($currentPage = 1; $currentPage < $totalPages; $currentPage++)
{
scrapePage($currentPage);
}


上面的代码在页面少的情况下,是可以正确运行的,但页面多的话毫无疑问会遇上timeout。
当然504 timeout这种有解决方法,但是这样简单暴力的循环肯定有更好的方法。
我想,有没有一种类似‘异步’的方式,抓取当前页面成功后,返回一些提示数据,同时根据分页信息进行下一页的抓取工作。

想请教一下,谢谢了。

1个回答

︿ 0
不经过nginx,直接使用cli运行?
不清楚你是不是这个意思。