最近做我的小站www.doc5.cn 后台写了抓取程序抓取网上内容,需要用到队列就试用了下tp自带的队列,用的驱动是DB的。
为了方便管理进程,使用了supervisitor。先不说进程跑一会就僵死的问题。为了提高抓取效率,用了多台服务器进行分布式的抓取,这时候队列的问题就来了,出现多个进程抢同一条队列重复抓取的问题。看了下源代码虽然数据库加了锁但是没有效果。稍微修改了一下源代码,增加了markjob是否成功的判断试了一下感觉好像是可以了。但是进程僵死的情况还是经常出现,过段时间就会发现queue:work
的进程多了几个僵死在那里,后来在启动queue:listen的时候时候加上 --timeout的选项,现在还不知道有没有好使 有待进一步验证。

最佳答案

评论() 相关

收藏

赞

conglei1981

ThinkPHP 是一个免费开源的,快速、简单的面向对象的 轻量级PHP开发框架 ,创立于2006年初,遵循Apache2开源协议发布,是为了敏捷WEB应用开发和简化企业应用开发而诞生的。ThinkPHP从诞生以来一直秉承简洁实用的设计原则,在保持出色的性能和至简的代码的同时,也注重易用性。并且拥有众多的原创功能和特性,在社区团队的积极参与下,在易用性、扩展性和性能方面不断优化和改进,已经成长为国内最领先和最具影响力的WEB应用开发框架,众多的典型案例确保可以稳定用于商业以及门户级的开发。