求分布式任务队列库推荐

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 488 天前的主题，其中的信息可能已经有所发展或是发生改变。

Celery

Dramatiq

taskiq

samuelcolvin / arq

不知道 dalao 们还有其他无推荐的？或者说一下什么情况下，应该要自己写一个。

8 条回复 • 2023-10-23 16:24:45 +08:00

GoLand

2023-08-27 23:29:04 +08:00

选 celery 就可以了，不用纠结。经过时间考验的，生态也够。

masterclock

2023-08-28 08:37:53 +08:00

对照实际需求，考虑 temporal 看看？

kuituosi

2023-08-28 09:28:57 +08:00

开源的大部分有 bug 一堆，我有成熟可靠企业级自研产品，如需购买可报价

Maerd

2023-08-28 11:20:40 +08:00

还有 rq huey 这类的，国人开发的有 funboost ，支持的中间件差不多三十多个，性能也比上面的好很多，群里提 bug 基本上很快就发版回来给你解决了

chenzi0103

2023-08-28 14:28:19 +08:00

可以试一下以下两个：
1 ，Airflow, 你可以设置多个任务在一个 dag 中，然后使用 celery 来做执行器
2 ，Ray, 一个超级好用的分布式执行框架,简单上手难度低 ,配上 hydra 有奇效

ohayoo

2023-08-29 11:48:55 +08:00

taskiq 和 repid 我愣是没学会怎么用

akaHenry

2023-09-06 10:32:35 +08:00

1. 如果只会 python or 小项目, 那就 celery + rabbitmq.

2. 如果不局限 python 生态内. 更推荐 nats 和 kafka. (尽早使用跨语言通用的中间件, 迁移时, 少扔代码)

hanssx

2023-10-23 16:24:45 +08:00

celery 现在什么版本了，之前 4.x 5.x 的错误 bug 一大堆，N 多没解决的，推荐 Dramatiq