Ik bouw een async taakwachtrijsysteem met redis en fastapi


Over deze dienst
Automatische vertaling
Ik bouw taakwachtrijsystemen waarmee je API direct een verzoek accepteert en het zware werk op de achtergrond verwerkt.
Architectuur:
- FastAPI REST-interface: toevoegen aan wachtrij, status controleren, takenlijst, annuleren
- Redis LPUSH/BRPOP voor snelle en betrouwbare taaklevering
- Worker-processen die horizontaal schalen
- SQLite persistentie voor taakgeschiedenis en status tracking
- Strategiepatroon voor taakhandlers, makkelijk nieuwe taaktypes toevoegen
- Docker Compose voor lokale ontwikkeling en cloud deployment
Voer docker compose up --scale worker=3 uit om taken parallel te verwerken zonder de API aan te raken.
Als Redis uitvalt, blijft de API actief en worden fouten gelogd. Wanneer Redis terugkomt, reconnecten de workers automatisch.
Vertel me jouw use case en ik reageer binnen 1 uur.
Maak kennis met Federico M
Backend Engineer
- Afkomstig uitArgentinië
- Lid sindsokt 2022
- Gem. reactietijd23 uur
Talen
Spaans, Engels
Automatische vertaling
Veelgestelde vragen
Automatische vertaling
Is dit vergelijkbaar met Celery?
Vergelijkbaar concept, maar veel eenvoudiger. Dit systeem gebruikt direct Redis (LPUSH/BRPOP) zonder de overhead van Celery. Perfect voor de meeste use cases. Als je specifiek Celery nodig hebt, kan ik dat ook bouwen.
Kunnen workers onafhankelijk van de API schalen?
Ja, workers zijn aparte processen. Met Docker Compose voer je docker compose up --scale worker=3 uit om taken parallel te verwerken zonder de API aan te raken.
Wat gebeurt er als Redis uitvalt?
De API blijft actief en logt fouten op een nette manier. Wanneer Redis terugkomt, reconnecten de workers automatisch en gaan ze verder met verwerken.

