Door categorieën bladeren
Ontdekken
Fiverr Pro
Nederlands
$
USD
Ik ga een gpt-datapijplijn bouwen met Kafka, Spark en Docker
Stream uw gegevens met AI!
Ik ontwerp en implementeer data streaming pipelines en lakehouse-architecturen met Kafka, Spark, Hadoop, Iceberg, Trino en MinIO, met optionele GPT-gestuurde verrijking.
Ik kan je voorzien van:
✔️ Ka...
Over deze dienst
Ik bouw een complete real-time pipeline met Apache Kafka, Spark Streaming en OpenAI GPT (ChatGPT). Het systeem vat streaming data samen in real time en draait binnen Docker voor eenvoudige deployment overal.
Je krijgt (op basis van je gekozen pakket):
- FastAPI GPT samenvatter met curl test
- Kafka Spark GPT integratie
- Optioneel HDFS opslag of Spring Boot producer
- Docker Compose setup
- Voorbeeld logs en testdata
Je kunt dit gebruiken voor:
- Log compressie
- Alert stream verwerking
- Real-time dashboards
- GPT-verbeterde support logs
- Transactie monitoring
- Anomalie detectie met GPT feedback
- Monitoring met Prometheus + Grafana dashboards
- En alles wat je nog meer kunt bedenken
Alles is modulair, getest en klaar voor productie. Je levert je eigen OpenAI key veilig via .env.
Let op:
- De oplevering hangt af van het gekozen pakket
- Op maat gemaakte aanbiedingen mogelijk - stuur me gewoon een bericht!
- Inclusief 2 follow-up berichten voor verduidelijking na levering
- Je bent zelf verantwoordelijk voor testen en draaien in je eigen omgeving
- Gebruik van OpenAI vereist je eigen API key
Expertise:
API integratie
•
Big data
•
Datastroom
•
etl
•
Transformatie
Technologie:
Apache Hadoop
•
Apache Kafka
•
apache vonk
•
Java
•
SQL
Mijn portfolio
Andere Data engineering diensten die ik aanbied
Veelgestelde vragen
Automatische vertaling
Werkt dit met GPT-3.5 of GPT-4?
Ja. Als je OpenAI API-sleutel toegang heeft tot GPT-4, wordt die gebruikt. Anders is de standaard GPT-3.5-turbo.
Kan ik dit lokaal testen?
Absoluut. Alles is volledig Dockerized. Je hebt alleen Docker nodig, geen handmatige setup of Python configuratie.
Kun je dit voor mij op AWS implementeren?
Ja! Ik kan de hele pipeline op een EC2-instantie deployen als een aangepaste dienst. Stuur me gerust een bericht voor meer details.
Werkt dit op Windows/Mac/Linux?
Ja, omdat het in Docker draait, is het OS-onafhankelijk.
Is het gebruik van OpenAI inbegrepen?
Je hebt je eigen OpenAI API-sleutel nodig. Ik help je met hoe je die veilig instelt via een .env-bestand.
Slaat het samenvattingen op in HDFS?
Standaard worden samenvattingen gelogd naar de console. Als je ze wilt opslaan, kan ik de logica aanpassen. Vraag het gerust.
Reviews
3 reviews van deze dienst
| (3) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Specificering van de beoordeling
- Communicatieniveau van de freelancer
- Kwaliteit van de levering
- Waarde van de levering
Sorteer op
Meest relevant
T thethirdone
Terugkerende klant
Zweden
Took charge of the task and generated valuable insights about infrastructure. Shows that he has a good understanding of the subject and enables coming up with proactive and pragmatic ideas when the original specification was blurry. Also, good at reading through messy documentation.
US$ 50-US$ 100
Prijs
4 dagen
Looptijd
Nuttig?T thethirdone
Terugkerende klant
Zweden
Excellent work developing a custom solution even though documentation available online is hard to interpret. Saved me a lot of time and was very transparent throughout the entire project process. Would recommend and be happy to work with again on future projects.
US$ 50-US$ 100
Prijs
7 dagen
Looptijd
Nuttig?A antoinedubo
Terugkerende klant
België
I've worked with Michal and have been really happy with the experience. He's knowledgeable, professional, and communicates well throughout the project. Everything has gone smoothly, and I plan to keep working with him. Definitely recommend.
US$ 100-US$ 200
Prijs
5 dagen
Looptijd
Nuttig?
Reviews
3 reviews van deze dienst
| (3) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Specificering van de beoordeling
- Communicatieniveau van de freelancer
- Kwaliteit van de levering
- Waarde van de levering
Sorteer op
Meest relevant
T thethirdone
Terugkerende klant
Zweden
Took charge of the task and generated valuable insights about infrastructure. Shows that he has a good understanding of the subject and enables coming up with proactive and pragmatic ideas when the original specification was blurry. Also, good at reading through messy documentation.
US$ 50-US$ 100
Prijs
4 dagen
Looptijd
Nuttig?T thethirdone
Terugkerende klant
Zweden
Excellent work developing a custom solution even though documentation available online is hard to interpret. Saved me a lot of time and was very transparent throughout the entire project process. Would recommend and be happy to work with again on future projects.
US$ 50-US$ 100
Prijs
7 dagen
Looptijd
Nuttig?A antoinedubo
Terugkerende klant
België
I've worked with Michal and have been really happy with the experience. He's knowledgeable, professional, and communicates well throughout the project. Everything has gone smoothly, and I plan to keep working with him. Definitely recommend.
US$ 100-US$ 200
Prijs
5 dagen
Looptijd
Nuttig?
