Ik zet inference op voor jouw open-source modellen


Over deze dienst
Automatische vertaling
Ik bouw inference voor jouw open-source modellen met engines zoals TensorRT-LLM, vLLM en sGLang. Voor lage latentie-workflows help ik je een lage latency te bereiken via methoden zoals kwantisatie, modelcompositie, batching en streaming. Ik zet ook beveiligingsmaatregelen op voor jouw inference-endpoints met API-sleutels en RAG-ondersteuning om documenten te koppelen aan jouw prompts. Deze dienst is geschikt voor zowel on-premises als cloud, zowel op CPU als GPU's.
Maak kennis met Erick
Selfhosted solutions
- Afkomstig uitKenia
- Lid sindssep 2022
- Gem. reactietijd19 uur
- Laatste levering3 maanden
Talen
Engels, Swahili
Automatische vertaling
1 reviews van deze dienst
| (1) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Specificering van de beoordeling
- Communicatieniveau van de freelancer
- Kwaliteit van de levering
- Waarde van de levering
Sorteer op
B benrudidi82

Kameroen
Lopende samenwerkingfor me it is difficult to find people like that I feel very confident working with him, he is very professional, he understands very quickly, he complies with all my requirements, he does things in a professional manner, despite the fact that I do not speak English, he adapts to the French, to the point...
US$ 50-US$ 100
Prijs
4 dagen
Looptijd
Nuttig?
1 reviews van deze dienst
| (1) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Specificering van de beoordeling
- Communicatieniveau van de freelancer
- Kwaliteit van de levering
- Waarde van de levering
Sorteer op
B benrudidi82

Kameroen
Lopende samenwerkingfor me it is difficult to find people like that I feel very confident working with him, he is very professional, he understands very quickly, he complies with all my requirements, he does things in a professional manner, despite the fact that I do not speak English, he adapts to the French, to the point...
US$ 50-US$ 100
Prijs
4 dagen
Looptijd
Nuttig?
