Ik bouw een python data pipeline met tests en planning

Je data komt binnen in bestanden, APIs en exports die niet met elkaar overeenkomen, en iemand probeert dat elke maand handmatig aan elkaar te knopen.

Ik bouw dat in plaats daarvan als een pipeline: een herhaalbare taak die je bronnen binnenhaalt, ze normaliseert naar één schema en de output produceert die je echt nodig hebt - volgens een schema, zonder dat iemand er constant bij hoeft te blijven.

Hoe ik werk:

Elke rij uit je bronnen wordt gecontroleerd. Rijen die niet correct worden gemapt, worden GEMARKERD, nooit stilletjes verwijderd. Je krijgt een reconciliatie die de aantallen vóór en na laat zien.

Foutgevallen worden eerst afgehandeld: retries bij tijdelijke fouten en een waarschuwing wanneer een bron niet beschikbaar is, in plaats van een stil lege rapportage.

Inloggegevens staan in omgevingsgeheimen die jij beheert, nooit in de code.

Tests zijn inbegrepen, zodat een provider die zijn formaat wijzigt, wordt opgemerkt in plaats van drie weken later ontdekt te worden.

Ik bouw deze pipelines met CI, type checking, geautomatiseerde deployment en geplande uitvoering als standaard. Jouw levering bevat de project-specifieke code, de tests en de documentatie, binnen de scope van jouw pakket.

Stuur me een bericht met je bronnen en hoe de output eruit moet zien, en ik vertel je eerlijk of dit geschikt is voordat je bestelt.