Ik bouw een data cleaning en validatie pipeline in python

N
natsuki_yunyuan
N
natsuki_yunyuan
natsuki
Sommige informatie is automatisch vertaald.

Over deze dienst

Automatische vertaling

De meeste data problemen zijn geen analyseproblemen. Het zijn schoonmaakproblemen waar niemand naar wil kijken.


Een pipeline die stilletjes "foutieve" data corrigeert, is erger dan eentje die het weigert. Het verandert 15/01/2026 in de verkeerde maand, verwijdert 3% van de rijen, en produceert een rapport dat er schoon uitziet maar fout is.


WAT JE KRIJGT

- Een Python pipeline die je bestanden leest, wat ze kunnen bewijzen schoonmaakt, en de rest in quarantaine zet met een geschreven reden.

- Elke afgewezen rij gaat naar een eigen bestand met de bron en regelnummer. Niets wordt stilletjes verwijderd.

- Validatieregels die je kunt lezen en aanpassen: types, bereiken, verplichte velden, datumnotaties, duplicaten.

- Een controleerbaar rapport plus exit codes, zodat het luidruchtig faalt in plaats van een verkeerd bestand te schrijven.

- Tests, zodat je de regels kunt aanpassen zonder ze te breken.

- Een overdrachtsdocument: wat is gebouwd, hoe het te gebruiken, wat is geverifieerd, en de beperkingen.


HOE IK WERK

Ik bekijk je data voordat ik een offerte maak. Als een kolom ambigu is, vraag ik liever dan dat ik gok.


STACK

Python, alleen standaardbibliotheek. Niets te installeren.


Vertel me wat "schoon" betekent voor jouw data en ik zeg of het past. Voorbeelden op GitHub - stuur een bericht voor de link.

Maak kennis met natsuki

natsuki

all

  • Afkomstig uitChina
  • Lid sindssep 2026
  • Gem. reactietijd1 uur
  • Talen

    Chinees, Engels
I build automation that connects AI to the real world. AI agents with real memory architecture - not a prompt around a chat API. Data pipelines that refuse to guess. Tools that pull structured data out of human-readable documents. I ship with verification: my samples carry a test suite you can run yourself, one command, no install. I also write handover docs - how to run it, what was verified, and what it does NOT do. Three public samples on GitHub, 99 passing tests - message me for the link. I also work on motion control: EtherCAT, ODrive, Klipper.

Automatische vertaling