Ik maak je rommelige dataset schoon en voorbewerken met python en Pandas

Sommige informatie is automatisch vertaald.

Pakistan

Ik spreek Engels, Urdu
Finaljaars student Software Engineering in Pakistan, werkend met Python, Pandas en scikit-learn aan echte ML-projecten. Onlangs heb ik een ML-stage afgerond waarbij ik productiegegevens heb schoongem...
Over deze dienst

Rommelige data vertraagt alles, verkeerde datatypes, ontbrekende waarden, dubbele rijen, inconsistente opmaak. Ik maak je dataset schoon met Python en Pandas zodat hij klaar is voor analyse of modellering.

Onlangs heb ik dit exacte probleem op grote schaal aangepakt tijdens een ML-stage, waarbij ik data heb schoongemaakt en voorbereid over 18 maandelijkse bestanden (~79 miljoen rijen in totaal) voor een scoringmodel in productie, inclusief het opsporen van een lastige bug waarbij een numerieke kolom stilzwijgend als een ongeldig type werd opgeslagen en correct moest worden geconverteerd voordat hij gebruikt kon worden.

Wat ik lever:

  • Dubbele en irrelevante rijen verwijderd
  • Ontbrekende waarden correct afgehandeld (niet zomaar verwijderd)
  • Datatypes gecorrigeerd en gevalideerd
  • Schoon, klaar-voor-gebruik CSV/Excel output
  • Een korte notitie over wat ik heb aangepast en waarom

Stuur je bestand en vertel me wat je ermee wilt doen, ik neem het vanaf daar over.