Ik maak je rommelige Excel of CSV schoon tot bruikbare nette data

Je hebt de data. Je kunt er gewoon niets mee doen omdat de headers op rij 4 staan, de helft van de kolommen tekst bevat, er acht rijen navigatie rommel onderaan staan, en twee verschillende bladen dezelfde kolommen hebben onder verschillende namen.

De vijf dingen die echt misgaan, en wat ik eraan doe:

1. De header staat niet op rij 1. Titel, ondertitel, eenheden, publicatiedatum. Ik lokaliseer de echte header structureel, ik ga niet uit van aannames, en ik verwijder niet zomaar vijf rijen op basis van vertrouwen.

2. Twee-rijen headers. Eenheden groepen die sommige kolommen overspannen, namen eronder. Omgezet in unieke, correcte kolomnamen in plaats van vijf kolommen met de naam "Kolom 3".

3. Getallen opgeslagen als tekst. Sorteert verkeerd, gemiddelden kloppen niet, grafieken liegen. Omgezet, met duizenden scheidingstekens verwijderd. Ontbrekende waarden blijven ontbreken en worden nooit stilletjes omgezet in nul.

4. Voettekst rommel als data. Bron:, Notities:, Publicatiedatum. Verplaatst uit de data en bewaard als notities.

5. Twee tabellen die er hetzelfde uitzien maar dat niet zijn. Gescheiden, gelabeld en het verschil opgeschreven.

Voorbeeld in de gallery: een echt UK overheid statistieken werkboek met 11 bladen, vier verschillende tabelindelingen binnenin, schoongemaakt tot 10 CSV's en 175 geverifieerde rijen, met 33 automatische controles.