Ik bouw data validatie en kwaliteitscontroles met pyspark snowflake en aws

Sommige informatie is automatisch vertaald.

India

Ik spreek Engels

26 bestellingen voltooid

Data engineering, data analytics, web development, automatisering, AI development

Ik heb 11 jaar uitgebreide ervaring in Data Analytical Programming, Automation, Data Quality Framework, REST APIs, Data Warehousing, Cloud Engineering en Web Development. Ik heb expertise in ondersta...

Niveau 1

Voldoet aan bepaalde prestatiecriteria en toont een sterke potentie op de marktplaats.

Over deze dienst

Slechte data leidt tot slechte beslissingen. Ik help je gegevensproblemen opsporen, valideren en oplossen door het bouwen van schaalbare, productieklare data validatie frameworks met behulp van moderne data engineering tools.

Wat ik doe

  • Data validatie & kwaliteitscontroles
  • Bron- versus doeldataverificatie
  • Rijtelling, schema & datatypes validatie
  • Null, duplicaat & anomaliecontroles
  • Validatie van bedrijfsregels
  • Geautomatiseerde validatie pipelines
  • Gedetailleerde validatierapporten & logs

Tech stack

  • PySpark grootschalige data validatie
  • Python aangepaste regels & automatisering
  • Snowflake validatie op warehouse-niveau
  • SQL reconciliatie & analytische controles
  • AWS S3, Glue, EC2, Lambda, CloudWatch, Redshift, RDS, Secrets Manager

Expertise:

Automatiseringen

Big data

etl

Normalisatie

SQL

NoSQL

Technologie:

Amazon Redshift

Apache Cassandra

Python

SQL

Snowflake

Andere Data engineering diensten die ik aanbied