Ik bouw of repareer CDC-pijplijnen met Debezium, Kafka en PostgreSQL

Sommige informatie is automatisch vertaald.

Pakistan

Ik spreek Engels

181 bestellingen voltooid

Senior Data en AI engineer, RAG, LangChain, Snowflake, dbt, Agents, Clickhouse

Ik bouw dataplatforms en LLM-pijplijnen die in productie draaien. 10 jaar ervaring in software- en data-engineering, sinds 2016. Data Engineer II bij Careem (Uber), waar ons DataOps-team 500+ streami...

Niveau 2

Voldoet aan hoge prestatiecriteria en heeft een bewezen staat van dienst in het voldoen aan de verwachtingen van de klant.

Over deze dienst
  • Change data capture werkt stilletjes storingen. Repllicatieslots raken vast en vullen de schijf, grote kolommen komen aan als placeholders en MERGE-verklaringen overschrijven goede rijen terwijl elk dashboard groen blijft.

Ik bouw CDC die stand houdt, of repareer degene die je hebt:

  • Log-gebaseerde CDC van PostgreSQL of MySQL met Debezium, Kafka, Meltano of Maxwell
  • Laadt in Snowflake, BigQuery of PostgreSQL met correcte MERGE-logica voor deletes en updates
  • Oplossingen voor TOAST-placeholder overschrijvingen in PostgreSQL
  • Monitoring van repllicatieslots en een veilige herstelweg, zonder volledige herladen
  • Reconciliatiecontroles zodat bron- en doelstellingen kloppen wat aantallen en waarden betreft

Prestaties:

  • Herbouwde PostgreSQL-replicatie met log-gebaseerde CDC naar Snowflake voor een US-delivery-tech unicorn
  • Ontworpen van een agent die vastzittende replicatieslots leegmaakt en een schone gedeeltelijke vernieuwing uitvoert, zonder dat iemand wordt gepageud
  • Careem: real-time CDC via Maxwell, Kafka en Spark Streaming
  • Schreef het Debezium TOAST stille-overschrijvingsbug en de drie-lagen oplossing

Taal:

Engels

Technische expertise:

Apache Airflow

•

Dagster

•

apache vonk

Expertise:

Datapijplijnen

•

Verwerken streamingdata

Branche:

Audio en video

•

Cyberbeveiliging

•

Gegevensanalyse

Mijn portfolio

Andere Data engineering diensten die ik aanbied

Gerelateerde tags