Ik bouw AWS- en databricks-gegevenspijplijnen, etl en ai rag-apps

Sommige informatie is automatisch vertaald.
Shahid

India

Ik spreek Engels
Cloud Data Engineer met hands-on ervaring in AWS (Glue, Lambda, S3), Python/PySpark en SQL. Ik bouw schaalbare ETL-pijplijnen, automatiseer data-inname en optimaliseer workflows met hoog volume. Ik ri...
Lees meer
Over deze dienst

Ik ben een data engineer die ETL-pijplijnoplossingen bouwt op Databricks en AWS met PySpark, van ingestie tot productieplatforms.


Senior engineer en tech lead met 4 jaar ervaring. Gecertificeerd: AWS Certified Data Engineer - Associate en Microsoft Certified Azure Database Administrator Associate.


Geselecteerde resultaten:

  • Meer dan 15 TB gemigreerd van SQL Server naar AWS Aurora PostgreSQL met minder dan 5 minuten downtime met DMS, Glue PySpark en Step Functions
  • Azure Databricks lakehouse-werking verwerkt 50M+ records per dag: medallion-architectuur, Delta Lake, Unity Catalog, Azure Data Factory
  • Streaming op 2M+ events per dag met Kafka/MSK en Spark Structured Streaming
  • Spark-runtime met 45% vermindering, kosten met 30% lager, schema-incidenten met 90% minder (80+ pijplijnen), Airflow-fouten met 40% minder (30+ DAGs)


AI-oplossingen:

  • RAG-chatbots met citaties en natural language to SQL-tools, geleverd als FastAPI-apps met een web UI
  • Open source op GitHub (OsamaZaidi75): pharma-rag en sql-rag


Projectervaring omvat werk voor een Fortune 500-farmaceutische opdrachtgever.


Pakketten: Data Task Sprint (200 USD), Pipeline Build (750 USD), Data Platform / AI App (1500 USD). Stuur me een bericht voordat je bestelt om de scope te bevestigen.

Lees meer
build AWS and databricks data pipelines, etl and ai rag apps
Volledig scherm
build AWS and databricks data pipelines, etl and ai rag apps

Bestemmingsplatform:

Databricks Lakehouse

•

PostgreSQL

•

Amazon S3

Tools & platforms:

Azure Data Factory

•

Overige

Gerelateerde tags