Ik bouw schaalbare web crawler en scraper

Sommige informatie is automatisch vertaald.

India

Ik spreek Engels

72 bestellingen voltooid

Big Data Engineer bij Amazon met meer dan 6 jaar ervaring in Hadoop, Spark, PySpark, Hive en cloudplatforms zoals AWS, GCP, Azure en DataBricks. Ontwikkelde en plande zeer efficiënte ETL-pipelines voo...
Over deze dienst

Ik ben een Big Data Engineer van Amazon met meer dan 5 jaar ervaring in data verzamelen, modelleren en transformeren.

Als je websites wilt crawlen en scrapen, ben je slechts een bericht verwijderd van het bereiken van dat doel.


Web Crawling | Web Scraping | Data Extractie | Data Mining | Data Verzameling | Data Scraping


Mijn diensten (Inclusief maar niet beperkt tot):

  1. Web crawling - navigeren over webpagina's, webpagina's met paginering/scrollen of meer inhoud laden.
  2. Web scraping - inhoud extraheren van webpagina's, afbeeldingsextractie, URL-extractie en opnieuw bezoeken.
  3. Data extractie van API-endpoints.
  4. Verzamel data in verschillende formaten (Excel Sheet, CSV, XML, JSON, MySql, Parquet, ORC, etc).
  5. Crawl en scrape elke website, inclusief E-Commerce websites (Shopify, WooCommerce, etc), Business Directories Scraping, enzovoort.
  6. Afbeeldingen downloaden van websites.



Technologie:

Python

Google Sheets

Excel

Scrapy

Beautiful Soup

Type informatie:

Valuta en aandelen

Afbeeldingen

Techniek:

Geautomatiseerd