Zintegrowany zespół inżynierów danych

Scheduled Data Ingestion from 43 Sources for U.S. Public Records Company

Challenge:

43 data vendors, unstable delivery patterns, thousands of ingestion jobs, and billions of records. Files changed, failed, or arrived late.

Solution:

Automated ingestion system with per-vendor logic, continuous endpoint checks, retries, and file integrity verification.

Result:

6,400+ jobs per year with a 0.09% failure rate. Billions of records ingested monthly.

Monthly Data Collection Across 60+ Sources for U.S. Data Aggregator

Challenge:

Public data across 60+ websites, frequent website changes, inconsistent formats, and the need for a stable monthly feed for a new search feature.

Solution:

Modular ingestion with internal orchestration, continuous monitoring, normalization, state-level consolidation, and schema-stable CSV delivery.

Result:

Reliable monthly dataset, new search capability launched, and a data pipeline that runs without breaking downstream systems for 10+ years.

Pipeline ETL dla bazy wyborców w Indiach dla firmy zajmującej się danymi politycznymi i doradztwem

Challenge:

1 miliard rekordów wyborców, 22 języki lokalne i 36 formatów danych wejściowych, w tym pliki PDF oraz formularze wypełniane odręcznie.

Solution:

Rozpoznawanie tekstu OCR i uczenie maszynowe do transliteracji oraz weryfikacja danych na podstawie rejestrów pocztowych.

Result:

Ujednolicona, transliterowana i przeszukiwalna baza danych.

Data ingestion & processing 150M records for people lookup platform

Challenge:

150M records dataset with 1M records daily update.

Solution:

Automated data pipeline with daily data ingestion, unpacking, validation. Data process with Airflow, AWS Glue Jobs on Scala.

Result:

Searchable database in Snowflake cloud-based data storage.

Web Data Collection for AI-powered Vehicle Parts Procurement Platform

Challenge:

Multiple automotive catalog sources, millions of potential API calls, evolving scope, strict onboarding deadlines, and tight budget constraints.

Solution:

Phased engagement with free loading module development, validated sample delivery, and controlled parallel data collection aligned with business priorities.

Result:

313K+ records loaded. Budget-controlled rollout aligned with two customer onboarding milestones.

4B+ U.S. Voter and Mover Records ETL Pipeline for Identity Intelligence Company

Challenge:

Five disconnected voter and mover data sources. Billions of records. No shared format. High duplication risk. All built when big-data tooling was immature and hardware was expensive.

Solution:

A staged ETL pipeline with source-level logic, data standardization, identity resolution, and centralized SOLR indexing.

Result:

4+ billion records processed and unified. Five external sources integrated into one searchable dataset.

Entity resolution for B2B data intelligence platform

Challenge:

Unify records from three sources.

Solution:

A pipeline with probabilistic matching and normalization across name, contact, work, and education fields.

Result:

76% dedupe rate at ≥85% match, 400M records matched in 40 mins

PDF data extraction with AI for a leading B2B data intelligence platform

Challenge:

Extract data from 18K scanned PDFs in 30 formats.

Solution:

Trained Gemini Vertex AI model for pattern-based extraction. Automated data load and processing with Airflow Dags on Python.

Result:

Text files with business contact data.

Optymalizacja systemu parsowania adresów dla platformy wyszukiwania osób

Challenge:

Zoptymalizować system parsowania, walidacji i oczyszczania adresów, który nie radził sobie z dużym obciążeniem oraz zbiorem obejmującym 1 mln rekordów.

Solution:

Migracja systemu z MSSQL do Redis. Wstępnie skompilowane zapytania MSSQL. Nowe algorytmy parsowania adresów. Wewnętrzne buforowanie, deduplikacja i indeksowanie.

Result:

Stabilny i łatwo skalowalny system dla ponad 1 mln rekordów Dwukrotnie szybsze przetwarzanie danych O 40% mniejszy ruch związany z przetwarzaniem O 12% mniej błędów

Rozwój backendu dla rozproszonego systemu pozyskiwania danych internetowych

Challenge:

Zbudować narzędzie do pozyskiwania danych na dużą skalę, wymagające minimalnej konfiguracji.

Solution:

Chmurowy system pozyskiwania danych na dużą skalę z zarządzaniem zasobami, obsługą proxy i monitoringiem projektów.