Senior Data Engineer

Sobre a Winnin

O Winnin é uma plataforma de inteligência cultural movida a IA. Coletamos e processamos dados das maiores plataformas de vídeo do mundo — YouTube, TikTok, Instagram, Facebook e Twitch — e transformamos esse volume em insights estratégicos que ajudam marcas globais a criar conteúdo com mais inteligência e relevância.

Aqui, engenharia de dados não é infraestrutura de suporte. É o que torna o produto possível.

O desafio

Nossa engenharia de dados opera em alta escala e alta velocidade: APIs com cotas rigorosas, plataformas que mudam sem avisar, scrapers que precisam ser robustos o suficiente para sobreviver a qualquer atualização e pipelines que não podem parar.

Se você tem maturidade técnica para arquitetar soluções resilientes e disposição para trabalhar próximo dos times de Produto e Data Science — propondo, questionando e evoluindo a arquitetura continuamente — você vai se sentir em casa aqui.

O que você vai fazer

• Capturar dados de APIs das principais plataformas de vídeo, gerenciando cotas, autenticações e atualizações de contrato
• Desenvolver e manter crawlers e scrapers com estratégias robustas de resiliência e bypass
• Processar grandes volumes de dados com eficiência, garantindo atualização em tempo real e consolidação histórica
• Evoluir a arquitetura do Data Lake, incluindo migração de workspaces e adoção de novas ferramentas de orquestração
• Criar e manter métricas proprietárias em colaboração com os times de Data Science e Produto
• Analisar e propor melhorias em pipelines legados com foco em custo, performance e confiabilidade
• Trabalhar em colaboração próxima com DevOps para deploy, monitoramento e segurança de infraestrutura
• Mentorear e coordenar membros mais juniores do squad

O que esperamos de você

• Graduação em Ciência da Computação, Engenharia, Estatística ou área correlata
• Python e SQL avançados
• Sólida experiência em Engenharia de Dados
• Experiência sólida com Spark / PySpark
• Experiência com orquestração de pipelines: Prefect, Airflow ou similares
• Experiência com coleta de dados via APIs e web scraping em escala (Playwright, Selenium ou similares)
• Conhecimento de GCP e/ou AWS
• Capacidade de arquitetar, construir e manter Data Lakes e pipelines ETL/ELT de alta escala
• Databricks e Docker no dia a dia
• Proatividade para avançar em cenários de ambiguidade técnica

Diferenciais

• DBT para transformação e documentação de dados
• Temporal IO para orquestração
• Bancos vetoriais (Qdrant, Pinecone ou similares) e não relacionais (MongoDB)
• Contribuições em projetos open source relacionados a pipelines ou infraestrutura analítica
• Pós-graduação, mestrado ou doutorado em área correlata

Hard Skills esperadas

Python avançado · SQL avançado · Spark/PySpark · Prefect/Airflow/Temporal IO · Databricks · GCP (Dataproc, BigQuery, GCS, Dataflow) e/ou AWS (Glue, Redshift, RDS, Lambda) · Web scraping (Playwright, Selenium) · Docker · Git · DBT (diferencial)

Soft skills que fazem diferença aqui

• Decomposição estruturada de problemas complexos
• Aprendizado contínuo — inclusive de tecnologias que ainda não existiam no ano passado
• Senso crítico para questionar e defender escolhas técnicas com clareza
• Colaboração ativa: pair programming, code review, orientação a juniores
• Comunicação para públicos técnicos e não técnicos
• Proatividade em cenários de ambiguidade

Pronto(a) para fazer parte?

Candidate-se e conte pra gente qual foi o pipeline mais difícil que você já colocou em produção. 🟣

#DataEngineering #DataEngineer #DataPipeline #ETL #BigData #Spark #Python 
#Vaga #VagaRemota #HomeOffice #OpenToWork #TechJobs #Emprego