Data Engineer

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

✅Dołącz do projektu dużej organizacji z sektora finansowego, w którym będziesz odpowiadać za rozwój i utrzymanie rozwiązań z obszaru Big Data oraz data engineering.

✅Technologie i narzędzia: PySpark, Python, Apache Spark, GCP, Airflow, Apache Hadoop, YARN, Hive, Spark SQL, SQL, Git, GitHub, Ansible, Jenkins

👉masz praktyczne doświadczenie w rozwoju i projektowaniu rozwiązań z wykorzystaniem PySpark lub Scala

👉posiadasz doświadczenie z Google Cloud Platform (GCP)

👉masz doświadczenie w budowaniu i utrzymywaniu data pipelines

👉pracowałeś/aś z Airflow

👉znasz większość z wymienionych technologii: Python, Apache Hadoop, YARN, Hive, Spark SQL, Map Reduce oraz SQL

👉swobodnie pracujesz w środowisku Unix/Linux

👉masz doświadczenie z Git i GitHub

👉znasz narzędzia automatyzacji deploymentu, takie jak Ansible i Jenkins

👉swobodnie prezentujesz rozwiązania zarówno odbiorcom biznesowym, jak i technicznym

👉komunikujesz się swobodnie w języku angielskim

• doświadczenie z Elasticsearch
• doświadczenie w tworzeniu rozwiązań z wykorzystaniem Java APIs
• doświadczenie w procesach data ingestion

• projektowanie, rozwój i utrzymanie data pipelines w środowisku GCP
• rozwój rozwiązań opartych o PySpark / Apache Spark
• automatyzacja i harmonogramowanie procesów z wykorzystaniem Airflow
• wykorzystanie Git/GitHub oraz narzędzi, takich jak Ansible i Jenkins
• współpraca z zespołami technicznymi oraz biznesem
• prezentowanie rozwiązań i postępów prac odbiorcom technicznym i nietechnicznym
• wsparcie w realizacji zadań pozostałych członków zespołu
• identyfikowanie możliwości wykorzystania AI do przyspieszania i automatyzacji procesów

• współpracy w oparciu o kontrakt B2B
• pracy hybrydowej: 8 dni w miesiącu z biura w Krakowie
• profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji

Poznaj nas lepiej👉 https://www.facebook.com/clurgo/