Szkolenie Przetwarzanie danych Big Data z Apache Spark - TERMIN GWARANTOWANY - 23.11.2026

W skrócie

Danych przybywa szybciej, niż jeden serwer zdąży je przeliczyć, a raporty i analizy czekają na wyniki. Apache Spark rozkłada takie obliczenia na wiele maszyn. Na tym czterodniowym warsztacie przetwarzasz w nim duże zbiory na platformie Databricks: piszesz przekształcenia w PySparku i Spark SQL, budujesz jezioro danych w formacie Delta, automatyzujesz przepływy danych, a wolne zadania przyspieszasz i diagnozujesz w Spark UI.

Co potrafisz po tych 4 dniach

• Rozpoznajesz, czego wymaga Twój zbiór danych - Pięć wymiarów pracy z Big Data: rozmiar przekraczający możliwości jednej maszyny, tempo napływania nowych danych, różnorodność formatów (od tabel w bazie po pliki audio), jakość danych i ich wartość dla decyzji. Na przykładzie migracji widzisz, jak przetwarzanie przechodzi na Sparka.
• Swobodnie pracujesz na platformie Databricks - Znasz warianty uruchamiania Sparka, środowisko robocze Databricks i Unity Catalog, czyli katalog danych, w którym z jednego miejsca nadajesz uprawnienia i wyszukujesz tabele. Zespół pracuje na wspólnych, kontrolowanych danych zamiast na rozproszonych kopiach.
• Przekształcasz duże zbiory w PySparku i Spark SQL - Dodajesz i przeliczasz kolumny, filtrujesz, łączysz zbiory, agregujesz i zapisujesz wyniki, także gdy dane są zagnieżdżone, np. zamówienie z listą pozycji w jednym rekordzie. Zapytania budowane dynamicznie obsługują jedną kwerendą wiele wariantów, np. kolejne miesiące albo oddziały.
• Budujesz jezioro danych w architekturze Medallion - Jezioro danych to jedno repozytorium na dane surowe i przetworzone. Zapisujesz je w formatach JSON, Parquet i Delta i układasz w warstwy: od danych surowych, przez oczyszczone, po gotowe do raportów.
• Piszesz kod, który zespół łatwo utrzyma - Dzielisz pracę na notatniki, czyli pliki z kodem uruchamianym krok po kroku, nadajesz im parametry, korzystasz z narzędzi dbutils i przekazujesz wynik jednego notatnika do kolejnego. Ten sam kod obsługuje różne dane bez kopiowania.
• Automatyzujesz przepływ danych od surowych plików po gotowe tabele - Dobierasz typ i ustawienia klastra, czyli zestawu maszyn liczących, nadajesz dostęp programistom i łączysz kolejne kroki przetwarzania w workflow, który uruchamia cały przepływ jako jedną całość.
• Przyspieszasz wolne zadania - Wiesz, jak dzielą się pracą driver, czyli proces koordynujący, i executory, które liczą dane, czym różni się transformacja od akcji i jak zoptymalizować plan wykonania kodu. Widzisz, dlaczego jedna wersja zadania liczy się dłużej niż inna.
• Szybko znajdujesz przyczynę błędu - W Spark UI, czyli panelu podglądu zadań, śledzisz przebieg procesów i zużycie zasobów, a w szczegółach błędów i logach widzisz, który krok się zatrzymał i dlaczego.

Jak pracujemy

Szkolenie ma formę warsztatów: kolejne bloki materiału przeplatają się z ćwiczeniami, w których sam piszesz kod na danych projektowych. Dostajesz przygotowane środowisko w chmurze, więc nic nie instalujesz na swoim komputerze. Prowadzi Dawid Grześków, inżynier danych, który na co dzień pracuje ze Sparkiem i Databricks w chmurze Azure oraz buduje hurtownie i jeziora danych.

Dla kogo

Dla inżynierów danych, analityków i programistów, którzy przetwarzają duże zbiory danych albo przenoszą przetwarzanie na Apache Spark i Databricks.

Wymagania wstępne: podstawowa znajomość SQL, Pythona i Gita oraz konto w serwisie GitHub. Znajomość technologii chmurowych nie jest obowiązkowa, ale się przydaje. Wcześniejsze doświadczenie ze Sparkiem i Databricks nie jest potrzebne.

Co zyskujesz

Po szkoleniu samodzielnie budujesz przepływ danych w Apache Spark: od wczytania surowych danych, przez przekształcenia i zapis w jeziorze danych, po automatyczne uruchamianie i diagnozę wolnych zadań. Termin gwarantowany odbywa się na pewno, nie odwołamy go z powodu małej grupy. Otrzymujesz też imienny certyfikat ukończenia szkolenia.

Zarezerwuj miejsce i przetwarzaj duże zbiory danych w Apache Spark i Databricks, od pierwszego przekształcenia po zautomatyzowany i zoptymalizowany przepływ danych.

Sprawdź, czy w Twoim przypadku dostępne jest finansowanie szkolenia ze środków BUR/KFS. Dostępność finansowania zależy od warunków danego programu oraz decyzji właściwej instytucji. Więcej informacji: https://jsystems.pl/dofinansowanie/

Prowadzący szkolenie

Dawid Grześków

Specjalista IT z pięcioletnim doświadczeniem w środowisku danowym. W swojej karierze przeszedłem przez budowanie narzędzi wewnętrznych, analitykę oraz tworzenie systemów raportowych. Aktualnie pracuje jako Inżynier Danych, gdzie Spark i Databricks stanowią moje główne narzędzia pracy.

Na co dzień pracuje z technologiami chmurowymi na platformie Azure. Programuje w Pythonie, SQL oraz Sparku. Tworzę modele, hurtownie oraz jeziora danych. Integruję rozwiązania DevOps z procesami biznesowymi. Tworzę zaplecza całych platform i rozwijam procesy integracyjne.

Projekty w których brałem udział to m.in.:

Posiadam doświadczenie pracy w międzynarodowych firmach, gdzie wspierałem zespoły w przyswajaniu wiedzy procesowej oraz narzędziowej. Jako praktyk, wychodzę z założenia, że tylko praktyczne szkolenia dają satysfakcjonujące efekty.

Program szkolenia

Przeczytaj na naszym blogu