Allegro Tech Live #34 - Cloud: duże dane = duży problem?
Allegro Tech Live to w 100% zdalna odsłona naszych stacjonarnych meetupów Allegro Tech Talks. Zazwyczaj spotykaliśmy się w naszych biurach, ale tym razem to my zagościmy u Was :) A więc usiądźcie wygodnie na kanapie, zaopatrzcie się w ulubiony napój i odpalcie nasz live stream.
Temat wydarzenia: Cloud: duże dane = duży problem?
Data: 16.02. (czwartek)
Godz: 18:00 - 19:40
Online: Na Facebooku i Youtube Allegro Tech
Opis spotkania: "On data we rely"- to jedno z haseł bliskie społeczności Allegro Tech, ale wykraczające daleko poza technologię i dotykające wszystkich obszarów naszej firmy. Zanim jednak zaczniemy wierzyć w dane musimy nauczyć się je przetwarzać. W tym odcinku skupimy się właśnie na tym i to nie byle gdzie, bo w dwóch popularnych chmurach publicznych: Microsoft Azure i Google Cloud Platform.
W pierwszej prezentacji posłuchamy o aspekcie, który od czasu do czasu dotyka każdego inżyniera, a mowa o migracjach danych. Na przykładzie Azure Cosmos DB, Paweł Piwowarczyk opowie nam jak wyglądał ten proces w Allegro Pay.
Druga prezentacja skupi się na ważnym aspekcie pracy z chmurą - kosztach. Kuba Demianowski opowie nam jak szybko i tanio przetwarzać dane w Apache Spark, Google Dataflow i Google BigQuery.
AGENDA
18:00 - 18:10 - Rozpoczęcie
18:10 - 18:55 - Paweł Piwowarczyk - Migracje danych w świecie Azure Cosmos DB
18:55 - 19:40 - Jakub Demianowski - Szybko i tanio - Twój pipeline Big Data
19.40 - Zakończenie
Zachęcamy do zadawania pytań w komentarzach na Youtube lub czacie na Facebooku!
Opisy prezentacji:
Paweł Piwowarczyk - Migracje danych w świecie Azure Cosmos DB
Migracje danych nie są częstym zadaniem programistycznym, jednak od czasu do czasu przychodzi ten moment, w którym zespół nie ma już innego wyjścia i podejmuje się tego, często dość traumatycznego, zadania. Zmiana struktury danych, zmiana technologii, błędna konfiguracja, wymagania HA, itd.
Z przerwą techniczną czy bez? W nocy czy w dzień? A co z rollbackiem? Z jakich narzędzi skorzystać? Czy wszystko zmigrowaliśmy? Czy dane są poprawne?
Bazując na doświadczeniach prowadzenia takich projektów w Allegro Pay, postaram się opowiedzieć Wam o tych i innych aspektach migracji, a przy okazji pokazać Wam rozwiązania, które sami wykorzystaliśmy. Wszystko to w świecie Azure Cosmos DB, ale do zastosowania również w innych technologiach.
Jakub Demianowski - Szybko i tanio - Twój pipeline Big Data
Spojrzenie okiem inżyniera na to, w jaki sposób można zoptymalizować przetwarzania danych, aby były szybkie i tanie. Co to znaczy szybkie i tanie? Jak to zrobić? O tym opowiemy podczas prezentacji przedstawiając przykłady strategii optymalizacji pipelinów w Apache Spark, Google Dataflow i Google BigQuery.
Pokażemy różne drogi do osiągnięcia tego samego - wydajnego pipeline'u przetwarzającego dane. Zaczynając od zmian w kodzie, przechodząc poprzez zmiany parametrów silnika, aż po dostosowanie typu procesora.
W spotkaniu udział wezmą:
Paweł Piwowarczyk - Principal Software Engineer w Allegro Pay Development (zespół platformowy). W codziennej pracy zajmuje się dostarczaniem rozwiązań platformowych oraz wsparciem zarówno technicznym jak i na poziomie designu rozwiązań dla zespołów realizacyjnych. Programista i inżynier oprogramowania z ponad 10-letnim doświadczeniem, głównie w aplikacjach biznesowych osadzonych w stosie technologicznym .NET. Pasjonat czystego kodu, dobrej architektury, czytelnych testów i refaktoryzacji kodu legacy. Prywatnie tata 3 dzieci, zapalony sim-racer (głównie F1, GT7, ACC), uwielbia sporty zimowe - szczególnie snowboard i splitboard, biega za piłką i śmiga na rowerze.
Jakub Demianowski - Senior Software Engineer w zespole Data Engineering and Governance. Zadaniem tego zespołu jest dostarczanie rozwiązań z zakresu przetwarzania, udostępniania oraz wyszukiwania danych. Dbamy o to, aby nasi inżynierowie oraz analitycy mogli w łatwy sposób dostarczać sprawdzone dane do swoich odbiorców oraz aby dostarczane dane były łatwe do odnalezienia przez konsumentów. Fan języków opartych na JVM, Big Data oraz wspinaczki sportowej.
Spotkanie poprowadzi Kamil Sobolewski - Lider zespołu technicznego odpowiedzialnego za pozyskiwanie płatnego ruchu z wykorzystaniem narzędzi takich jak Google Ads czy Facebook Ads. W pracy (z różnym skutkiem) walczy z przekleństwem założeń. Prywatnie fan Formuły 1 i właściciel dwóch kotów - chociaż relacja właścicielstwa nie jest tutaj taka oczywista.
Do zobaczenia!