Przetwarzanie danych w dużej skali

Przetwarzanie danych w dużej skali. Niezawodność, skalowalność i konserwacja systemów. Wydanie II

Czego się nauczysz?

Analizowania kompromisów między systemami transakcyjnymi (OLTP) a analitycznymi (OLAP)
Definiowania wymagań niefunkcjonalnych: opóźnień, niezawodności, skalowalności i konserwowalności
Dobierania modeli danych i języków zapytań: relacyjnych, dokumentowych i grafowych
Projektowania schematów analitycznych typu gwiazda i płatek śniegu oraz oceny normalizacji i denormalizacji
Stosowania event sourcingu i CQRS w architekturze systemów danych
Dobierania silników przechowywania i indeksów: B-drzew, LSM oraz indeksów wielokolumnowych
Wykorzystywania baz kolumnowych i chmurowych hurtowni danych do analityki na dużą skalę
Projektowania wyszukiwania pełnotekstowego oraz indeksów wektorowych dla zastosowań AI
Wybierania formatów kodowania danych i podejść do ewolucji schematów (JSON, Avro, Protobuf)
Projektowania przepływów danych między usługami: REST, RPC oraz architektur sterowanych zdarzeniami
Implementowania i porównywania strategii replikacji: z jednym liderem, wieloma liderami i bez lidera
Planowania shardingu, trasowania żądań oraz radzenia sobie z hot spotami i indeksami pomocniczymi
Rozumienia izolacji transakcji, sekwencyjności i problemów transakcji rozproszonych (2PC)
Diagnozowania typowych problemów systemów rozproszonych: awarii częściowych, sieci i zegarów
Stosowania pojęć spójności, liniowości i konsensusu oraz roli usług koordynacji
Projektowania przetwarzania wsadowego i strumieniowego, w tym ETL, CDC, łączenia strumieni i odporności na błędy

Zrozum systemy danych od fundamentów po architekturę na skalę globalną

Przetwarzanie danych w dużej skali stało się biblią w dziedzinie systemów rozproszonych. Niemal każdy poważny specjalista, jakiego znam, posiada jej egzemplarz.

Will Wilson, CEO, Antithesis

Ta książka powinna być lekturą obowiązkową dla inżynierów oprogramowania.

Kevin Scott, CTO, Microsoft

W erze chmury obliczeniowej, mikroserwisów i eksplozji danych każda nowoczesna aplikacja musi się mierzyć z wyzwaniami skalowalności, niezawodności i wydajności. Drugie wydanie kultowej książki Martina Kleppmanna, uzupełnione o współautorstwo Chrisa Riccominiego, to kompleksowy przewodnik po architekturze systemów danych od relacyjnych baz danych, przez rozproszone systemy NoSQL, po chmurowe hurtownie danych i przetwarzanie strumieniowe. Zaktualizowane wydanie uwzględnia najnowsze trendy: architekturę natywną dla chmury, indeksy wektorowe dla AI, silniki synchronizacji i oprogramowanie local-first.

Książka prowadzi czytelnika przez cały ekosystem systemów danych od modeli przechowywania i indeksowania danych, przez replikację i sharding, po transakcje rozproszone i algorytmy uzgadniania konsensusu. Autorzy nie ograniczają się do opisu narzędzi tłumaczą, dlaczego systemy działają tak, a nie inaczej, i jakie kompromisy kryją się za każdą decyzją architektoniczną. Osobne rozdziały zostały poświęcone przetwarzaniu wsadowemu i strumieniowemu, filozofii systemów sterowanych zdarzeniami i etycznym aspektom pracy z danymi osobowymi.

W książce:

Modele danych i języki zapytań
Silniki przechowywania danych
Replikacja, sharding i transakcje
Systemy rozproszone
Przetwarzanie wsadowe i strumieniowe
Architektura natywna dla chmury
Etyka i prawo