Rodzimy silnik SQL lakehouse do lokalnej pracy z danymi o wysokiej wydajności
Platforma DeltaForge uruchamia natywny silnik SQL, który odczytuje i zapisuje pliki Delta Lake i Apache Iceberg na jednej maszynie, dostarczając doświadczenie lakehouse na laptopie. DeltaForge, narzędzie użytkowe skoncentrowane na Windows od DeltaForge, łączy zapytania SQL, analitykę grafową, indeksowanie geospatialne i pochodzenie w jednym procesie. Skierowane jest do inżynierów danych i analityków, którzy potrzebują suwerenności danych i niższych kosztów operacyjnych, szczególnie w środowiskach, gdzie uruchamianie pełnych klastrów lub środowisk uruchomieniowych opartych na JVM jest niepraktyczne.Co robi platforma i jak zastępuje stosy klastrowe
Platforma implementuje natywny silnik SQL dla formatów Delta Lake i Apache Iceberg, eliminując zależności od Sparka i uruchamiania JVM. Wykonuje operacje SQL, takie jak MERGE, podróże w czasie i wektory usunięcia bezpośrednio na lokalnym magazynie, a także oferuje algorytmy grafowe i funkcje geospatial H3 w tym samym procesie. Taki projekt zastępuje wdrożenia lakehouse z wieloma usługami, konsolidując zapytania, grafy i obciążenia geospatial w jednym wykonywalnym działającym na hoście Windows.
Jak wpływa na zasoby systemowe podczas lokalnych uruchomień
Unikając Sparka i JVM, platforma zmniejsza pamięć i obciążenie obliczeniowe związane z klastrowymi stosami, co obniża tzw. podatek klastrowy. Natywny model procesu jest przeznaczony do wdrożeń jednego egzemplarza lub samodzielnie hostowanych na komputerach stacjonarnych, prywatnych chmurach lub centrach danych. Taka architektura sprawia, że wykorzystanie zasobów zależy od sprzętu hosta, więc wydajność skaluje się z lokalnym CPU, dyskiem I/O i dostępną pamięcią RAM, a nie zdalną pojemnością klastra.
Bezpieczeństwo, poprawność danych i mechanizmy weryfikacji
Poprawność danych jest zapewniana przez niezależną warstwę weryfikacyjną, która wykonuje dwukierunkowe kontrole zgodności z wynikami Apache Spark, zapewniając weryfikację zgodności arytmetycznej. Platforma również wyprowadza wbudowaną linię danych bezpośrednio z plików SQL, dzięki czemu transformacje można śledzić z powrotem do SQL, który je wygenerował. Te zachowania zapewniają audytowalność dla środowisk, w których pochodzenie i deterministyczne wyniki mają znaczenie.
Kompleksowość operacyjna i kto może ją obsługiwać
Platforma instalowana jest na Windowsie za pomocą winget, Chocolatey lub MSI, a także dostępna jest jako kontener Docker i przez obraz w Azure marketplace. Taki zakres opcji wdrożeniowych wspiera zarówno lokalne użycie na komputerach stacjonarnych, jak i samodzielnie hostowane instalacje w przedsiębiorstwie. Narzędzie skierowane jest do inżynierów i analityków; jego konsolidacja wielu obciążeń w jeden proces redukuje zarządzanie systemem rozproszonym, ale użytkownicy powinni mieć doświadczenie w formatach magazynów i planowaniu zasobów hosta, aby uzyskać przewidywalne wyniki.
Praktyczna rekomendacja dla inżynierów, którzy potrzebują samodzielnie hostowanego lakehouse
Platforma DeltaForge odpowiada zespołom, które wymagają lokalnej kontroli nad danymi Delta i Iceberg i chcą uniknąć utrzymywania klastrów. Oczekuj wydajności związanej z twoją maszyną: przetestuj duże obciążenia na reprezentatywnym sprzęcie przed przejściem do produkcji. Zalecane. Użyj oddzielnego zestawu danych testowych i przeprowadź kontrole weryfikacyjne w odniesieniu do podstawy Spark przed przełączeniem krytycznych potoków na platformę.
