Zasobnik GCS#
Połącz zasobnik GCS, podając jego ścieżkę, docelowy schemat i opcje plików. Źródło zapisuje tabele wykryte w plikach JSON, CSV lub Parquet w schemacie titan.{schema_name}.
Połącz zasobnik GCS#
Otwórz Aplikacje, wybierz Połącz aplikację, a następnie Zasobnik GCS.
Wprowadź ścieżkę zasobnika, docelowy schemat i opcje plików.
Sprawdź tabele i zapisz źródło.
Obserwuj Historię synchronizacji, aż pierwsze uruchomienie się zakończy.
Dane uwierzytelniające są przechowywane jako sekrety. Nigdy nie stają się kolumnami jeziora ani nie pojawiają się w wynikach zapytań.
Sposób synchronizacji#
Każda wykryta grupa plików staje się tabelą. Wybierasz kolumnę identyfikatora, separator, opcjonalny wzorzec plików i opcjonalną kolumnę sortowania partycji. Użyj własnego wzorca, na przykład **/*.gz, gdy skompresowane pliki nie mają zwykłego rozszerzenia formatu. W przypadku źródeł partycjonowanych z dokładnością do sekundy synchronizacja przyrostowa ponownie odwiedza również partycję bezpośrednio poprzedzającą kursor. Takie ograniczone nakładanie pozwala przechwycić obiekty, które dotarły, gdy producent otworzył już następną partycję w porządku leksykograficznym. Przy stabilnej kolumnie identyfikatora operacje na wierszach pozostają idempotentne.
Nowe źródło synchronizuje się po połączeniu, a następnie zgodnie z harmonogramem. Domyślny interwał cykliczny wynosi 4 godziny. Przerwane uruchomienie zachowuje ukończone postępy i jest bezpiecznie ponawiane.
Każda tabela jeziora ma też kolumny systemowe _synced_at i _deleted; poniższa dokumentacja kolumn obejmuje wyłącznie kolumny źródłowe.
Dokumentacja tabel#
Supernova wykrywa tę strukturę na połączonym koncie. Odczytuje nagłówki i próbki ze skonfigurowanego prefiksu zasobnika. Powstała dokumentacja kolumn zależy od znajdujących się tam plików.
Po pierwszym wykrywaniu otwórz Aplikacje → Zasobnik GCS → Tabele, aby zobaczyć dokładne nazwy tabel i kolumn, typy oraz wybór synchronizacji. Pól dynamicznych nie można rzetelnie wymienić przed połączeniem konta.
Usunięcia i historia#
Wiersze są scalane według klucza źródłowego. Gdy źródło może potwierdzić usunięcie wiersza, Supernova zachowuje go i ustawia _deleted, dzięki czemu zapytania mogą zdecydować, czy uwzględniać historię. Aby pobierać bieżący stan, filtruj zapytania przez where not _deleted.