DataForSEO vs API tylko do linków: co zmienia się w twoim potoku w R

Błąd, który kosztuje najwięcej w tego typu potoku

Większość potoków zawodzi z powodu kosztów, a nie kodu. Pętla wywołująca endpoint raz dla każdego wierszam zamienia tani proces w drogi.

W CranSEO koszt wywołania jest taki sam dla 10 wierszy czy 1000, więc zasada się odwraca: żądaj największej dostępnej strony. Ustaw per na 1000, sortuj według potrzeb i przestań paginować, gdy pytanie zostanie odpowiedziane.

Głęboka paginacja jest ograniczona do 50 000 wierszy, co jest funkcją dla analityków skłonnych do pobrania wszystkiego. Jeśli domena ma więcej linków niż ta liczba, prawdopodobnie wolisz toppages lub anchors.

Porównaj wydatki swojej starej pętli z wersją jednokrotnego wywołania przed świętowaniem. Czasami oszczędność wynosi zero, ponieważ stary dostawca już rozliczał za żądanie.

Błędy, ponowne próby i awarie, które można zaplanować

To właśnie w momentach awarii pipeline’u opartego wyłącznie na linkach i szerszego pipeline’u wyglądają najbardziej podobnie. Kod bywa tam niedokończony. Uwzględnij ścieżki awarii w porównaniu, ponieważ decyzja między Dataforseo a rozwiązaniem link-only wygląda inaczej, gdy uwzględnimy błędy.

HTTP 401 i HTTP 402 to dwa kody, które należy obsłużyć

Najważniejsze są dwa kody statusu. HTTP 401 oznacza, że klucz jest nieobecny lub błędny, a rozwiązanie leży w konfiguracji, a nie w danych. HTTP 402 oznacza, że saldo kredytów się wyczerpało, a rozwiązanie to doładowanie ze strony konta, a nie zmiana w kodzie.

Zapisz oba przypadki jako wyraźne gałęzie. Ogólne przechwycenie błędu, które pochłania kod statusu i zapisuje pustą tabelę, jest przyczyną cichego częściowego pobrania danych.

Time-outy i pliki częściowe

Time-out to nie kod statusu, więc Twój własny kod musi traktować go jako awarię. Zawiń wywołanie tak, aby time-out zatrzymał działanie przed zapisaniem jakichkolwiek danych wyjściowych.

Zapisuj do pliku tymczasowego i zmieniaj jego nazwę po sukcesie. Półzapiski plik, który wygląda na kompletny, to najgorszy wynik przerwanej operacji, ponieważ nikt nie ma zwyczaju go kwestionować.

Ponowne próby i tempo

Na tej stronie nie podano liczby żądań na sekundę, więc dobierz wielkość pipeline’u na podstawie liczby wywołań w cyklu. To liczba, która napędza koszty, i to ona jest pod Twoją kontrolą.

Ponawiaj tylko błędy sieciowe, z przerwą między próbami. Nigdy nie ponawiaj próby dla 401 lub 402, ponieważ każde z nich zakończy się tym samym błędem przy kolejnej próbie.

Gdzie znajduje się klucz podczas testów

Przechowuj klucz w zmiennej środowiskowej na swoim komputerze oraz w magazynie sekretów CI, nigdy w pliku odczytywanym przez testy. Działania darmowe nie wymagają klucza, więc pierwsze uruchomienie testów jest bezpieczne dla każdego, kto sklonuje projekt.

Zadaj to samo pytanie każdemu pipeline’owi, którym się zajmujesz: kto może odczytać klucz i gdzie jest on zapisany? Klucz pojawiający się w pliku logów to wyciek, nawet jeśli sam notes jest prywatny.

Logowanie kosztu każdego wywołania

Każda odpowiedź z uwierzytelnionego wywołania zawiera pole credits, które pokazuje koszt i pozostałe saldo. Skopiuj je do logu obok znacznika czasu i nazwy akcji, aby pytanie o koszt można było odpowiedzieć na podstawie pliku, a nie pamięci.

Przeglądaj logi raz w miesiącu, a nie raz w roku. Powolny wzrost kosztu w cyklu łatwo przeoczyć na wykresie, ale jest oczywisty w kolumnie liczb.

Nieudana operacja również powinna zostawić po sobie log z kodem statusu i krokiem, w którym nastąpiło zatrzymanie. Log, który odnotowuje tylko sukcesy, ukrywa kluczową informację.

Liczenie wierszy na poszczególnych etapach

Wiele kosztownych błędów w pipeline’u to błędy liczenia. Tabela traci wiersze w złączeniu, filtrze lub deduplikacji, a wykres i tak wygląda wiarygodnie.

Zapisuj liczbę wierszy przy każdym przekazaniu danych

Traktuj pipeline’ jako łańcuch tabel: odpowiedź API, sparsowany tibble, zapisany plik i raport. Liczba wierszy przy każdym przekazaniu danych pokazuje, który etap utracił wiersze (jeśli w ogóle).

Analitycy często liczą wiersze tylko na końcu. Wtedy przyczyna znajduje się trzy etapy wcześniej, a tibble został już dwukrotnie przekształcony.

Jeden wiersz na domenę, jeden wiersz na link

Granularność zależy od akcji. Pobranie domen odsyłających zwraca jeden wiersz na witrynę odsyłającą, podczas gdy pobranie backlinków zwraca jeden wiersz na link, a jedna witryna może wysłać wiele z nich. Zliczenie na niewłaściwej granularności sprawi, że dwie poprawne liczby będą wyglądały na niespójne.

Umieść granularność w nazwie zapisanego pliku lub w komentarzu nagłówkowym, aby kolejna osoba nie musiała zgadywać. Glosariusz działań zawiera granularność każdej akcji.

Paginacja i sufit 50 000 wierszy

Paginacja za pomocą page i per działa do 5000 wierszy na stronę, ale głęboka paginacja zatrzymuje się na 50 000 wierszach. Pobranie oczekujące więcej niż ta liczba zostanie obcięte, a jego wynik może wyglądać na podejrzanie zaokrąglony.

Porównaj otrzymaną liczbę z oczekiwana całkowitą. Gdy się różnią, sprawdź akcję, sortowanie i rozmiar strony, zanim obwinisz źródło.

Przykładowe zliczanie

Załóżmy, że hipotetyczne pobranie zwraca liczby dla 30 docelowych domen i zwraca 30 wierszy z licznikami. Po połączeniu z wynikami oceny tabela zachowuje 27 wierszy. Trzy brakujące wiersze wymagają analizy przed narysowaniem jakiegokolwiek wykresu, zaczynając od ich kluczy.

Zapisz te trzy wiersze po nazwach, a nie tylko jako liczbę. Liczba mówi Ci, że wiersze zniknęły, a nazwy wskazują, które klucze należy wyczyścić.

Złączenia cicho usuwające wiersze

Left join zachowuje każdy wiersz z lewej tabeli, więc brakujący wynik pojawia się jako NA, a nie jako zniknięty wiersz. Inner join ukrywa ten sam problem, usuwając wiersz całkowicie.

Wybierz typ złączenia świadomie i policz wyniki NA po złączeniu. Ta liczba powinna znaleźć się w logu obok pola credits.

Krótki plan testowy przed przełączeniem

Uruchom oba źródła przez jeden cykl. Te same domeny, ten sam dzień.

Weź 30 domen, które dobrze znasz, pobierz liczby domen odsyłających od swojego obecnego dostawcy oraz z CranSEO i naniesij je na wykres w skali logarytmicznej. Powinieneś zobaczyć przybliżoną linię przekątną, a nie dokładną, ponieważ indeksy różnią się, a nasze odświeżają się około raz w miesiącu; DataForSEO, Ahrefs i Semrush widzą nieco inny internet.

Czytaj wartości odstające, nie średnią. Tam, gdzie nasza liczba jest znacznie niższa, sprawdź, czy domena jest nowa lub niedawno przeniesiona. Tam, gdzie jest znacznie wyższa, sprawdź subdomeny. Glosariusz definiuje, co zaliczamy do domen odsyłających, a runbook pokazuje, jak przechowywać oba pobrania obok siebie.