Co to jest soft 404?

Soft 404 (w Google Search Console „Pozorny błąd 404”) to strona, która wygląda jak błąd, bo jest pusta albo pokazuje komunikat „nie znaleziono”, ale serwer odpowiada kodem 200, jakby wszystko było w porządku. Najczęściej spotyka się go w sklepach: przy pustej kategorii, wyszukiwaniu bez wyników albo produkcie wycofanym z oferty. Google wyklucza takie adresy z wyników wyszukiwania, a Ty nie zobaczysz ich w żadnym raporcie błędów serwera, bo on sam żadnego problemu nie odnotował.

Co dokładnie oznacza soft 404?

Soft 404 to sprzeczność między kodem odpowiedzi a treścią strony: serwer zwraca kod z klasy 2xx (zwykle 200 OK), a treść sugeruje coś innego: strona jest pusta albo wyświetla komunikat o błędzie. Tak soft 404 definiuje dokumentacja Google Search Central. Słowo „soft” (pozorny, miękki) odróżnia go od zwykłego, twardego błędu 404, przy którym serwer sam zwraca kod 404, czyli „nie znaleziono”.

W praktyce przy twardym 404 przeglądarka, narzędzia i robot Google dostają tę samą informację. Przy soft 404 użytkownik widzi stronę błędu, a w logach serwera i narzędziach hostingu to samo żądanie wygląda na poprawnie obsłużone. Problem leży w treści, a nie w serwerze, dlatego nie znajdziesz go w statystykach błędów u dostawcy hostingu.

W raporcie „Strony” w Google Search Console soft 404 ma własny status „Pozorny błąd 404”, inny niż „Błąd 404”. Pomoc Search Console opisuje go tak: „Żądanie strony zwraca prawdopodobnie pozorną odpowiedź 404. Oznacza to, że wyświetla się przystępny komunikat »nie znaleziono«, ale bez kodu odpowiedzi HTTP 404”.

Jak Google wykrywa soft 404?

Robot Google pobiera stronę, renderuje ją i porównuje kod odpowiedzi z jej zawartością.

Dokumentacja Google wymienia trzy sygnały, które mimo pozytywnej odpowiedzi HTTP kończą się oznaczeniem soft 404: pusta strona, brak głównej treści i komunikat o błędzie. Google ocenia wyrenderowaną stronę, więc liczy się to, co robot zobaczył po wykonaniu skryptów. Jeśli listę produktów wczytuje JavaScript, a skrypt się wtedy nie wykonał, Google ocenia pusty szablon, choć Ty w przeglądarce widzisz pełną kategorię.

Drugi przypadek to przekierowanie na stronę niezwiązaną z usuniętym adresem. Gdy stary adres produktu prowadzi na stronę główną, Google nie znajduje tam odpowiedzi na potrzebę użytkownika i oznacza go jako soft 404, mimo że serwer poprawnie zwrócił najpierw 301, a potem 200. Ten sam efekt pojawia się masowo po zmianie domeny, gdy stare adresy przekierowane na stronę główną trafiają do tego samego kosza (zobacz, jakie błędy przy zmianie domeny psują pozycje).

Skutek jest zawsze ten sam: adres ze statusem „Pozorny błąd 404” nie trafia do indeksu, a jeśli już w nim był, wypada z wyników wyszukiwania.

Skąd biorą się soft 404? Przykłady

Soft 404 najczęściej dotyczy stron, które technicznie istnieją, ale straciły treść. W sklepie internetowym takie strony powstają same, bez niczyjej decyzji:

• Pusta kategoria. Kategoria sezonowa po wyprzedaży, założona na zapas albo taka, z której zdjęto ostatni produkt, nadal zwraca 200, a na stronie zostają nagłówek, menu i komunikat „Brak produktów w tej kategorii”. Tak samo działają puste kombinacje filtrów, o których piszemy we wpisie Crawl budget w sklepie internetowym.
• Wyszukiwarka wewnętrzna bez wyników. Strona wyników bez trafień pokazuje komunikat „Nie znaleziono produktów dla zapytania”, a serwer zwraca 200. Gdy takie adresy pojawią się w linkach albo w mapie witryny, robot je pobierze i oceni.
• Wycofany produkt. Produkt zniknął z oferty, ale jego adres nadal działa i pokazuje komunikat „Produkt niedostępny” albo pusty opis. Zobacz, co zrobić ze stroną wycofanego produktu, żeby uniknąć tego błędu.
• Przekierowanie na stronę główną. Usuniętą podstronę przekierowano kodem 301 na stronę główną zamiast na odpowiednik tematyczny.
• Własna strona 404 z kodem 200. Motyw albo serwer wyświetla przyjazny komunikat „Strona nie istnieje”, ale w nagłówku HTTP zwraca 200 zamiast 404. Taki błąd konfiguracji zamienia każdy twardy 404 w soft 404.
• Treść, której nie wczytał JavaScript. Sklep albo aplikacja ładuje produkty skryptem, który nie wykonał się, gdy robot renderował stronę; w aplikacjach jednostronicowych (SPA) to częsta przyczyna.
• Błąd techniczny z kodem 200. Gdy brakuje pliku dołączanego po stronie serwera albo zerwie się połączenie z bazą danych, strona pokazuje komunikat o błędzie, a serwer i tak odpowiada 200.
• Strona prawie pusta. Chodzi o szkic opublikowany przez pomyłkę, stronę z samym formularzem albo kategorię z jednym zdaniem zamiast treści.

Czy soft 404 szkodzi pozycjonowaniu?

Soft 404 nie jest karą od Google, ale strona z tym statusem nie pojawia się w wynikach wyszukiwania, więc traci ruch, który miała przynosić. W sklepie oznacza to, że kategoria pusta przez sezon wypada z indeksu, a po ponownym zatowarowaniu musi zostać zindeksowana od nowa.

Drugi koszt to budżet indeksowania: robot pobiera strony bez treści zamiast nowych albo zmienionych, a przy kilkuset pustych kombinacjach filtrów w sklepie oznacza to setki żądań, które nic nie wnoszą do indeksu.

Trzeci koszt jest najmniej widoczny: soft 404 nie zostawia śladu poza Search Console. W logach serwera i statystykach hostingu wygląda jak poprawne żądanie z kodem 200, a w Statystykach indeksowania na karcie „Według odpowiedzi” też liczy się jako OK (200), bo ta karta grupuje żądania po kodzie HTTP. Problem zobaczysz tylko w raporcie „Strony”.

Jak sprawdzić, czy strona to soft 404?

Listę adresów, które Google zaklasyfikował jako soft 404, znajdziesz w raporcie Strony w Google Search Console (Indeksowanie → Strony), w tabeli „Dlaczego strony nie są zindeksowane”, wiersz „Pozorny błąd 404”. Po kliknięciu wiersza zobaczysz adresy z datą ostatniego pobrania. Jeśli nie masz dostępu do raportu, zobacz Jak dodać użytkownika do Google Search Console?

Pojedynczy adres sprawdzisz w Inspekcji adresu URL, wklejając go w pasek u góry Search Console. Narzędzie pokazuje, czy „Adres URL jest w Google”, czy „Adres URL nie znajduje się w Google”, a przycisk „Wyświetl zindeksowaną stronę” otwiera HTML, który Google wyrenderował. Jeśli w tym podglądzie brakuje produktów, które Ty widzisz w przeglądarce, przyczyną jest najpewniej JavaScript (zobacz, czy Google widzi treść ładowaną przez JavaScript) albo zablokowane zasoby.

Kod odpowiedzi sprawdzisz też bez narzędzi Google. Polecenie curl -I z adresem strony pokazuje nagłówki odpowiedzi serwera, a kod odpowiedzi jest w pierwszej linii:

curl -I https://twoja-domena.pl/kategoria/pusta-kategoria/
HTTP/2 200

Jeśli strona pokazuje „Brak produktów” albo „nie znaleziono”, a zwraca kod 200, to z definicji jest soft 404 i nie musisz czekać na raport. Cały serwis sprawdzisz crawlerem, np. Screaming Frog SEO Spider, filtrując strony z kodem 200, których treść zawiera „nie znaleziono”, „brak wyników”, „brak produktów” lub „niedostępny”.

Jak naprawić soft 404?

Naprawa polega na usunięciu sprzeczności między kodem a treścią. Strona dostaje albo treść, która uzasadnia kod 200, albo kod zgodny ze stanem strony: 404, 410 lub 301. Wybór zależy od tego, dlaczego strona jest pusta.

Weźmy kategorię „Kurtki zimowe”, która po sezonie jest pusta. Jeśli kurtki wrócą jesienią, strona zostaje z opisem i kilkoma produktami polecanymi z kategorii nadrzędnej. Jeśli sklep rezygnuje z kurtek na stałe, a ma kategorię „Odzież zimowa”, stary adres dostaje przekierowanie 301 na nią. Jeśli odpowiednika nie ma, kategoria dostaje kod 410 i znika z menu.

Po naprawie w raporcie „Strony” kliknij „Sprawdź poprawkę” przy wierszu „Pozorny błąd 404”, a pojedynczy adres zgłoś w Inspekcji adresu URL przyciskiem „Poproś o zindeksowanie”. Google i tak sprawdzi adresy przy kolejnym pobraniu, a zgłoszenie tylko przyspiesza pierwszą wizytę robota. Ma przy tym dzienny limit i nie gwarantuje ponownego zindeksowania.

Jakie pojęcia wiążą się z soft 404?

• Błąd 404: odpowiedź serwera „nie znaleziono” z prawdziwym kodem 404; przeciwieństwo soft 404, przy którym serwer zwraca 200. Więcej we wpisie Co to jest błąd 404?
• 410 Gone: kod dla treści usuniętej celowo i na stałe; jedno z rozwiązań, gdy strona z soft 404 nie ma odpowiednika.
• Przekierowanie 301: stałe przeniesienie adresu na inny; naprawia soft 404 tylko wtedy, gdy cel odpowiada na tę samą potrzebę co stara strona.
• Tag noindex: znacznik meta robots, który mówi Google, żeby nie umieszczał strony w indeksie; z wartością follow robot nadal podąża za zawartymi na niej linkami.
• Budżet indeksowania (crawl budget): liczba żądań, które robot Google wykonuje w witrynie w danym czasie; strony z soft 404 zużywają go, nic nie wnosząc do indeksu.
• Renderowanie: etap, na którym Google wykonuje skrypty strony, żeby zobaczyć treść wczytywaną przez JavaScript. O różnicy między pobraniem strony a jej indeksowaniem piszemy we wpisie Crawlowanie a indeksowanie: czym się różnią?

FAQ

Źródła

• Google Search Central, „Pozorny błąd 404”: developers.google.com
• Google Search Central, „Rozwiązywanie problemów z indeksowaniem” (sekcja o błędach soft 404): developers.google.com
• Google Search Console, raport „Strony” (statusy „Pozorny błąd 404” i „Błąd 404”): support.google.com/webmasters
• Google Search Console, Inspekcja adresu URL: support.google.com/webmasters