Czy Google i ChatGPT widzą wszystkie Twoje lokale

Kupujący pyta już nie tylko Google

Kupujący wpisuje w ChatGPT albo Perplexity „mieszkanie trzypokojowe z ogródkiem w Gdańsku do 700 tys. zł” i dostaje kilka ofert z linkami. Twoja inwestycja jest w tej odpowiedzi tylko wtedy, gdy narzędzie mogło przeczytać Twoją stronę.

Stronę czytają boty, czyli programy, które same odwiedzają strony i zapisują ich treść. To, którym botom pozwalasz wejść, ustawiasz w pliku robots.txt. To zwykły plik tekstowy pod adresem /robots.txt, w którym piszesz, który bot może czytać które części strony.

Dwa rodzaje botów: wyszukiwarkowe i treningowe

Firmy od AI mają osobne boty do różnych zadań. To najważniejsza rzecz do zapamiętania.

• Boty wyszukiwarek. OAI-SearchBot pokazuje strony w wynikach wyszukiwania ChatGPT. PerplexityBot pokazuje i linkuje strony w wynikach Perplexity. Claude-SearchBot czyta strony, żeby poprawić wyniki wyszukiwania w Claude. Anthropic pisze wprost, że zablokowanie Claude-SearchBot może zmniejszyć widoczność Twojej strony w wynikach.
• Boty treningowe. GPTBot (OpenAI) i ClaudeBot (Anthropic) zbierają treści, które mogą posłużyć do trenowania modeli. Ich zablokowanie oznacza, że nie chcesz, by Twoje treści trafiały do trenowania.
• Wejścia na prośbę użytkownika. ChatGPT-User, Perplexity-User i Claude-User otwierają stronę, gdy ktoś w rozmowie poprosi o jej treść. OpenAI i Perplexity piszą, że robots.txt może ich nie dotyczyć, bo wejście zlecił człowiek.

OpenAI podkreśla, że każde ustawienie działa niezależnie. Możesz wpuścić OAI-SearchBot i zablokować GPTBot. Zmiana dla wyszukiwania w ChatGPT działa po około 24 godzinach.

Google ma do tego osobny znacznik Google-Extended. Decyduje on, czy treści ze strony mogą służyć Gemini do trenowania i do odpowiedzi. Według Google nie wpływa na obecność strony w wyszukiwarce Google ani na jej pozycję.

Mapa strony: lista wszystkich lokali

Mapa strony to plik z listą adresów, które chcesz pokazać wyszukiwarce. Google pisze, że pomaga przy dużych i nowych stronach, do których mało kto jeszcze linkuje. Nowa inwestycja to właśnie taki przypadek. Mapa nie gwarantuje, że każdy adres zostanie odczytany, ale bez niej lokal schowany głęboko w filtrach łatwo przeoczyć.

W mapie powinien być adres każdego lokalu, nie tylko strona główna i lista mieszkań.

Każdy lokal na osobnej stronie z ceną

Narzędzie AI odpowiada na pytanie o konkretne mieszkanie. Potrzebuje więc adresu, pod którym jest ten jeden lokal: metraż, piętro, liczba pokoi, cena. Jeśli wszystkie lokale siedzą w jednej tabeli albo w okienku otwieranym kliknięciem, nie ma czego podlinkować w odpowiedzi.

Cena musi być w treści strony. Google przetwarza JavaScript, ale strona czeka na to w kolejce, czasem dłużej niż kilka sekund. Google pisze też, że nie wszystkie boty uruchamiają JavaScript. Cena doczytywana dopiero skryptem może więc dla części botów nie istnieć.

Plik /llms.txt: propozycja, nie standard

Plik /llms.txt to krótki opis strony w zwykłym tekście, napisany dla narzędzi AI. Zaczyna się od nazwy, potem jest streszczenie i lista linków do najważniejszych stron. To propozycja opisana na llmstxt.org, a nie standard, którego używa Google. Warto go mieć, bo kosztuje niewiele, ale nie zastąpi mapy strony ani karty lokalu.

Co najczęściej blokuje widoczność

• robots.txt zamyka całą stronę. Jedna linijka Disallow: / dla wszystkich botów wystarczy. Google ostrzega przy tym, że zablokowany adres może i tak pojawić się w wynikach, tylko bez opisu.
• Strona została na adresie roboczym. Wersja robocza słusznie blokuje boty. Po podpięciu domeny sprawdź, czy ta blokada nie przeszła razem ze stroną.
• Ceny ładowane tylko skryptem. Kupujący je widzi, część botów nie.
• Lokale bez własnych adresów. Nie ma czego wpisać do mapy strony ani pokazać w odpowiedzi.

Jak to robi homiethings

• Plik /llms.txt na stronie inwestycji. Są w nim dane inwestycji i aktualne ceny lokali z panelu. Opis dla AI ustawiasz w panelu.
• Kontrola strony w panelu. Sprawdza, czy strona ma plik /llms.txt i czy ceny w nim zgadzają się z panelem. Pokazuje lokale, których w pliku brakuje.
• Boty pod kontrolą. Kontrola sprawdza, czy wyszukiwarki AI (OAI-SearchBot, PerplexityBot, Claude-SearchBot) mogą wejść oraz czy boty treningowe (GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended) są wpuszczone albo nie, tak jak to ustawiłeś. Przy każdej rzeczy widać, kto ma ją poprawić. Te poprawki robi homiethings.
• Świeży odczyt. Po każdej zmianie strony panel czyta ją od nowa, gdy otworzysz ekran kontroli.
• Adres roboczy. Przed podpięciem domeny strona celowo blokuje boty. Kontrola pokazuje wtedy „zablokowane celowo”.
• Karta każdego lokalu z ceną. Do tego w panelu statystyki GA4, Search Console i PageSpeed.