Jak usunąć stronę lub jego poszczególne fragmenty z indeksu Google

Według koncepcji indeksowania, przyjętej przez Google, uwzględnia się pełnia, obiektywizm informacji i dopasowanie jej do wyszukiwanego hasła przy wydawaniu wyników. Jeśli w indeksacji trafia stronę za nielegalne treści, lub zasób przeznaczony do spamu, to strony tego serwisu nie zostaną oznaczone w ogólnej bazie danych wyszukiwarki. Dla nas ważne jest, aby dowiedzieć się, jak usunąć stronę z wydawania serwera w wynikach wyszukiwania.

Opcje zero indeksowania Google

Jak tylko robot ó program zbierania informacji o nowych zasobach - skanuje stronę strona po stronie, przy zgodności z wymaganiami polityki Google w odniesieniu do analizowania, będzie indeksowane. Ale możemy również powiedzieć, jak usunąć swoją stronę lub poszczególne fragmenty do wyszukiwarek poprzez robots.txt ó wskaźnik i jednocześnie ogranicznika wyszukiwania.

Aby wykluczyć z wydania zasób w całości, w folderze głównym serwera, na którym znajduje się strona internetowa, tworzona jest pewna tekstowa teren ó o którym mowa robots.txt. Tę strefę przetwarzają wyszukiwarki i działają według czytać instrukcje.

Należy pamiętać, że wyszukiwarka Google проиндексирует stronę, nawet jeśli dla użytkownika dostęp do przeglądania zabroniony. Gdy przeglądarka daje odpowiedź 401 lub 403 «Dostęp jest nieprawidłowy», to dotyczy tylko użytkowników, a nie programów-zbieraczy dla tego wyszukiwania serwera.

Aby zrozumieć, jak usunąć stronę z wyszukiwarki indeksowania tekstu indeks należy wpisać takie polecenia:

User-agent: Googlebot

Disallow: /

To wskazuje wyszukiwarki, by na zakaz indeksowania całej zawartości serwisu. Oto jak usunąć stronę Google, aby ten ostatni nie кэшировал zasobu na liście zgłoszonych.

Opcje skanowania dla różnych protokołów

Jeśli chcesz wymienić poszczególne standardy komunikacji, dla których chcesz zastosować specjalne zasady w odniesieniu do indeksowania Google, na przykład, oddzielnie dla hipertekstowe protokołów http/https, to również trzeba się zarejestrować w robots.txt w następujący sposób (przykład).

Bardziej:

Co to jest strona www, jak ona powstaje i jest ładowany? Co zrobić, jeśli strona jest niedostępna?

Każdy użytkownik globalnej sieci jest zaznajomiony z takim pojęciem, jak "strona". Jest to zasób internetowy, który ma swój własny adres, nazwę, właściciela i składa się z dużego (albo i nie) ilości stron internetowych. To właśnie na nich znajdują si...

Mln.mts.ru - rozwód czy nie? Mln.mts.ru: opinie

Abonentów operatora «MTS» nie tak dawno temu, jeszcze jesienią ubiegłego roku, przychodzili kuszące wiadomości SMS. W nich zawiera informacje o tym, że każdy chętny, który otrzymał powiadomienie, może, wysyłając sms na krótki numer, szans...

PayPal: co to jest, jak posługiwać się, jak skonfigurować? Opinie o systemie płatności PayPal

Wśród wielu elektronicznych systemów płatniczych, istniejących w internecie, apart jest największą i niezawodna ó PayPal. Co to jest "ПэйПэл" i jak z niego korzystać, czy płatności są w pełni chronione? U większości ludzi to nie budzi wątpliwo...

(http://yourserver.com/robots.txt) – nazwa domeny witryny (dowolnym)

User-agent: * - dla dowolnej wyszukiwarki

Allow: / - pozwól pełnej indeksacji

Jak usunąć stronę z wydawania całkowicie dla protokołu https

(https://yourserver.com/robots.txt):

User-agent: *

Disallow: / całkowity zakaz indeksowania

Pilne usuwanie adres URL zasobu w wyszukiwarkach Google

Jeśli nie chcesz czekać do ponownego indeksowania, a stronę trzeba ukryć jak najszybciej, polecam korzystać z serwisu http://services.google.com/urlconsole/controller. Wstępnie robots.txt już powinien być umieszczony w katalogu głównym serwera serwisu. Powinny być w nim określone instrukcje.

Jeśli indeks z jakiegoś powodu nie jest dostępny do edycji w katalogu głównym, wystarczy go utworzyć w folderze z obiektami, dla których wymagane jest ukrywanie od wyszukiwarek. Jak tylko zrobisz to i zwrócić się do serwisu automatycznego usuwania hipertekstowe adresów, Google nie będzie skanować foldery, które jest napisane w odepnij robots.txt.

Czas taka niewidzialność jest zainstalowany na 3 miesiące. Po upływie tego okresu katalog, po cofnięciu wydania, znowu będzie przetwarzany przez serwer Google.

DoAk usunąć stronę do skanowania częściowo

Kiedy wyszukiwania bot czyta zawartość robots.txt to na podstawie jego treści podejmowane są pewne decyzje. Załóżmy, że trzeba wykluczyć z pokazu cały katalog z nazwą anatom. Aby to zrobić, wystarczy zarejestrować takie instrukcje:

User-agent: Googlebot

Disallow: /anatom

Albo, na przykład, chcesz, aby nie индексировались wszystkie zdjęcia typu .gif. Do tego należy dodać następującą listę:

User-agent: Googlebot

Disallow: /*.gif$

Oto jeszcze jeden przykład. Niech chcesz usunąć z analizowania informacji o dynamicznie generowanych stronach, wtedy dodajemy w indeks wpis typu:

User-agent: Googlebot

Disallow: /*?

Tak, mniej więcej, i są napisane zasady dla wyszukiwarek. Inna sprawa, że to o wiele wygodniejsze dla tego użyć tag META. I webmasterzy coraz częściej korzystają właśnie taka norma, która reguluje działanie wyszukiwarek. Ale o tym porozmawiamy w takich artykułach.