Згідно з концепції індексації, прийнятої Google, враховується повнота, об'єктивність інформації та відповідність її пошуковому запиту при видачі результатів. Якщо у індексацію потрапляє сайт з незаконним контентом, або ж ресурс призначений для спаму сторінки такого сайту не будуть помічені у загальній базі пошукової системи. Нам же важливо дізнатися, як видалити сайт з видачі сервера за результатами пошуку.
Варіанти нульовою індексації Google
Як тільки пошуковий робот – програма збору інформації про нових ресурсах - просканує сайт посторінково, то, при відповідності вимогам політики Google щодо парсинга, він буде проіндексований. Але ми також розповімо, як видалити свій сайт або окремі фрагменти для пошукових систем допомогою robots.txt – покажчика і одночасно обмежувача пошуку.
Щоб виключити з видачі ресурс цілком, в кореневій папці сервера, на якому розташований сайт, створюється певна текстова зона – згаданий robots.txt. Цю зону обробляють пошукові машини і діють, згідно з прочитаним інструкцій.
Майте на увазі, що пошукова система Google індексує сторінку, навіть якщо для користувача доступ до перегляду заборонений. Коли браузер видає відповідь 401 або 403 «Доступ недійсний», то це стосується лише відвідувачів, а не програм-збирачів для цього пошукового сервера.
Щоб зрозуміти, як видалити сайт з пошукової індексації в текстовий покажчик слід вписати такі рядки:
User-agent: Googlebot
Disallow: /
Це вказує пошуковому роботу на заборону для індексування вмісту сайту. Ось як видалити сайт Google, щоб останній не кэшировал ресурс в список виявлених.
Варіанти сканування для різних протоколів
Якщо вам потрібно перерахувати окремі стандарти зв'язку, для яких ви хотіли б застосувати особливі правила щодо індексації Google, наприклад, окремо для гіпертекстових протоколів http/https, це також потрібно прописати в robots.txt таким шляхом (приклад).
Більше:
Що означає смайл "мавпочка з закритими очима" і в яких ситуаціях його використовувати?
Інтернет відіграє величезну роль у нашому житті. За допомогою нього можна знайти практично будь-яку потрібну інформацію. У 21-му столітті ми навіть спілкування слабо уявляємо без підключення до Мережі. Мобільні оператори постійно нарікають на втрату ...
Як у "ВК" видалити сторінку через телефон? Поради, етапи
До недавнього часу, щоб назавжди видалити сторінку "ВК" потрібно було зробити запит в техпідтримку із зазначенням причини або вчинити дію, що суперечить політиці "ВКонтакте". Останній спосіб призводить до блокування профілю і подальшого видалення. Ал...
Наталія Ящук. Хто вона? Блогер, вайнер або телеведуча?
Користувачі інтернету напевно бачили смішні відеоролики, звані вайнами. У мережі їх на сьогодні тисячі. Роблять їх абсолютно різні люди, і сюжети теж різноманітні. Так ось, один з авторів таких роликів - неймовірна Наталія Ящук! Хто ж вона, ця усміхн...
(http://yourserver.com/robots.txt) – доменне ім'я вашого сайту (будь-яке)
User-agent: * - для будь-якої пошукової системи
Allow: / - дозволити повну індексацію
Як видалити сайт з видачі повністю для протоколу https
(https://yourserver.com/robots.txt):
User-agent: *
Disallow: / повна заборона на індексування
Термінове видалення URL - адреси ресурсу з пошукової видачі Google
Якщо ви не хочете чекати повторної індексації, і сайт потрібно сховати якомога швидше, рекомендую скористатися сервісом http://services.google.com/urlconsole/controller. Попередньо robots.txt вже повинен бути розміщений у кореневому каталозі сервера сайту. У ньому повинні бути прописані відповідні інструкції.
Якщо покажчик з якихось причин не доступний для редагування в кореневому каталозі, достатньо створити його в тій папці з об'єктами, для яких потрібно приховування від пошукових систем. Як тільки ви зробите це і зверніться на сервіс автоматичного видалення гіпертекстових адрес, Google не буде сканувати папки, які прописано в вилучити robots.txt.
такий Період невидимості встановлюється на 3 місяці. Після закінчення цього терміну каталог, вилучений з видачі, знову буде оброблений сервером Google.
Как видалити сайт для сканування частково
Коли пошуковий бот читає вміст robots.txt, то на підставі його вмісту приймаються певні рішення. Припустимо, вам потрібно виключити з показу весь каталог з назвою anatom. Для цього достатньо прописати такі інструкції:
User-agent: Googlebot
Disallow: /anatom
Чи, приміром, ви хочете, щоб не індексувалися всі картинки типу .gif. Для цього додайте наступний список:
User-agent: Googlebot
Disallow: /*.gif$
Ось ще один приклад. Нехай потрібно видалити з парсинга інформацію про динамічно генеруються сторінках, тоді додаємо в вказівник запис типу:
User-agent: Googlebot
Disallow: /*?
Ось так, приблизно, і прописуються правила для пошукових систем. Інша справа, що набагато зручніше для всього цього використовувати тег META. І веб-майстра частіше використовують саме такий стандарт, що регулює дію пошукових систем. Але про це ми поговоримо в наступних статтях.
Article in other languages:
AR: https://tostpost.com/ar/internet/11464-google.html
Alin Trodden - автор статті, редактор
"Привіт, Я Алін Тродден. Я пишу тексти, читаю книги і шукаю враження. І я непогано вмію розповідати вам про це. Я завжди радий брати участь у цікавих проектах."
Новини
Як заощадити на онлайн-покупки? Дізнайтеся, як працюють промокоди
Онлайн-шопінг з кожним днем стає все більш популярним, його ази вже досить-таки добре освоїли і інтернет-користувачі з Росії та країн СНД. Погодьтеся, це дуже зручно: не виходячи з дому, вибрати вподобану річ, тут же оплатити поку...
Як без праці знайти схожу картинку?
Складання презентацій, написання різного роду робіт, колажі - все це вимагає пошуку зображень на задану тему. Досить часто виникає ситуація, коли потрібно взяти задане зображення і знайти схожу картинку, але, наприклад, без водяни...
Зараз ми розберемося з питанням про те, що собою представляють відкриті порти. У цьому питанні варто розібратися, якщо трафік Інтернету починає «раптово йти» у невідомість. Насамперед, слід подивитися, де, яка програма...
Де і як знайти людину по імені та прізвища
Розвиток інтернет-технологій дозволяє вирішувати важливі завдання. Динаміка сучасного життя зобов'язує людей, які бажають досягти успіху, йти в ногу з часом. В мережі Інтернет люди шукають інформацію, щоб відповісти на ті чи інші ...
Веб-студії: рейтинг, послуги по створенню і просуванню сайтів, відгуки
Як можна вибрати гідну веб-студію, не спираючись на відгуки знайомих, особливо якщо порадити нікому? Навіть якщо перелопатити весь Інтернет або оголосити тендер на біржі фрілансерів, все одно немає гарантії, що ви отримаєте якісни...
Як придумати крутий нік для хлопця в Мережі
Сучасний профіль у соціальних мережах, на форумах або нік в грі - це практично другий паспорт, за яким в сукупності з аватаром ви сприймаєтесь оточуючими. Тому підходити до вибору нікнейму потрібно серйозно, враховуючи багато нюан...
Примітка (0)
Ця стаття не має коментарів, будьте першим!