В рекомендациях по созданию сайтов указан такой элемент, как карта сайта, или sitemap.
Его назначение — облегчить поисковым роботам индексацию вашего сайта.
В нём указываются те страницы сайта, которые вы хотите проиндексировать (бывают страницы, индексация которых не нужна, или они устарели, и их надо удалить из поисковой выдачи).
Так вот, вопрос: при современном развитии поисковых роботов и алгоритмах определения актуальности страниц — нужен ли вообще sitemap, как по-вашему?
тэги:
индексация сайта,
сайт,
сайтостроение
категория:
компьютеры и интернет
ответить
комментировать
в избранное
2 ответа:
старые выше
новые выше
по рейтингу
1
Gertrude
[52.7K]
1 неделю назад
Нужен.
Без него, конечно, тоже можно обойтись, но индексация сайта будет в разы дольше. У меня стоит сайтмап от гугла, фирменный, и благодаря ему новые страницы попадают в индекс гугла за несколько часов. Без него надо будет либо загонять каждую новую в индекс руками, либо ждать, когда поисковик сам сообразит. А если сайт новый или не очень посещаемый ил с маленькой внешней базой ссылок, ждать можно и полгода.
Фейсбук, как и прочие соцсети может обойтись без него (хотя я не уверена, что у него нет карты сайта — то, что стандартный её адрес выдаёт ошибку, не значит, что её совсем нет — она может располагаться по другому адресу или не использовать вообще стандартные способы её формирования). Соцсетям не очень нужен трафик из поисковой выдачи, особенно таким раскрученным, как фейсбук.
гугл и Яндекс — сами поисковики, зачем им индексировать самих себя?
А вот для сайта, который не хочет себе бан за то, что чей-то робот своровал у него контент и тот проиндексировался раньше, надо иметь карту сайта.
автор вопроса выбрал этот ответ лучшим
в избранное
ссылка
отблагодарить
SergT72
[5.3K]
Что мешает своровать карту сайта до того, как на неё попал поисковик, раз уж этот процесс может занять от нескольких часов до полугода? И где гарантия, что ворованная карта сайта не будет проиндексирована раньше оригинальной? Ну и самое главное: как роботу отличить ОРИГИНАЛЬНЫЙ сайт от ворованного? Думаете, sitemap в этом как-то поможет? Это можно гарантировать только криптографическими методами, но использование шифрования в sitemap стандартами не предусмотрено.
— 1 неделю назад
Gertrude
[52.7K]
сайтмап и не поможет отличить оригинал от ворованной копии. Он поможет быстрее проиндексировать контент — например статью. А у поисковика кто первый проиндексирован, тот и оригинал. (и воруют не сайтмап — нафиг он кому нужен — а контент).
Робот, когда заходит на сайт, идёт сначала в Роботс за указаниями и Сайтмап за ссылками на контент, что надо индексировать в первую очередь. А потом уже идёт гулять по другим ссылкам.
Как я уже говорила, гугл с картой индексирует новый контент за 2-6 часов. А без неё может и полгода не индексировать.
— 1 неделю назад
SergT72
[5.3K]
Я не совсем верно выразился — под ворованной картой сайта в моём сообщении следует понимать весь его контент. Попробуйте прикинуть, что будет в этом случае.
— 1 неделю назад
Gertrude
[52.7K]
Весь контент опять же не воруют (обычно). Воруют отдельные новые страницы, и делают это другие роботы для автозаполняемых сайтов и сайтов автопереводов. Даже роботы понимают, что старые страницы могут быть неактуальны, а срач пользователей под статьёй никому не интересен.
Но даже если роботы унесут весь контент — в глазах поисковика будет оригинальным тот, который он найдёт первым и проиндексирует.
Если своруют уже проиндексированный контент с вашего сайта, то на чужом сайте он будет отмечен роботами как неоригинальный и не будет показываться в поисковой выдаче (или будет, но на позициях ниже, чем ваш контент)
— 1 неделю назад
SergT72
[5.3K]
Ну, в этом случае, возможно, в этом есть смысл.
— 1 неделю назад
комментировать
1
Андрей571
[74.7K]
1 неделю назад
Конечно нужен! Если у вас есть свой сайт, подключите его к Вебмастеру Яндекса и увидите, что вам будут постоянно напоминать об отсутствии данного файла. Этот файл помогает работе поисковиков: дело в том, что каким-бы развитие роботов не было, они не могут посетить голову владельца сайта и посмотреть, какие страницы он хочет индексировать, какие для него являются важными, как часто их обходить, а какие можно вообще игнорировать. И не только страницы, но и изображения.
Именно для этой цели служит данный файл: он показывает роботам, что вы хотите от них, что они должны по вашему мнению делать. А дальше уже поисковик сам разберётся…
в избранное
ссылка
отблагодарить
SergT72
[5.3K]
Знаете, я по их собственным рекомендациям попытался посмотреть их собственный yandex.ru/sitemap…
Полюбопытствуйте, не поленитесь.
Если же лень — я вам отвечу: ошибка 404.
Это значит, что яндекс не следует собственным рекомендациям.
Нету sitemap и у хабра, и у фейсбука, и у гугла.
Это к вопросу о том, насколько он нужен.
А вот в том, что поисковик сам разберётся — я с вами согласен. Крупным поисковым системам с их ресурсами проще за годы сделать достаточно продвинутый алгоритм обхода всех страниц сайта, чем надеяться на веб-мастеров студенческих сайтов, авось они не забудут заполнить sitemap.
— 1 неделю назад
Андрей571
[74.7K]
Очень жаль, что вы не поняли смысл ответа и к тому же новичок в этом деле.
Внимательно читайте, что такое ошибка 404: страница не существует, хотя более правильно — не найдена (Not Found)! Вдумайтесь в смысл этих слов: не найдена, не существует, но по указанному вами адресу! Т.е. это не значит, что такой страницы нет. Страница есть, но она расположена не по этому адресу!
Дело в том, что по некоторым довольно важным причинам на многих сайтах данную страницу прячут куда-нибудь подальше в папку, а то и глубже (в несколько вложенных папок). Именно поэтому вы и не нашли данную страницу на некоторых сайтах.
Кроме того, подумайте сами: зачем поисковику данный файл? Он что, сам себя будет искать? То же касается Гугла.
— 1 неделю назад
Андрей571
[74.7K]
И не стоит слепо рассуждать на темы типа "продвинутый алгоритм поисковиков …": откройте справочную систему Яндекса, там всё подробно описано. Могу даже дать ссылку:
https://yandex.ru/support/webmaster/indexing-options/sitemap.html#sitemap
А вот обходить все подряд страницы как раз очень невыгодно ни поисковику, не владельцу сайта.
— 1 неделю назад
SergT72
[5.3K]
Я теряюсь в догадках: вы вообще читали то, что я написал в вопросе и комментариях? Насчет что написано у яндекса — тема отдельная, на том же хабре приведены многочисленные примеры расхождений с самим собой в написанном у яндекса в разных местах.
Вот эта ссылка про сайтмап как раз и была отправной точкой моего вопроса.
"обходить все подряд страницы как раз очень невыгодно ни поисковику, не владельцу сайта" — "не стоит слепо рассуждать", и как там у вас дальше. Поисковые роботы ИМЕННО ЭТИМ и занимаются, это их единственная функция. Да, иногда, на некорректно или очень сложно написанных сайтах их поведение может сбоить, но роботы эволюционируют столько, сколько существует яндекс, поиск и индексация — это их хлеб! Поэтому алгоритмы совершенствуют, и в конечном итоге индексация сайта роботом получается гораздо быстрее и безошибочнее, чем вручную владельцем сайта.
— 1 неделю назад
Андрей571
[74.7K]
Ещё раз вам повторю: ваши рассуждения абсолютно ошибочны. Но это ваше дело, я не собираюсь вас переубеждать. Если даже инструкции Яндекса для вас ничего не значат, какой смысл тогда вообще о чём-то говорить? Т.е. сам поисковик — это ерунда, а вот диванные специалисты какого-то там хабра — это авторитет! Потрясающе!
Тогда нет смысла о чём-то разговаривать…
— 1 неделю назад
Андрей571
[74.7K]
Кстати, вам и Gertrude пытается тоже самое сказать, но вам это тоже не нравится! Вы просто хотите услышать не то, что есть на самом деле, а подтверждение тому, что вы где-то прочитали. Я работаю много лет с сайтами, знаю об этом не понаслышке, но ответы специалистов вам явно не нужны… Тогда какой смысл вообще задавать вопрос?
— 1 неделю назад
SergT72
[5.3K]
Э-э-э… Ну ок, вы один "работаю много лет с сайтами". Тогда объясните, как так вы в одном предложении превозносите программистов яндекса и тут же по сути представляете их безрукими дебилами.
1) "Если даже инструкции Яндекса для вас ничего не значат" — это как раз о профессионализме яндекса, этакая апелляция к высшему разуму.
2) "Именно для этой цели служит данный файл: он показывает роботам, что вы хотите от них" — это как раз о безруких дебилах.
Мне представляется, что второй тезис надо чуть-чуть разъяснить.
Если вы не хотите индексировать страницы сайта — просто не делайте их! На крайняк не делайте на них ссылок с других страниц, если эта изолированная страница зачем-то нужна только лично вам.
— 1 неделю назад
SergT72
[5.3K]
Если же вы выкладываете в интернет контент, который хотите донести до максимального количества людей — то в ваших интересах ПРОИНДЕКСИРОВАТЬ страницы, где он содержится, чтобы именно ВАШ сайт оказался в поисковой выдаче, а не те, кто украл с него контент (кстати, упомянутая вами Гертруда об этом и писала).
Так вот, поисковые роботы умеют достаточно многое, и во всяком случае, не затруднятся перейти по внутренним ссылкам на другие страницы вашего сайта и обработать их. А вы же фактически утверждаете, что их создатели из Яндекса за 20-летний период так и не смогли научить этому своих роботов!
Вы уж либо крестик снимите, либо трусы наденьте.
Вот поэтому я не вижу причин, почему я должен доверять диванному эксперту на большом вопросе больше, чем собственному опыту и тем рассуждениям (не моим), которые с этим опытом согласуются.
— 1 неделю назад
Андрей571
[74.7K]
Потрясающе! А вы когда-нибудь слышали про технические страницы сайта, которые просто не нужно индексировать? Но это ладно, возможно это сложно.
Но вот продолжать беседу смысла не вижу. И вообще, зачем было задавать вопрос, если вас реальное положение дел не интересует, а нужно только подтверждение собственных иллюзий? Оставайтесь сними, это ваше право! Никто вам ничего доказывать не собирается. Тем более, что судя по комментариям, вы всё поняли как-то превратно… А уж последний абзац говорит о многом! Обычно такую белеберду пишут тогда, когда нечего сказать.
Всего доброго!
— 1 неделю назад
SergT72
[5.3K]
У-у-у… И это таки вы мне пишете про иллюзии… Вы когда-нибудь слышали про noindex? Вы когда-нибудь слышали о том, что архитектуру надо продумывать заранее, чтобы не было потом костылей в виде страниц, которые "не надо индексировать"?
"И эти люди запрещают нам ковыряться в носу!"
— 1 неделю назад
Андрей571
[74.7K]
SergT72, не пытайтесь что-то из себя строить — нет смысла. Я столько сделал сайтов и столько написал скриптов, что вам и не снилось. По вашим ответам я прекрасно вижу, что вам сказать-то, в принципе, нечего, но очень хочется. Но это ваше дело, мне как-то от этого не жарко, не холодно. Я вам дал абсолютно правильный ответ, а уж то, что он вам не понравился — это сути не меняет: ответ верный. Напишите в поддержку Яндекса и получите такой же ответ.
Ещё раз всего доброго. Учите матчасть, но не по хабру, а по правильным источникам, например, инструкциям Гугла или Яндекса.
— 1 неделю назад
SergT72
[5.3K]
Ой, я вас умоляю. Вы отец рунета, не меньше. И меня знаете не меньше четверти века, ага. Собственно, последнее предложение ваш уровень выдало с головой.
Как вы правильно заметили, мне от ваших понтов ни холодно, ни жарко, и мериться с вами я не собираюсь. Хотите пребывать на собственноручно воздвигнутом пьедестале из обломков хтмл — ради бога, всего вам доброго, гугл в помощь.
— 1 неделю назад
SergT72
[5.3K]
Автор ответа просто перефразирует вопрос и добавляет свою "единственно верную" точку зрения, и отвергает факты, что в неё не вписываются.
Это вариант поведения, характерный для религиозных фанатиков.
— 1 неделю назад
Андрей571
[74.7K]
Простите, SergT72, но это как раз вы пытаетесь протолкнуть своё мнение, при этом ставя под сомнение информацию, которую дают поисковики, т.е. те, кто и требует этот файл для правильной индексации сайта.
Но как я уже говорил, это ваше дело, мне как-то безразличен ваш "минус": это только доказывает несостоятельность вашей "теории" и неспособность привести какие-то реальные аргументы.
— 1 неделю назад
все комментарии (еще 9)
комментировать