Начать новую тему

Файл Robots.txt

Здравствуйте. Подскажите, как отредактировать файл Robots.txt? Или как загрузить его в корень сайта, если он там отсутствует?

Здравствуйте!

Спасибо за ваше обращение.

Файл robots.txt находится во всех магазинах Мерчиума по умолчанию и не доступен для редактирования пользователям Мерчиума.  Содержимое данного файла вы можете увидеть, открыв следующую ссылку: http://mystore.mymerchium.ru/robots.txt, где mystore.mymerchium.ru - доменное имя вашей витрины. Не могли бы вы нам пояснить, зачем вы хотите отредактировать содержимое данного файла?

Спасибо.

Для поисковиков. Нужно убрать страницы аккаунтов, регистрации, корзины, результатов поиска и фильтров, чтобы избежать дублированных страниц на сайте.

Выдержка из помощи Яндекса: 

"запретите в robots.txt индексирование страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, страницы с результатами поиска, сайты-зеркала, документы на нераспространенных в рунете языках"

Спасибо за ваш ответ.


Ссылки на страницы и соответственно сами страницы регистрации, учетной записи, корзины, оформления заказа, отложенных товаров и другие, которые могут вызывать дублирование страниц на сайте, не индексируются поисковыми роботами. Дело в том, что для этих элементов используется тег rel со значением nofollow. Значение nofollow запрещает поисковой системе переходить по ссылкам на данной странице или по конкретной ссылке.


До того как появилась возможность использовать атрибут nofollow для отдельных ссылок, требовалось предпринимать специальные меры, чтобы запретить роботам переходить по отдельным ссылкам на странице (например, URL таких ссылок приходилось блокировать с помощью robots.txt), а сейчас этого делать не нужно.


К данному сообщению мы прикрепили снимок экрана, который показывает использование атрибута nofollow для страницы регистрации.


Надеемся, что данная информация окажется полезной для вас.


Спасибо.

nofollow.png
(98.7 KB)

Спасибо за ответ. Еще вопрос: картинки товаров индексируются?

@Shishkovandrei,


Здравствуйте.


Мы изучили данный вопрос более детально и хотели бы принести извинения за некорректный ответ об индексации изображений товаров в Мерчиуме. Данные изображения корректно индексируются поисковыми роботами. 


Для улучшения процесса индексации мы рекомендуем заполнять поле Альтернативный текст, которое доступно в секции загрузки изображений. Вы также можете увидеть его на прикрепленном снимке экрана. 


Приносим извинения за некорректную информацию, предоставленную ранее. Данное сообщение было удалено, чтобы не дезинформировать пользователей форума.


Спасибо. 

Спасибо за ответ. Я его и прочитать не успел))) Насчет альтернативного текста я понял. Описания изображений прописываются в теге "альт". С картинок может идти много трафика, поэтому я задал этот вопрос. Это важно.

@Shishkovandrei,


Спасибо за предоставленную информацию. Действительно, вы задали очень важный вопрос, и данная информация будет также полезна другим пользователям форума. Спасибо, что подняли данную тему.


Если у вас будут какие-либо вопросы в будущем, пожалуйста, обращайтесь. 

Добрый день!

Как добавить в robots.txt :


Sitemap: http://www.yyy.ru/sitemap.xml

Host: www.yyy.ru


? В текущем robots.txt ссылки на sitemap и указания на главное зеркало нет.


@udobnaya.pokupka,


Здравствуйте! Спасибо за ваш вопрос.


Данный файл недоступен для редактирования администраторам магазина в Мерчиуме, и добавить данные строки в файл robots.txt нельзя. Если вы считаете, что данная функциональность должна быть изменена или дополнена, мы будем благодарны, если вы опишете данную идею в разделе Новые идеи нашего форума.


Будет ли то или иное новшество реализовано, напрямую зависит от того, насколько оно полезно большому числу владельцев магазинов на Мерчиуме. Поэтому, описывая новую идею, пожалуйста, добавьте своё видение того, как она повысит продажи и/или снизит издержки у магазинов на Мерчиуме.


Заранее спасибо за ваши идеи и помощь. 


"Если вы используете описание структуры вашего сайта в формате sitemaps.xml, и хотите, чтобы робот узнал о ней, укажите путь к sitemaps.xml в качестве параметра директивы 'Sitemap' (если файлов несколько, укажите все)"


http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#sitemap


иначе какой смысл от sitemap?


и как иначе указать главное зеркало, кроме как редактировать robots.txt?


насколько я вижу, в robots.txt нет каких то особенных записей, чтобы пользователь мог что-то испортить. почему нет возможности редактировать robots.txt?

@udobnaya.pokupka,


Спасибо за ваш ответ.


Такова архитектура Мерчиума: администратор магазина не может изменять файл robots.txt. Это сделано в том числе в целях безопасности, обеспечения стабильной работы магазина, включая индексацию поисковыми системами, и для облегчения процесса обновления магазинов.


Отметим, что, чтобы сообщить Яндексу или другим поисковым системам о существовании файла Sitemap, существуют также другие способы. Например, вы можете указать URL файла Sitemap в разделе Файлы Sitemap сервиса Яндекс.Вебмастер.


Подробнее о данной возможности вы можете узнать в следующих статьях:


https://support.google.com/webmasters/answer/183669?hl=ru&ref_topic=4581190

https://help.yandex.ru/webmaster/indexing-options/sitemap.xml#notify-about


Что касается копий, их также можно зарегистрировать в соответствующих разделах сервисов Яндекс.Вебмастер и Google Инструменты для веб-мастеров. Подробнее об этом вы можете узнать в следующих статьях:


https://help.yandex.ru/webmaster/indexing-options/main-mirror.xml

http://site-creater.ru/kak-ukazat-yandex-i-google-na-glavnoe-zerkalo-sajta/

http://seo-mayak.com/seo-prodvizhenie/poiskovye-sistemy/kak-ukazat-poiskovym-sistemam-yandeks-i-google-na-glavnoe-zerkalo-sajta.html


Надеемся, данная информация окажется полезной для вас.


Спасибо.

добрый день! Часть страниц по данным в google и semrush.com (во вложении скрин оттуда) блокируются. Подскажите, в чем может быть дело? 

@Пользователь,


Здравствуйте!


Насколько мы видим, страницы, ссылки которых представлены на скриншоте, проиндексированы поисковиком Google и отображаются при поиске вашего сайта без проблем. Несмотря на это, мы передали информацию о проблеме нашим разработчикам для более детального рассмотрения. Мы свяжемся с вами, как только появятся результаты.


Спасибо.

@Пользователь,


Здравствуйте!


Спасибо за ожидание.


Если в вашей учетной записи Google Инструменты для веб-мастеров подтверждается информация о недоступных страницах вашего магазина, пожалуйста, предоставьте нам соответствующие снимки экрана, чтобы мы могли изучить проблему более детально. Подробнее о работе с файлами sitemap в вашей учетной записи Google Инструменты для веб-мастеров вы можете узнать из следующих статей:


https://support.google.com/webmasters/topic/4581190?hl=ru&ref_topic=4581352


Как упоминалось выше, насколько мы видим, страницы, упомянутые в отчете, корректно проиндексированы. Пожалуйста, взгляните на прикрепленный снимок экрана. Кроме того, мы проверили ряд адресов из предоставленного отчета на следующих ресурсах, и нам не удалось воспроизвести проблему:


https://www.xml-sitemaps.com/se-bot-simulator.html

http://web-sniffer.net/


Спасибо.


Войдите, чтобы опубликовать свой комментарий