Как оптимизировать вызовы на сайте.

[Екатерина Мамаева]

Добрый день! Иногда к нам поступают вопросы, почему на сайте большое количество вызовов и как его сократить. В связи с этим, мы решили, предоставить вам алгоритм действий, который нужно применять в этом случае.

Если Вы не знаете, что такое вызовы, то ознакомьтесь, пожалуйста, со статьёй в нашем блоге

Сначала посмотрите количество вызовов в административной панели сайта: Отчеты › Сервисная статистика > Детализация по платным вызовам и также в Отчеты › Детализация по методам.

Если вам кажется, что вызовов слишком много, попробуйте выполнить следующие действия:
1. Закрыть индексацию в административной панели, вот тут: Продвижение - Поисковая оптимизация > Настройка индексирования поисковыми системами, и устанавливаем:
Запрет индексации главной страницы (частично) - Индексировать
Запрет индексации списков товаров в категориях - Не индексировать
Запрет индексации списков товаров в брендах - Не индексировать
Запрет индексации карточки товара - Не индексировать

2.Проверьте файл robots.txt.
Файл robots.txt должен иметь вид:
User-agent: *
Disallow: /*p=item
Disallow: /item
Disallow: /*p=category
Disallow: /category
Disallow: /*p=subcategory
Disallow: /subcategory
Disallow: /*p=search
Disallow: /search
Disallow: /*p=search_ajax
Disallow: /search_ajax
Disallow: /*p=vendor
Disallow: /*p=reviews
Disallow: /reviews

#Disallow: /category*from=*
#Disallow: /subcategory*from=*

#Sitemap: http://site.ru/sitemap.xml
#Host: site.ru

Чтобы изменить файл нужно:
а. Зайти в корневую папку на хостинге.
b. Найти файл robots.txt.
c. Заменить текст.

3. Проверьте логи на хостинге, с каких IP самый большой трафик, проверить что это за IP.
Если много вызовов производят поисковые боты, то их нужно забанить.

Чтобы проверить логи нужно:
а. Найти файл с логами на хостинге (либо обратиться в тех.поддержку хостинга с просьбой показать, где этот файл).
b. Проверить трафик. Если какой-то IP дает большую нагрузку, то необходимо проверить, что это за IP, и забанить его.

Забанить по IP адресу можно в файле .htaccess Для этого пропишите там следующее правило:
Deny from 38.99.82.34( вместо 38.99.82.34 - вставьте нужный IP)


Пример проверки IP адреса:
Как узнать, кто скрывается за IP? Потенциальный покупатель или поисковый бот?
Проверить ip можно тут https://2ip.ru/geoip/. Если это Америка, то скорее всего это боты.
Или когда у вас 1 миллион запросов страниц сайта с одного ip - сразу ясно, что это не человек.
Если у вас ОХ (Ответственный Хостинг), то наши специалисты сами проверят, нужно только написать заявку в саппорт http://support.otcommerce.com.

4.Если на вашем сайте есть кастом, то проверьте его. Возможно, какой-то из методов неверно сделан и “тянет” лишние вызовы.

Как это проверить:
а. В административной панели сайта (Отчеты - Биллинг - Детализация по методам) смотрим каких вызовов аномально много.
b. Ищем в кастоме вызов этого метода.
c. Исправляем кастом.


Можно ли определить, что много вызовов на сайте делают именно люди?
Ответ: Нет, с нашей стороны нет способа, чтобы вычислить, что это именно люди делают вызовы, а не боты. Если Вы хотите минимизировать расходы, то для этого есть методы:
1. Показ каталога/товара, только зарегистрированным пользователям. Это радикально снижает число просмотров.
2. Блокировка всех поисковых ботов. Сильно снизит, возможен обход такой защиты, но смысла в этом особо нет.
3. Установка капчи, "на сайт в целом". Есть готовые скрипты, их можно найти в интернете.

Все 3 способа могут существенно снизить просмотры, но у всего есть обратная сторона. В данном случае это позиции, а точнее их отсутствие в поисковых системах. Если этот параметр для вас не является важным, то вы можете реализовать любой из 3-х вариантов или даже комбинированный.

Например, если применить первый вариант, то сервисный платёж снизится, но тогда может возникнуть ситуация, что покупатель открывает карточку товара, а там пусто или нет ничего или старая информация о товаре. Это обратная сторона медали. Т.е. этот метод с одной стороны минимизирует расходы, а с другой стороны в потенциале сильно снизит доходы.

Есть еще вариант. Можно приобрести мобильное приложение, например WebView. И в данном случае WebView сайт блокируете для просмотра всеми, кроме мобильного приложения. Продвигаете мобильное приложение. Там не будет ботов и каких-то левых просмотров.
================================================================================================
Если Вы используете только Ключ (API), то все вышеперечисленные пункты также являются актуальными, за исключением пунктов 1 и 2. При использовании только Ключа, запрещать индексацию нужно в коде вашего сайта.

[Екатерина Мамаева]

How to optimize the calls on the site.

Sometimes our clients ask us questions, why they have so many calls on their sites and how they can be reduced. In this connection, we decide to make an algorithm, what you should do to reduce the number of calls.

If you what the call is, then you should read the article about it in our blog

First of all you need to check the number of calls in the admin panel: Reports › Service statistics > Calls detalization and Reports › Methods detail.

If you think, that you have too much the calls number, try to use the following steps:

1. Close indexing in admin panel here: Promotion › SEO > Configuring indexing by search engines and set such settings:
Prohibition on indexing the main page (partially) - Index
Prohibition on indexing of goods lists in categories - Do not index
Prohibition on indexing of goods lists in brands - Do not index
Prohibition on indexing of product page - Do not index

2. Check robots.txt file.
Correct robots.txt file must look like this:
User-agent: *
Disallow: /*p=item
Disallow: /item
Disallow: /*p=category
Disallow: /category
Disallow: /*p=subcategory
Disallow: /subcategory
Disallow: /*p=search
Disallow: /search
Disallow: /*p=search_ajax
Disallow: /search_ajax
Disallow: /*p=vendor
Disallow: /*p=reviews
Disallow: /reviews

#Disallow: /category*from=*
#Disallow: /subcategory*from=*

#Sitemap: http://site.ru/sitemap.xml
#Host: site.ru

To change this file you need:
a.go to the root folder on your hosting.
b.find robots.txt file.
c.change the text.

3.Check the log on the hosting, and from which IP addresses you get the biggest traffic, and check these IP addresses.
If search engine bots make a lot of calls, then they must be blocked.

To check the log you need to make the following steps:
a.find the file with the log on your hosting (or you can write in the hosting support with request to show you where this file is).
b.check the traffic. If some IP address gives a great number of calls, this IP must be checked and blocked.

To block using IP address you can in this file: .htaccess. You need to find there this rule:
Deny from 38.99.82.34(instead 38.99.82.34 – write the necessary IP address)

The example of checking IP address:
How to know what does this IP address mean? Is it a potential customer or a search engine bot?
For example, you can check IP address here https://2ip.ru/geoip/ If this IP address from US, most likely it’s a search engine bot.
Or if you have one million of calls from one IP address, that tells you, it’s not a person.
If you have OX (OT Commerce Hosting), our specialists check it by themselves. You just need to write a ticket in our support http://support.otcommerce.com.

4. If your site has a customization, in this case you need to check it. Probably, some of the methods was made incorrect, and it makes too many calls.

How you can check it:
a.go to the admin panel (Reports – Billing – Methods detail) and check from what method you get too many calls.
b.find in your customization the call of this method.
c.correct the customization.

Is it possible to determine many calls on the site are made by real people?
Answer: No, there isn't any way on our side to figure out that it is real people who make calls and not search engine bots. If you want to minimize costs, then there are methods for this:
1. Showing a catalog / product detail page, only to registered users. This drastically reduces number of views.
2. Blocking all search engine bots. It will greatly reduce, it's possible to bypass such protection, but there isn't much sense in it.
3. Installing captcha, "on the site as a whole." There are ready scripts, you can find it in the internet.

All 3 ways can significantly reduce views, but everything has a downside. In this case, these are positions, or rather their absence in search engines. If this parameter isn't important for you, you can implement any of these 3 options or even a combination of them.

For example, if you apply the first option, service payment will decrease, but then may happen a situation, when a customer opens a product detail page, and there is nothing there or there is old information about the product. This is the reverse side of the coin. I.e. this method, on the one hand minimizes costs, and on the other hand potentially it greatly reduces income.

There is one more option. You can purchase a mobile app such as WebView. And in this case, WebView site is blocked for viewing by everyone except the mobile application. Promote the mobile app. There will be no bots and some left views.
================================================================================================
If you use only our Key (API), all above-listed points are applicable, except points 1 and 2. In this case you need to forbid indexation in the code of your site.