[  Зарегистрироваться  ]  Правила Справка Пользователи Сообщения за день Поиск Все разделы прочитаны Проекты Забыли пароль?

Вернуться   OpenTrade Commerce Forum > Платформа OpenTrade Commerce > Объявления

 
 
Опции темы Опции просмотра
Старый 14.12.2020, 16:50  Ссылка на сообщение   #1  
Алексей Сенилов is offline
Алексей Сенилов
Administrator
 
534 / 1094 (38) ++++++++
Регистрация: 12.01.2013
Описание работы новой системы Платформы ОТ / Description how OT Platform works on new system

Новая система называется таковой потому, что принципиально отличается от прежнего подхода к работе. Сперва вкратце сравним, как Платформа ОТ работала раньше (и пока еще работает сейчас), и как она работает в режиме новой системы.

Провайдерами мы называем источники товаров: Таобао, 1688, Алибаба, и т.д.

Ранее мы работали в режиме «трансляции», примерно по такой схеме:
Цитата:
клиенты -> OTAPI -> ... -> наши сервисы работы с провайдерами -> кэш -> провайдер
Жирным шрифтом помечен единственный активный инициатор любого действия - вы. Каждый ваш запрос, если он не попадал в кэш, приводил к запросу к самому провайдеру, с соответствующими затратами времени. Пока провайдеры работали нормально, особенно пока они не стали прикрывать свои API, такая схема была весьма продуктивна: запрашивается лишь то, что открывают посетители ваших сайтов, за относительно вменяемое время. Однако, со временем провайдеры стали прикрывать API, ужесточать правила, вводить блокировки, вплоть до того, что даже просто как обычному пользователю было не всегда возможно посмотреть их основные сайты, полистать товары, и так далее. Мы каждый раз как-то старались найти выход и почти всегда находили, как получить необходимую вам информацию. Но ввиду общего режима работы «трансляции», всё это сказывалось на времени каждого вашего запроса. А в моменты очередных нововведений со стороны провайдеров, скорость порой становилась невозможной, а то и вовсе прекращалась работа всех ваших сайтов.

Такая тенденция в итоге привела нас к мысли о создании иного подхода. К «новой системе». Примерная схема работы:
Цитата:
клиенты -> OTAPI -> ... -> хранилище данных <- сборщики данных с провайдеров <- провайдеры
Сразу можно отметить, что активных инициаторов стало два, вы и наши сборщики, работающие в фоновом режиме. Далее, есть центральное звено, хранилище данных: по вашим запросам из него выдается информация о товарах и не только, а сборщики в него добавляют и обновляют информацию. Таким образом, между вашим запросом и провайдерами нет прямой связи. Работа ваших сайтов не зависит напрямую от текущего состояния провайдера. Конечно же, ничего не бывает просто так, у всего есть своя цена, поэтому далее распишем подробнее о плюсах/минусах и принципах работы новой системы.

Плюсы новой системы:
  • Любые проблемы в работе провайдеров не приводят к замедлению или остановке работы ваших сайтов.
  • Поиск товаров идет исключительно по нашей базе, его скорость и функциональные возможности зависят только от нас. И они одинаковы на все провайдеры. Например, уже реализованы сортировка и фильтр по объему продаж, чего например нет в старом поиске по 1688. Поиск по фото пока что еще не реализован для новой системы, но работа над ним уже идет.
  • Раз скорость и функциональность зависят от нас, мы будем стараться по максимуму их реализовать. Текущая скорость работы новой системы возможно еще не идеальна, но уже точно быстрее, нежели ожидание запросов к провайдеру. А если например товар уже есть в нашей базе, он выдается почти моментально.
  • Мы можем быстрее решать проблемы работоспособности в случае их возникновения, так как работа системы теперь зависит только от нас, и не будет зависеть от провайдеров.
  • Мы можем проще подключать новые провайдеры, вне зависимости от их родной функциональности. Любой новый провайдер получит ровно ту же функциональность, что в целом имеется в нашей системе.

Минусы новой системы:
  • Если товара никогда еще не было в нашей базе, времени до его получения может пройти больше, нежели это было ранее. Однако, мы внедрили для этого возможность показа неполной информации о товаре, и сделали в Коробке автоматические повторы попыток получить товар, данная проблема нами максимально скомпенсирована для конечного посетителя сайтов. Рекомендуем обновиться до последних версий Коробки, или внедрить в свои сайты подобные механизмы, о чем будет пояснено отдельно.
  • В случае возникновения проблем с провайдером, уменьшается скорость обновления информации в нашей базе. В самом худшем случае перестает обновляться совсем. Но как и было описано выше, на работе ваших сайтов это практически не скажется: поиск продолжит работать, все имеющиеся товары продолжат открываться. Что дает нам время на поиски путей восстановления работы с провайдером.
  • В случае продолжительных по времени проблем с провайдерами покупателями могут создаваться заказы на основе неактуальных данных о товарах: изменение цен, конфигураций и другой информации, необходимой для совершения заказа.
Несмотря на наличие минусов, мы будем стараться их скомпенсировать, так как старая система в итоге будет полностью отключена.

Некоторые детали о внутренней работе новой системы:
  • Поиск товаров производится по нашей базе и по нашим алгоритмам, поэтому не имеет смысла сравнивать выдачу товаров с оригинальным сайтом провайдера. Выдача в любом случае будет отличаться, можно лишь оценивать её релевантность и актуальность.
  • Новая система имеет очередь товаров на получение и обновление, с разными приоритетами. Наиболее приоритетны новые открываемые товары и товары в корзинах.
  • Процесс проверки корзин ждет обновления товара, если его срок превысил 8 часов. Что гарантирует актуальность данных на момент оформления заказа.

И еще немного хочется рассказать про поиск, его текущие возможности и планы по развитию, так как теперь он полностью зависит от нас.
  • Поддерживается поиск по тексту, категории, продавцу.
  • Поддерживается сортировка (помимо базовой) по цене и объему продаж.
  • Поддерживается фильтр по цене, фильтр по наличию скидки, фильтр по объему продаж.
  • Поддерживается выдача уточняющих категорий с количеством товаров в каждой.
  • Поддерживаются фильтры по характеристикам, но пока нет выдачи возможных вариантов характеристик.
  • Поиск по фото пока продолжит работать в старом режиме.
  • Планируется сортировка и фильтр по рейтингу продавца.
  • Планируется выдача вариантов фильтров по характеристикам.
  • Планируется полноценная реализация поиска по фото.
  • Планируются некоторые фильтры, зависящие от провайдера. Например, только Tmall товары для провайдера Таобао, или максимальный размер партии товара для провайдера 1688.

=========================================

We called this system new because it is fundamentally different from the previous approach to work. First, let's briefly compare how OT Platform worked before (and still works now), and how it works on new system.

Providers are sources of goods (marketplaces): Taobao, 1688, Alibaba, etc.

Previously, we worked in the "broadcast" mode, approximately according to the following scheme:

Цитата:
Clients -> OTAPI -> ... -> our services to work with providers -> cache -> provider
The only active initiator of any action, you, is marked in bold.

Each of your requests, if they did not get into cache, led to a request to provider itself, with a corresponding time consumption. While providers were working steadily, especially until they began to block their APIs, this scheme was very productive: system requested for a relatively reasonable time only information that your website visitors opened. However, over time, providers began to block their API, tighten the rules and even limited an ordinary user to look at their main sites, browse products and so on. Each time we tried to find a way out and almost always found how to get the information you need. But in view of general mode of "broadcast" operation, all this affected time of each of your requests. And speed was impossible sometimes, or even stopped all your sites in the moments of next innovations from providers.

This tendency eventually led us to think about creating a different approach and integrating "new system".

Approximate scheme of work:
Цитата:
Clients -> OTAPI -> ... -> data storage <- data collectors from providers <- providers
It can be noted right away that there are two active initiators, you and our collectors working in the background.

Further, there is a central core, data storage: information about goods and more is issued from it at your request, collectors add and update information to it. Thus, there is no direct connection between your request and providers. Your sites do not directly depend on current state of provider. Of course, nothing is easy, everything has its own price, so further we will write details about advantages and disadvantages and operating principles of new system.

Advantages of new system:
  • Any problems with providers’ work do not slow down or stop your sites.
  • Goods are searched exclusively in our database, its speed and functionality depend only on us. And they are the same for all providers. For example, sorting and filtering by sales volume have already been implemented (it was absent in the old search for 1688). Search by photo was not implemented in new system yet, but we are working on it already.
  • Since speed and functionality are up to us, we will try to make the most of them. Current speed of new system may not yet be ideal, but it is definitely faster than waiting for requests to the provider. And if, for example, a product is already in our database, it is issued almost instantly.
  • We can solve operational problems faster if they arise, since system operation depends only on us now, and will not depend on providers.
  • We will be able to connect new providers easier, regardless of their native functionality. Any new provider will receive exactly the same functionality that is generally available in our system.

Disadvantages on new system:
  • If the product has never been in our database, it may take more time to receive it than it was before. However, we introduced ability to display incomplete information about the product, and made automatic repetitions of attempts to receive product in the Box, this problem was maximally compensated for the end visitor of the sites. We recommend updating your websites to the latest version or introducing similar mechanisms into your sites. We will explain them separately.
  • In case of problems with provider, speed of updating information in our database decreases. In the worst case, it stops updating completely. But as described above, this will practically not affect your websites work: search will continue to work, all available products will continue to open. That gives us time to find ways to restore provider’s work.
  • In case of long-term problems with providers, buyers will be able to create orders based on out-of-date product data: changes in prices, configurations and other information required to complete an order.
Despite disadvantages, we will try to compensate them, since the old system will eventually be completely disabled.

Some details on the internal operation of the new system:
  • Goods search is performed using our database and our algorithms, so it makes no sense to compare issue of goods with provider’s original website. The issue in any case will be different, you can only assess its relevance.
  • New system has a queue of goods for receiving and updating, with different priorities. The highest priority have newly opened items and goods in the baskets.
  • The process of checking baskets is waiting for product update if its term has exceeded 8 hours. This guarantees relevance of data at the time of ordering.

And we would like to tell a little more about search, its current capabilities and development plans, since it completely depends on us now.
  • Search by text, category and seller is supported.
  • Sorting (in addition to the basic one) by price and volume of sales is supported.
  • Filter by price, filter by discount, filter by sales are supported.
  • Issuance of specifying categories with the number of goods in each is supported.
  • Filters by characteristics are supported, but so far, there is no output of possible options for characteristics.
  • Search by photo will continue to work in the old mode.
  • Sorting and filtering by seller rating are planned.
  • Issuance of filter options by characteristics is planned.
  • Full implementation of photo search is planned.
  • Some filters are planned, depending on provider. For example, only Tmall goods for Taobao provider or maximum batch size for provider 1688.
__________________
Алексей Сенилов, техн.руководитель OT Commerce
За это сообщение автора поблагодарили: Ольга Боева (5), Анна Сердюкова (5).
Старый 14.12.2020, 18:00  Ссылка на сообщение   #2  
Ольга Боева is offline
Ольга Боева
Участник
Аватар для Ольга Боева
 
105 / 253 (9) ++++++
Регистрация: 06.08.2015
21 декабря 2020 года будет осуществлен переход работы платформы ОТ на новую систему.

18 января 2021 года мы отключим старую систему и перестанем ее поддерживать. Вся работа платформы ОТ будет осуществляться посредством новой системы.

===============================

Transition of OT platform to new system will be carried out on December 21, 2020.

We will disable old system and stop supporting it on January, 18, 2021. OT platform will be supported by new system.
__________________
маркетолог OT Commerce
 

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Внимание! Меры по восстановлению работы платформы ОТ в полном объеме Ольга Боева Объявления 1 30.01.2020 13:33
Реализованный и запланированный функционал платформы ОТ Ольга Боева Блог OpenTrade Commerce 0 29.11.2017 12:39
Обзор надежности работы платформы Опентао за месяц Evgeniya Zykova Блог OpenTrade Commerce 1 29.11.2013 19:58
Про защищенность платформы Опентао и ваших сайтов от форсмажоров RomanKoshelev Стратегия 3 18.11.2013 06:57
Какие параметры выделенного сервера подойдут для стабильной работы платформы? Grand Рабочие вопросы 1 22.05.2013 16:07
Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Рейтинг@Mail.ru
Часовой пояс GMT +4, время: 17:18.
Powered by vBulletin® v3.8.5.