Оптимизация сайта с собственным API ключем.

[Allchina]

Здравствуйте!
Являемся обладателями сайта с собственным API ключем.После запуска сайта возникли некоторые проблемы и хотим узнать мнение специалистов и возможные пути решения.
1.После размещения сервера за пределами Китая скорость получения данных с таобао очень упала.Да и когда сервер расположен в Китае, но запрос идет с России скорость загрузки страниц с рельтатами поиска и карточки товара оставляет желать лучшего.
Запрос клиента сейчас напрямую обрабатывается с таобао перевод запроса и карточки товара идет через API Bing Translate.

-На каком сервисе советуете разместить сервер?В какой стране?
-Какие требования к серверу для быстрой обработки запросов?Хватит облачного сервера или требуется установка личного отдельного сервера у сервер провайдера?
-Достаточно одного сервера который напрямую получает данные с апи таобао или нужна установка промежуточного сервера.Который быстро работает с китайским сервером откуда берется база таобао и также быстро работает с сервером заграницей?
Так как сервер установленный в России очень долго получает информацию через API с Китая.

2.Поскольку в обработке запроса еще участвует автопереводчик подключенный по API.Это влияет на скорость загрузки?
-Переводчик стоит загрузить на сервер для перевода базы с товарами или лучше работать через API?
-Какой переводчик посоветуете?

3.На сайте сейчас нет кэширования запросов и всей базы данных с таобао.
-Надо ли кэшировать базу данных с таобао?
-Как лучше реализовать процесс кэширования и к каким процессам его лучше применять?
-Что надо сделать, чтобы клиент уже получал все данные с сервера сайта?

Буду очень благодарен за ответ!

[Пробегалло]

Запросы к таобао кэшируют у себя. Тупняк с получением данных из РФ есть, иногда запросы отваливаются с connection timeout. Хостинг в Китае не заказывал (стандартный в таобаовской админке не подошёл по параметрам), поэтому про скорость там не знаю. Но если там скорость нормальная, то можно найти китайского хостинг-провайдера, у которого вменяемая скорость до РФ. На самом таобао одно время через заграничные прокси сидел, они работали быстрее, чем открывать taobao напрямую из РФ. Сейчас вроде нормализовалось, когда банить начали парсеры. А переводчик пока не нашёл подходящий с нормальным ценником на покупку, если кто знает, пишите. API Bing Translate, Google и т.д. - трафик по беспонтовой гонять туда-сюда, да ещё и платно - вариант далеко не идеал. Ключи давно получили? А то смотрю народ темы создаёт, типа приостановили выдачу ключей на overseas торговлю.

[Allchina]

Цитата:

Сообщение от Пробегалло

Запросы к таобао кэшируют у себя. Тупняк с получением данных из РФ есть, иногда запросы отваливаются с connection timeout. Хостинг в Китае не заказывал (стандартный в таобаовской админке не подошёл по параметрам), поэтому про скорость там не знаю. Но если там скорость нормальная, то можно найти китайского хостинг-провайдера, у которого вменяемая скорость до РФ. На самом таобао одно время через заграничные прокси сидел, они работали быстрее, чем открывать taobao напрямую из РФ. Сейчас вроде нормализовалось, когда банить начали парсеры. А переводчик пока не нашёл подходящий с нормальным ценником на покупку, если кто знает, пишите. API Bing Translate, Google и т.д. - трафик по беспонтовой гонять туда-сюда, да ещё и платно - вариант далеко не идеал. Ключи давно получили? А то смотрю народ темы создаёт, типа приостановили выдачу ключей на overseas торговлю.

Первый ключ давно получили.Но недавно еще на один ключ заявку подали, результат пока не знаю.Заявка еще на рассмотрении.
В Китае на китайском сервере открывает прям очень быстро.Я бы сказал идеально.Но в России отстой

[Алексей Сенилов]

Здравствуйте

Цитата:

Сообщение от Allchina

1.После размещения сервера за пределами Китая скорость получения данных с таобао очень упала.Да и когда сервер расположен в Китае, но запрос идет с России скорость загрузки страниц с рельтатами поиска и карточки товара оставляет желать лучшего.
Запрос клиента сейчас напрямую обрабатывается с таобао перевод запроса и карточки товара идет через API Bing Translate.

-На каком сервисе советуете разместить сервер?В какой стране?

Сам сайт нужно размещать ближе к посетителям. Это, думаю, споров не вызывает? То бишь, в самой России, или в Европе, как например наши сайты и сама наша система. А вот для связи с Таобао у нас есть несколько прокси в самых разных местах, между которыми постоянно идет выбор в пользу самой быстрой. Почти всегда это, как ни странно, Америка. Да, там где-то есть прямой пиринг с Китаем.
При этом, мы сами не то чтоб довольны таким положением дел, но это лучше чем надеяться лишь на прямую связь с Китаем.

Кроме того, бывают и затупы в самом Китае. Пока мы не научились отлавливать их и отрубать на время вообще любые обращения к Таобао, нам эти затупы сказывались весьма «больно».

Цитата:

Сообщение от Allchina

-Какие требования к серверу для быстрой обработки запросов?Хватит облачного сервера или требуется установка личного отдельного сервера у сервер провайдера?

Это скорее вопрос вашей нагрузки и ваших расходов на сервера. Сколько у вас посетителей/запросов в секунду/в день, и т.д.

Цитата:

Сообщение от Allchina

-Достаточно одного сервера который напрямую получает данные с апи таобао или нужна установка промежуточного сервера.Который быстро работает с китайским сервером откуда берется база таобао и также быстро работает с сервером заграницей?
Так как сервер установленный в России очень долго получает информацию через API с Китая.

Выше описал варианты с прокси. К слову, для прокси важна лишь пропускная способности сети, ни процессор, ни память особо значения не имеют.

Цитата:

Сообщение от Allchina

2.Поскольку в обработке запроса еще участвует автопереводчик подключенный по API.Это влияет на скорость загрузки?
-Переводчик стоит загрузить на сервер для перевода базы с товарами или лучше работать через API?
-Какой переводчик посоветуете?

На скорость загрузки конечно влияет, но вообще странный вопрос. У вас что, нет диагностики затрат времени на все этапы обработки запроса? Как без этого можно что-то пытаться оптимизировать?

У нас используется свой внутренний, не внешний, название которого мы не разглашаем. Плюс несколько алгоритмов ручного перевода.
В принципе, можно и внешний, если вас устроят расходы. Если запоминать сделанные переводы у себя, чтоб не переводить многократно одно и то же, то может выйти вполне приемлемо.

Цитата:

Сообщение от Allchina

3.На сайте сейчас нет кэширования запросов и всей базы данных с таобао.

Даже простые сайты, работающие чисто со своими данными, не внешними в виде Таобао и переводов, и то без кэша по нынешним меркам вполне будут тупить. (варианты статических сайтов не рассматриваем) Так что кэш надо в любом случае.

Цитата:

Сообщение от Allchina

-Надо ли кэшировать базу данных с таобао?

Что вы понимаете под «базой данных с таобао»? Все возможные товары? Это будет убийственно, да и Таобао даст по ушам. И называется оно совсем не кэшем.
Кэшировать получаемые с Таобао данные - да, можно и нужно. Или хотя бы готовые страницы сайта. Или и то и другое, на двух уровнях.

Цитата:

Сообщение от Allchina

-Как лучше реализовать процесс кэширования и к каким процессам его лучше применять?
-Что надо сделать, чтобы клиент уже получал все данные с сервера сайта?

Что есть все данные?
Тут два варианта:

- Трансляция, как у нас и почти у всех нормальных сайтов на данную тематику. Если данных нет в кэше или они устарели, они запрашиваются из-вне (с Таобао), и сохраняются в кэше. Первое открытие долго, последующие быстро.

- Выкачивание, как у... лучше не вспоминать, у кого. В фоне данные качаются с таобао, и сохраняются в своей бд, а вывод чисто из неё. Быстро. Но это то, что и привело нас к постоянным ограничениям со стороны Таобао. Им не нравится, и они всячески режут. То поиск, то еще что.

Что использовать вам, дело ваше.

[Пробегалло]

Цитата:

У нас используется свой внутренний, не внешний, название которого мы не разглашаем.

Знаю внутренний переводчик под винду (IIS - общение через API) с ценой в районе миллиона вместе с одним китайским словарём, один из самых известных, так как им наверное пользовался практически каждый. Полный восточный комплект которого ещё не существует (один из восточных языков ещё в разработке), стоимостью что-то в районе 1,5 ляма (за 3 языка). Но как всегда, хочется халявы, ну или по крайней мере 1000$-2000$ ещё отдать можно за переводчик на обычном сайте, но миллионы - это уже как-то перебор. Офлайновый гугл с API был бы весьма кстати.

Ваш внутренний переводчик под винду? Вижу asmx на сервисах.

Выкачивать товары с тао - это сильно. Домен рутаобао смотрю отрубили уже. Если забудут продлить, то надо выкупить Всё равно изображения тащатся с тао, вчера глянул, фотка весом 80 кб грузилась с тао 6 секунд, под вечер вообще связь с тао пошла перебоями, API на сервере работает, а на клиенте нет фотографий с тао, потом через некоторое время отвисло, провайдер yota и такая байда довольно часто.