Библиотеки будут только предоставлять текущий каталог (в виде JSON) и сохранение изображений (в виде изображения PNG/JPEG записанных в ОЗУ) возвращаемых несколькими асинхронными функциями.
- Продуктовых: Чижик ✅ (низкие цены), Пятёрочка ✅ (средний сегмент), Магнит ⛔ (средний сегмент) 1, Перекрёсток ✅ (дорогой сегмент)
- Околопродуктовых: FixPrice ✅ (товары для дома) 2
- Электроника: DNS 👷, Eldorado 🕒, Citilink 🕒, M.video 🕒
Для поддержания работоспособности библиотек требуется создать инструментарий для постоянного контроля за их устареванием и оперативным исправлением
Чижик (Chizhik)
Пятёрочка (Pyaterochka)
- Не создан
Перекрёсток (Perekrestok)
- Не создан
FixPrice
- Не создан
Скрипты отдельные для каждой страны (по причине оптимизации разработки, и банов селлерами опредленных IP-диапазонов). Они будут формировать списки каталогов собирая их в единый формат (структуру), а так же иконки товаров. Собранные таким образом изображения и информация каталога будет запакована в архив и в таком виде отправлена на сервер хранения.
Этап не проработан.
Это единый сервер куда будут присылаться данные на регистрацию. Регистрация будет проходить из:
- Дополнения базы данных новыми записями (создание новой карточки товара, если позиция новая)/(обновление текущей карточки товара новой информацией (обновленной цене, рейтингу и т.п.))
- Обновление изображений: сохранение новых изображений для новых товаров, замена изображений для текущих товаров.
- Пользователь может запросить актуальный дамп (датасет)
- Пользователь может общаться с сервером как с обычным каталогом
Информация будет запрашиваться из центра хранений для визуализации инфляции, информации об изменении карточек товаров и т.п.
Footnotes
-
Сайт крайне медленный, написан как монолитный web-сервер, из-за чего для разработки и поддержания библиотеки требуется сильно больше сил чем обычно. ↩
-
Функция для получения информации о продукте не реализована, так как эта информация вшита в html код, решил не делать парсер пока не будут написаны тесты. ↩