Доработать существующую базу данных. Нужна помощь с настройкой базы данных и/или оптимизации запросов к ней. Использую django c postgresql c расширением timescaledb для работы с временными рядами. Для задач использую celery с брокером redis. django запущен на виртуалке windows, postgresql (12 vCPU, 100% vCPU rate, 48 ГБ RAM, 1 ТБ network-ssd)и redis на отдельных серверах yandex cloud. Приложение выполняет парсинг товаров на wildberries и несколько раз в день собирает остатки всех товаров. с самим парсингом проблем нет (выполняется очень быстро) Основная проблема с тем, что нужно получить последние записи с остатками по артикулам. Всего артикулов 32 миллиона. каждая задача принимает 50000 артикулов, получает последние остатки из базы, парсит текущие остатки на маркетплейсе, и если есть запись за текущий день - обновляет продажи, если они были с момента последнего обновления, если нет записи - создает за текущий день. Увеличение мощности сервера не улучшают производительность. точнее сначала она улучшается, а с течением времени время выполнения улетает в космос.