Разработка AI модуля обработки данных (тендер № 6595)

Проблема 1. Разработка проекта: "система трендвотчинга с использованием AI". Конечный проект должен принимать любую информацию в blackbox, обрабатывать ее и в понятном интерфейсе строить саммари, прогнозы по запросу юзера. (Например, я запрашиваю у программы "Кейсы CS", ожидаемый результат: полный объем данных в этой категории (Какой спрос, тенденции, сколько кейсов торгуется, какой объем рынка, какие кейсы продаются, сегментация) + прогноз ("анализ показал, что кейс1 вырастет в цене на n% в связи с факт1,факт2). Вывод с дашбордами, графиками, и возможность перейти в прямые источники информации по запросу. 2. Весь проект делится на 3 вехи: 1) Алгоритм сбора информации и создание унифицированной rawdata 2) Обработка информации, кластеризация с нейросетями 3) Аналитика, дашборды, прогнозы. Этот заказ, это 2 веха этого проекта: "Алгоритм обработки данных" 3. Критически важно, чтобы архитектура проекта была гибкой и оптимизированной для завершения разработки родительского проекта Цель конкретно этой задачи Логика: Обработать rawdata базу, которая была собрана парсером из различных источников (rss фиды, tg каналы, в будущем будут еще типы источников) используя методы NLP, кластеризации, векторы (эмбеддинги), учитывать ограничения по токенам базы и создать чистую базу данных по категории (источник, теги, ключевые слова, цифры и другие важные данные для будущего анализа) Реализовать алгоритм обработки данных для родительского проекта Организовать NLP обработку, кластерезацию, векторную обработку данных (эмбеддинги), ограничение по кол-ву токенов в конечной базе Результатом работы алгоритма (программы) будет являться чистая база данных категории (источник, теги, ключевые слова, цифры) Требования Описаны в файле Сроки, бюджет Согласуются индивидуально, как и бюджет Требования к исполнителю Исполнитель должен иметь опыт работы с NLP, распределенными системами и оптимизацией кода. Желателен пример аналогичного проекта в портфолио Правила взаимодействия внутри проекта Статусы по проекту в тг, по запросу заказчика (обговариваем заранее)