Проблемы с логикой retriever node

Created by: truff4ut

Я бы переименовал retriever ноду в representation. В ней бы просто жила какая-нибудь модель (мб не только трансформеры). И оставил бы пользователю возможность следующего выбора:

Пользователь хочет найти лучший вариант среди всех комбинаций representation + scoring
Пользователь задает модуль scoring, с которым выбирается лучший representation, а потом с выбранным representation продолжаем оптимизацию

KNN, который сейчас реализован в retriever ноде, стал бы обычным scoring модулем. Его будет возможно использовать для прокси-оптимизации representation, но появится возможность выбрать другой алгоритм для этой цели.

К тому же оптимизация векторной базы выглядит так, что мы типы индекса faiss перебираем или какие-то другие параметры