Created by: Dmitryv-2024
Проблема была в дефолтном batch_size=32 SentenceTransformer Для вычисления эмбедингов либа добивала предложения паддингом до самого большого в батче. Это увеличивает требования по памяти и время инференса. По умолчанию, размер батча теперь 1. Но можно сменить в конфиге параметром embedder_batch_size.