Created by: voorhs
Теперь логика по отгрузке модулей в файловую систему реализована в файле _dump_tools.py. Теперь при написании нового модуля можно не реализовывать методы load и dump, достаточно убедиться что все нужные объекты сохранены в виде атрибутов и имеют допустимый тип (см типы в файле _dump_tools.py
Так то сделано много всего, что стоило разбить на несколько PR:
- теперь нет объекта
VectorIndexClient, поскольку с кешированием от Егора, в нем пропала надобность - теперь в классах
RerankScorerиDNNCScorerу эмбедера и кросс энкодера разные параметры девайса, батч сайза и все такое - настроил приватность и публичность атрибутов модулей
- теперь
EmbedderиCrossEncoderотгружаются в файловую систему без сохранения весов трансформеров (ура логи будут весить меньше)
Еще конечно много TODO осталось, но в текущем виде (возможно после устранения ошибок билда документации) этот PR уже можно мерджить чтобы не блокать работу остальных