Created by: voorhs
мне осталось дописать тесты на стратификацию и обновить датасеты на хагинг фейсе
что изменилось в этом огромном пр:
- главное: теперь OOS семплы не хранятся в отдельном сплите а распределяются по всем сплитам, игнорируя train_0 и val_0 (сплиты для скоринг ноды)
- тоже важно: теперь метки OOS семплов не конвертируются в [0,0,0,0], а остаются None (так сделал чтобы была консистентность между хранением OOS семплов для мультикласс и мультилейбл датасетов)
- почти не важно: теперь при чтении из json мультилейбл метки должны быть уже закодированы в one hot
- еще я поменял тайпинг меток (до этого был только LabelType), теперь у нас целый выбор из SimpleLabel, MultiLabel, ListOfLabels и так далее. пользуйтесь на здоровье в своем коде!
- данные для тестов обновлены, на хагингфейсе тоже, так что у вас могут падать тесты на ваших ветках простите я случайно :(
- еще успел обновить парочку других датасетов на хагингфейсе