Утекают семафоры на макоси
Created by: voorhs
Вот такая ошибка:
autointent-py3.12voorhs@MacBook-Air-Ila AutoIntent % poetry run python test_inter.py
Filter: 100%|█████████████████████████████████████████████████| 10003/10003 [00:00<00:00, 774346.15 examples/s]
[I 2025-06-08 20:20:41,289] A new study created in RDB with name: NodeType.scoring_knn
zsh: segmentation fault poetry run python test_inter.py
autointent-py3.12voorhs@MacBook-Air-Ila AutoIntent % /Users/voorhs/.pyenv/versions/3.12.10/lib/python3.12/multiprocessing/resource_tracker.py:279: UserWarning: resource_tracker: There appear to be 1 leaked semaphore objects to clean up at shutdown
warnings.warn('resource_tracker: There appear to be %d '
Информация о системе:
autointent-py3.12voorhs@MacBook-Air-Ila AutoIntent % poetry env info
Virtualenv
Python: 3.12.10
Implementation: CPython
Path: /Users/voorhs/Library/Caches/pypoetry/virtualenvs/autointent-dF3Xm5P0-py3.12
Executable: /Users/voorhs/Library/Caches/pypoetry/virtualenvs/autointent-dF3Xm5P0-py3.12/bin/python
Valid: True
Base
Platform: darwin
OS: posix
Python: 3.12.10
Path: /Users/voorhs/.pyenv/versions/3.12.10
Executable: /Users/voorhs/.pyenv/versions/3.12.10/bin/python3.12
Скрипт который пробовал запускать (на самом деле падает на любом скрипте который фитит пайплайн):
if __name__ == "__main__":
from autointent.configs import LoggingConfig, DataConfig, EmbedderConfig
from autointent import Pipeline
project_dir = "testing_interruption"
logging_config = LoggingConfig(
project_dir=project_dir, run_name="interruption", dump_modules=True, clear_ram=True
)
emb_config = EmbedderConfig(device="cpu")
pipeline_optimizer = Pipeline.from_preset("light_extra")
pipeline_optimizer.set_config(logging_config)
pipeline_optimizer.set_config(DataConfig(scheme="ho", separation_ratio=None))
pipeline_optimizer.set_config(emb_config)
from autointent import Dataset
dataset = Dataset.from_hub("DeepPavlov/banking77")
# Force single-threaded execution
pipeline_optimizer.fit(dataset)
проблема решается если выставить os.environ['OMP_NUM_THREADS'] = '1', скорее всего проблема с оптюной или какой-то библиотекой которая использует openmp
как решить нормально (без ограничения параллелизма) я не знаю