使用第三方库transformers跑模型训练时，报错“cannot allocate memory in static TLS block”
2024/02/21
875
问题信息
| 问题来源 | 产品大类 | 产品子类 | 关键字 |
|---|---|---|---|
| 官方 | 模型训练 | PyTorch | -- |
问题现象描述
报错详细信息如下所示：
Traceback (most recent call last): File "/usr/local/python3.7.5/lib/python3.7/site-packages/sklearn/__check_build/init.py", line 48, in from ._check_build import check_build # noqa ImportError: /usr/local/python3.7.5/lib/python3.7/site-packages/sklearn/__check_build/../../scikit_learn.libs/libgomp-d22c30c5.so.1.0.0: cannot allocate memory in static TLS block
原因分析
glibc.so本身的bug。
解决措施
执行如下命令：
export LD_PRELOAD=$LD_PRELOAD:/usr/local/python3.7.5/lib/python3.7/site-packages/scikit_learn.libs/libgomp-d22c30c5.so.1.0.0
本页内容