tldr/pages.zh/common/accelerate.md

776 B

accelerate

一个使得可以在任何分布式配置中运行相同的 PyTorch 代码的库。 更多信息:https://huggingface.co/docs/accelerate/index.

  • 打印环境信息:

accelerate env

  • 交互式地创建配置文件:

accelerate config

  • 打印使用不同数据类型运行 Hugging Face 模型的估计 GPU 内存成本:

accelerate estimate-memory {{名字/模型}}

  • 测试一个 Accelerate 配置文件:

accelerate test --config_file {{路径/到/配置文件.yaml}}

  • 使用 Accelerate 在 CPU 上运行一个模型:

accelerate launch {{路径/到/脚本.py}} {{--cpu}}

  • 使用 Accelerate 在多 GPU 上运行一个模型,使用 2 台机器:

accelerate launch {{路径/到/脚本.py}} --multi_gpu --num_machines 2