2023-11-02 19:59:27 +00:00
|
|
|
# Accelerate
|
|
|
|
|
|
|
|
|
|
> Accelerate is een bibliotheek waarmee dezelfde PyTorch-code kan worden uitgevoerd op elke gedistribueerde configuratie.
|
|
|
|
|
> Meer informatie: <https://huggingface.co/docs/accelerate/index>.
|
|
|
|
|
|
|
|
|
|
- Toon informatie over de omgeving:
|
|
|
|
|
|
|
|
|
|
`accelerate env`
|
|
|
|
|
|
|
|
|
|
- Maak interactief een configuratiebestand:
|
|
|
|
|
|
|
|
|
|
`accelerate config`
|
|
|
|
|
|
2024-06-18 21:00:00 +01:00
|
|
|
- Toon de geschatte GPU-geheugenkosten van het uitvoeren van een Hugging Face model met verschillende gegevenstypen:
|
2023-11-02 19:59:27 +00:00
|
|
|
|
|
|
|
|
`accelerate estimate-memory {{name/model}}`
|
|
|
|
|
|
|
|
|
|
- Test een Accelerate configuratiebestand:
|
|
|
|
|
|
|
|
|
|
`accelerate test --config_file {{pad/naar/config.yaml}}`
|
|
|
|
|
|
|
|
|
|
- Voer een model uit op CPU met Accelerate:
|
|
|
|
|
|
|
|
|
|
`accelerate launch {{pad/naar/script.py}} {{--cpu}}`
|
|
|
|
|
|
|
|
|
|
- Voer een model uit op multi-GPU met Accelerate, met 2 machines:
|
|
|
|
|
|
2023-12-31 07:14:34 +00:00
|
|
|
`accelerate launch {{pad/naar/script.py}} --multi_gpu --num_machines 2`
|
