Dolly 是一个低成本的 LLM，Dolly 采用 EleutherAI 现有的 60 亿参数的开源模型，并对其进行细微的修改，以激发指令跟随能力。
开始训练
- 将
dollyrepo 添加到 Databricks（在 Repos 下单击 Add Repo，输入https://github.com/databrickslabs/dolly.git，然后单击创建仓库）。 - 开始一个
12.2 LTS ML (includes Apache Spark 3.3.2, GPU, Scala 2.12)具有 8 个 A100 GPU 节点类型的单节点集群（例如Standard_ND96asr_v4或者p4d.24xlarge). - 在
dolly仓库中打开train_dollynotebook，附加到你的 GPU 集群，并运行所有单元。训练完成后，notebook 会将模型保存在/dbfs/dolly_training.
在本地运行单元测试
pyenv local 3.8.13
python -m venv .venv
. .venv/bin/activate
pip install -r requirements_dev.txt
./run_pytest.sh
评论