LiteLLM Models
配置文件:/root/litellm/config.yaml
启动脚本:/root/litellm/operation.sh
结构说明
model_list:
- model_name: <对外名称> # Open WebUI 中显示的 ID
litellm_params:
model: <provider>/<model-id>
api_key: os.environ/<ENV_VAR>
# 可选: thinking, extra_body 等
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
添加新模型
- 在
api_keys.env中确保有对应厂商 Key - 在
model_list追加一项,例如:
- model_name: my-new-model
litellm_params:
model: openai/gpt-4o
api_key: os.environ/OPENAI_API_KEY
- 应用配置(必须重建容器,
restart不足以加载新 env 文件变更时的部分场景):
bash /root/litellm/operation.sh
- 验证:
curl -sS -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
http://127.0.0.1:4001/v1/models | jq .
修改现有模型
- 改
model_name:Open WebUI 里旧名称会失效,需通知用户 - 改
litellm_params.model:后端实际调用的厂商模型 ID - 改 Key:只改
api_keys.env,然后operation.sh
容器参数(operation.sh)
| 参数 | 值 | 说明 |
|---|---|---|
--network | openwebui_default | 与 Open WebUI 同网 |
-p | 127.0.0.1:4001:4000 | 仅本机访问 |
-v | config.yaml:/app/config.yaml | 配置挂载 |
--env-file | api_keys.env | 密钥 |
镜像:ghcr.io/berriai/litellm:main-latest