Skip to main content
Version: Current

LiteLLM Models

配置文件:/root/litellm/config.yaml
启动脚本:/root/litellm/operation.sh

结构说明

model_list:
- model_name: <对外名称> # Open WebUI 中显示的 ID
litellm_params:
model: <provider>/<model-id>
api_key: os.environ/<ENV_VAR>
# 可选: thinking, extra_body 等

general_settings:
master_key: os.environ/LITELLM_MASTER_KEY

添加新模型

  1. api_keys.env 中确保有对应厂商 Key
  2. model_list 追加一项,例如:
  - model_name: my-new-model
litellm_params:
model: openai/gpt-4o
api_key: os.environ/OPENAI_API_KEY
  1. 应用配置(必须重建容器restart 不足以加载新 env 文件变更时的部分场景):
bash /root/litellm/operation.sh
  1. 验证:
curl -sS -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
http://127.0.0.1:4001/v1/models | jq .

修改现有模型

  • model_name:Open WebUI 里旧名称会失效,需通知用户
  • litellm_params.model:后端实际调用的厂商模型 ID
  • 改 Key:只改 api_keys.env,然后 operation.sh

容器参数(operation.sh

参数说明
--networkopenwebui_default与 Open WebUI 同网
-p127.0.0.1:4001:4000仅本机访问
-vconfig.yaml:/app/config.yaml配置挂载
--env-fileapi_keys.env密钥

镜像:ghcr.io/berriai/litellm:main-latest

上游参考