Skip to main content
Version: Current

Requirements

硬件（建议）​

资源最低推荐
CPU2 vCPU4 vCPU
内存4 GB8 GB+
磁盘40 GB80 GB+（含日志、备份 staging）

模型推理在 厂商云端，本机主要跑 Docker + Nginx，负载以 I/O 与网络为主。

软件​

  • Linux（本环境为 Ubuntu 22.04+ 类）
  • Docker Engine 24+、docker compose v2
  • Nginx
  • Certbot（python3-certbot-nginx 或等价包）
  • 可选：rclone（备份至 R2）
  • 可选：python3（infra-backup Resend 告警）

网络​

  • 出站 HTTPS 访问各模型 API
  • 入站 80/443（Nginx）
  • 域名 A/AAAA 记录指向本机（如 ai.bucssa.org）

账号与密钥​

  • 各模型厂商 API Key（写入 litellm/api_keys.env）
  • Cloudflare R2 + rclone（备份）
  • Let's Encrypt 邮箱（Certbot）

权限​

运维需能：

  • docker、systemctl nginx
  • 编辑 /root/litellm、/root/openwebui
  • 读取/写入 /var/lib/infra-backup/staging（备份脚本默认路径）

不在本机上的组件​

  • 自研后端
  • LiteLLM PostgreSQL（已明确不部署）
  • GPU（除非未来本地跑 Ollama 等，当前未使用）