大网数据广告活动
Linux 与通用命令

vllm-chat · 常用命令示例

· 52CE 我爱测

Generate chat completions via the running API server using the OpenAI-compatible REST API. > More information: <https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html>.

vllm chat

Generate chat completions via the running API server using the OpenAI-compatible REST API. More information: https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html.

  • Send a single chat prompt to the API server and get a response:

vllm chat --quick ""

  • Chat with a specific model name:

vllm chat --model-name --quick ""

  • Chat with a custom system prompt:

vllm chat --system-prompt "" --quick ""

  • Chat using a custom API server URL:

vllm chat --url --quick ""

  • Chat with an API key for authentication:

vllm chat --api-key --quick ""

  • Start an interactive chat session:

vllm chat

来源:tldr-pages contributors · 作者与贡献记录 · CC BY 4.0。离线整理了版式、链接和媒体显示。

资料来源与适用范围

资料来源
tldr-pages contributors
适用范围
请按文中版本与环境说明核对
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-15
授权说明
CC BY 4.0

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。