Posted 2024-06-1740 minutes read (About 5930 words)triton + chatglm4 部署简单介绍triton的推理架构由两部分组成，一部分由client，一部分由k8s cluster组成。Read more