Deploy LLM on sagemaker

使用 LMI 容器在 Sagemker 部署模型做推理

相关文档

DLC上的LMI容器列表，请点击这里。

对于可用的BYOC容器列表, 请点击这里。

有关SageMaker上的LMI文档的更多信息,请点击这里。

对于您可以在DJLServing上设置的所有serving.properties选项,请点击这里。

不同部署方式推理时对应的 input/output schema,请点击这里。