该类主要用于模型推理。接口使用流程请参考模型推理。
Atlas 200I/500 A2 推理产品
Atlas 推理系列产品
通过输入多个Tensor对象进行模型推理。
原型一：
infer(tensor: Tensor, args)原型二：
infer(tensorList: List)原型一：
| 参数名 | 类型 | 说明 |
|---|---|---|
| tensor | Tensor对象 | 模型推理所需Tensor。如需输入多个Tensor，请使用”,”以分隔形式传入，最大传入Tensor数量为1024。 |
| args | 可变参数 |
原型二：
| 参数名 | 类型 | 说明 |
|---|---|---|
| tensorList | List[base.Tensor] | Tensor列表。 |
返回模型推理输出的List[base.Tensor]。
参数校验失败，分配Tensor内存失败及推理失败，抛出Runtime异常。
获得模型输入的对应Tensor的数据类型信息。
input_dtype(index: int)| 参数名 | 类型 | 说明 |
|---|---|---|
| index | int | 模型输入的索引（第index个输入）。 |
返回输入Tensor的数据类型，base.dtype类型。
获得模型输入的对应Tensor的数据shape信息。
input_shape(index: int)| 参数名 | 类型 | 说明 |
|---|---|---|
| index | int | 模型输入的索引（第index个输入）。 |
返回对应输入的Tensor的shape信息，List[int]类型。
初始化模型。
原型一：
Model(modelPath: str, deviceId: int = 0)原型二：
Model(option: ModelLoadOptV2, deviceId: int)原型一：
| 参数名 | 类型 | 说明 |
|---|---|---|
| modelPath | str | 模型路径。 |
| deviceId | int | 模型部署的芯片ID，默认为0号芯片。（-1表示模型部署在Host侧，为保留字段，请勿使用。） |
原型二：
| 参数名 | 类型 | 说明 |
|---|---|---|
| option | ModelLoadOptV2数据类型 | 用户可通过参数选择模型输入方式，具体请参见ModelLoadOptV2类。 |
| deviceId | int | 模型部署的芯片ID，默认为0号芯片。（-1表示模型部署在Host侧，为保留字段，请勿使用。） |
模型对象
获得模型支持的动态输入档位信息，支持动态Batch、动态分辨率和分档动态维度模型。
model_gear()返回模型支持的输入Tensor档位信息，List[List[int]]类型。
返回数据结构为空，表示获取分档信息失败或者模型不属于函数功能中描述的三种模型之一，具体的原因可查看报错信息确认。
例如，模型为动态分辨率模型，List[int]为某一档的高、宽值。
获得模型输出的对应Tensor的数据类型信息。
output_dtype(index: int)| 参数名 | 类型 | 说明 |
|---|---|---|
| index | int | 模型输出的索引（第index个输出）。 |
返回输出Tensor的数据类型，base.dtype类型。
获得模型输出的对应Tensor的数据shape信息。
output_shape(index: int)| 参数名 | 类型 | 说明 |
|---|---|---|
| index | int | 模型输出的索引（第index个输出）。 |
返回对应输出的Tensor的shape信息，List[int]类型。
| 属性名 | 说明 | 备注 |
|---|---|---|
| input_format | 获得模型输入的数据组织形式。 | VisionDataFormat类型，NHWC或者NCHW。 |
| input_num | 获得模型的输入个数。 | int类型。 |
| output_num | 获得模型的输出个数。 | int类型。 |
加载模型。
model(modelPath: str, deviceId: int)| 参数名 | 类型 | 说明 |
|---|---|---|
| modelPath | str | 模型路径。 |
| deviceId | int | 加载的deviceId。 |
Model对象。
Atlas 200I/500 A2 推理产品
Atlas 推理系列产品