Inference Engine
Inference Engine 推理引擎基于微弱的GPU 与 CPU 盘算资本,为用户供给一站式 AI 模子安排与模子推理办事。

产品优势

一键安排 灵巧易用

Inference Engine 推理引擎经由过程 AppCenter 交付,可一键完成云端安排,并供给运用全性命周期治理才能(创立、扩容、监控、安康监测等),开辟者仅需上传模子便可疾速具有临盆情况可用的 AI 推理引擎。

支撑主流推理框架

集成针对 Intel CPU 优化的 CPU版 Tensorflow Serving ,将来还将陆续支撑 ONNX Runtime / OpenVINO 等主流推理框架,助力用户疾速安排机械/深度进修推理情况。

支撑 CPU、GPU 多种加快形式

支撑应用 GPU 或仅应用 CPU 停止机械/深度进修推理,同时可依据本身需求选择单节点或散布式安排形式。

Inference Engine 推理引擎 CPU 版基于第二代 Intel 至强可扩大处置器 ( 代号CascadeLake ) ,其采取了 Intel DeepLearning Boost VNNI 技术,AI 推感性能与上一代型号 CPU 相⽐晋升高达 100% 。分歧于练习阶段,合营针对 CPU 优化的推理框架,CPU 可以在推理环节施展更主要感化,与 GPU 比拟可认为用户供给更低本钱选择。

模子支撑多种存储方法

支撑当地磁盘存储、对象存储和兼容 S3 协定的 MinIO 公有对象存储等多种存储方法存储模子。集成对象存储敕令行对象,经由过程设置装备摆设对象存储相干参数,可便捷地从对象存储中获得模子,完成推理。

支撑多种安排方法

支撑单模子办事节点+当地模子存储、多模子办事节点+公有对象存储模子库 ( MinIO 对象存储 )、多模子办事节点+私有云对象存储模子库 ( QingCloud 对象存储或其他兼容 S3 协定的私有云对象存储) 等多种安排方法。

按需计费 灵巧控制开辟本钱

支撑按需付费、包月、包年计费形式,为用户供给加倍周全和灵巧的本钱治理支撑。

运用场景

  • 图象辨认
  • 图象分类
  • 语音辨认
  • 及时翻译

产品订价

Inference Engine 支撑按需付费、包月、包年计费形式,为用户供给加倍周全和灵巧的本钱治理支撑。