有了信也科技模型管理,轻松节约部署时间

[复制链接]

2428

主题

3

回帖

5

积分

游客

积分
5
 楼主| hanniuniu12 发表于 2021-7-27 19:48:21 | 显示全部楼层 |阅读模式
  
  说起数据科学家,大家可能都觉得很高大上。但实际上只是一枚跟数据打交道的老程序猿罢了。对我们这些数据科学家来说,操作训练新模型并不困难,困难的是部署上线的过程。想要把模型放入产品中运行起来,需要经过产品经理、软件工程师、运维工程师和测试工程师的一一审核。花费一周的时间并占用4个人力,可以说,这过程堪比唐僧取经,历经九九八十一道关卡。

  不过,我最近接触到了信也科技的模型管理平台。针对模型的部署,信也科技独创了“流水线”的概念,通过它,模型的发布流水线只需4个步骤,整个流程部署只需要6分钟!不需要工程团队参与,简单指导就能发布模型。AI平台在搭建与落地的过程中,均会遇到机器学习门槛高、落地慢、实施周期长等问题。结合日常工作流程中遇到的问题,平台拥有一系列的解决方案,以解决模型落地上的一系列难题。

  例如模型环境构建难,从模型到服务转化慢。且多个模型共用一套环境,但模型需要独立更新,对环境的维护需格外谨慎,变更风险巨大。但信也科技的平台模型环境标准化描述,提供一套简单、统一、覆盖广的规范来定义模型环境,加快流程。再例如最重要的时耗问题:模型服务交付周期长,工程环节耗时长,人力投入大;模型服务回退慢,模型发布后,如发现有问题尝试退回到上一个版本需要数分钟,乃至数小时;模型服务扩容慢,面对突发流量时,响应延迟等。

  针对以上难题,信也科技平台工程环节代码采用自动生成技术,实现人力零投入,降低边际成本。模型发布环节采用蓝绿发布与金丝雀发布,提供操作简单的快速版本切换与流量切分。并利用使用率、饱和度指标配合弹性伸缩算法,提供秒级的扩容,快速响应突发流量。

  无需在实时场景下执行、或无法在实时调用场景下执行的耗时较久的模型,信也科技还提供了Job任务的部署方式,通过Job任务执行回溯任务或更新训练数据,能够完成AI项目的管理和API、Job、镜像APP等上层应用的产出,整个过程无需任何运维人员、工程人员的干预,算法专家们可独立操作完成。非常游刃有余。

  其实从信也科技的可以看出,未来人工智能科技不仅对工作效率的提高有帮助,对整个行业与社会进步具有重大意义。相信在以后,不只是信也科技的平台大大节约了模型部署时间,会有更多先进技术来促成社会先进文明。


你喜欢看