(资料图片仅供参考)
天眼查APP显示，近日，浙江大学,运达能源科技集团股份有限公司申请的“一种面向混合专家模型的细粒度推理加速方法及装置”专利公布。 摘要显示，本发明公开了一种混合专家模型的细粒度推理加速方法及装置，适用于边缘设备内存受限、难以运行大型模型进行基本推理的场景。为解决这一问题，本发明创新性地提出了基于分区缓存的专家与专家预加载策略，旨在显著提升混合专家模型在边缘环境下的推理效率。针对可能出现的专家预取失败情况，本发明还设计了一套基于细粒度的专家取用保障机制，该机制能够有效减轻因预取专家失败所带来的时间延误，确保推理过程的连续性和高效性。本发明通过这一系列设计，实现了对混合专家模型推理加速过程的全面优化，解决了边缘设备在资源受限条件下难以高效运行复杂推理模型的问题。
内容搜集整理于网络，不代表本站同意文章中的说法或者描述。文中陈述文字和内容未经本站证实，其全部或者部分内容、文字的真实性、完整性、及时性本站不做任何保证或者承诺，并且本站对内容资料不承担任何法律责任，请读者自行甄别。如因文章内容、版权和其他问题侵犯了您的合法权益请联系邮箱：5 146 761 13 @qq.com 进行删除处理，谢谢合作！
