阿里浏览器叫什么(安卓手机浏览器大全)

夸克浏览器是阿里旗下的一个搭载极速AI引擎的高速智能浏览器。夸客以极速智能搜索为定位,致力于为用户提供交互更智能高效、内容更专业权威的新一代搜索引擎,同时也在产品极致体验上不断实现突破。夸克目前不仅提供极致的搜索体验,也在探索以深度学习为基础的AI工

夸克浏览器是阿里旗下的一个搭载极速AI引擎的高速智能浏览器。夸客以极速智能搜索为定位,致力于为用户提供交互更智能高效、内容更专业权威的新一代搜索引擎,同时也在产品极致体验上不断实现突破。

夸克目前不仅提供极致的搜索体验,也在探索以深度学习为基础的AI工具,通过高效的算法效果和全流程的性能优化,提供更好的用户体验。深度学习模型在实际应用的过程中,效果远好于传统模型,但由于算法复杂度过高,预测性能成为制约模型最终能否上线的核心问题。NVIDIA TensorRT通过计算图的优化、高效Kernel的实现及更高效硬件的利用加速模型预测耗时,使预测速度提升了1~3倍。

智能相机功能对ORC实时性提出新要求

夸克浏览器为用户提供智能相机功能,打开夸克APP后,通过相机入口(如下左图红框所示)进入智能相机功能,可以看到智能相机提供的具体功能(如下右图所示),包括万能扫描、学习辅导、万物识别等功能,这些功能对实时性要求极高,不少功能的底层核心技术依赖OCR。作为核心一环,OCR需要承接巨大流量,其效果及性能影响整个上层业务的用户体验。

阿里浏览器叫什么(安卓手机浏览器大全)

OCR全流程包含检测、识别等多个模型以及复杂的前后处理,整体耗时10s级别,耗时过长严重影响用户体验,无法达到上线要求。主要影响性能的因素有以下三点:单个模型占用显存过大导致全流程无法部署在同一个GPU上,需要在多个GPU上进行数据传输,多GPU部署导致GPU利用率不高;模型本身性能慢,涉及复杂的检测和识别模型;全流程中模型前后处理复杂。

NVIDIA TensorRT助力模型性能提升

对比目前性能优化方案,夸克选择了采用NVIDIA TensorRT作为模型优化的底层框架对模型进行优化。TensorRT提供完整端到端模型性能优化工具,支持TF和ONNX等相关框架模型,使用后对模型性能带来巨大提升。

1、TensorRT对模型结构进行优化,使用高效Kernel实现,并且支持FP16和INT8量化。部分模型通过使用TensorRT,模型性能达到2-3倍的提升,并且显存降到原来的30%~50%。

2、有模型在使用FP16精度后,模型效果下降,夸克团队在NVIDIA工作人员的指导下,通过对模型设置混合精度,模型的性能较FP16略微下降,但整体效果能够达到要求。

3、对于部分转TensorRT失败的模型,对模型进行分析,单独抽取模型耗时的部分进行模型优化。

4、在使用TensorRT的过程中,通过Nsight Systems发现TensorRT OP在某些场景性能表现不尽人意,在NVIDIA工作人员指导下,通过调整OP的使用方式解决该问题。

TensorRT助力OCR全流程性能优化

通过使用NVIDIA TensorRT,夸克浏览器极大地提升了模型性能和降低模型本身显存占用,提高了GPU的使用率。在对整体流程和模型进行优化后,全部模型能够部署在单个GPU上,并且整体耗时在400ms内。

夸克技术人员表示:TensorRT文档齐全,功能使用方便,用户能够以低门槛使用其带来的优化,无需手动编写复杂模型转换工具,大大地减少了用户投入成本。对比其他模型优化框架,TensorRT具有更好的通用性、易用性和性能。

通过这次对OCR全流程的性能优化,夸克浏览器也积累了一套适合内部使用的模型性能优化方案,在遇到其他模型性能问题时也有的放矢。目前夸克已经把TensorRT相关优化工具集成到其浏览器的内部平台上,同时应用到其他业务的模型中,并取得良好的效果。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请发送邮件至 55@qq.com 举报,一经查实,本站将立刻删除。转转请注明出处:https://www.szhjjp.com/n/35876.html

(0)
nan
上一篇 2021-10-15
下一篇 2021-10-15

相关推荐

  • 独角兽的寓意和象征(独角兽一生只守护一个人)

    独角兽的寓意和象征?独角兽一生只守护一个人,爱惜日带你了解相关信息。在世界各地的文化中。独角兽一直是种神秘迷人的动物。而若干个世纪以来,与它相关的传闻从未断绝。其中一些看似真实确凿,而在另外一些描述中,这种神奇的动物,则被赋予了魔幻色彩。独角兽存在的可能性较少。人们所了解的独角兽一般是这样的,它们非常罕见。它们身形类似马,驴,鹿,山羊等偶体类动物。额头上长有独角。它们具备一些不可

    2021-08-14
    0
  • 耐克公司旗下的产品和品牌(耐克有哪些系列)

    NikeAirMax系列耐克祖传科技,全球独占。气垫装饰效果远大于使用效果,怕接触硬物,太大的气垫稳定性不好。只能说耐克营销做的好,Respect!U1S1,airMax最近年年出爆款,识别度也高,配色越来越网红风,看是真TM好看。Nike…

    2022-01-18 随笔
    0
  • 微信未知状态是什么意思

    微信中自从推出状态功能后,就一直在更新状态功能中的各种状态,根据时事去进行状态的更新,所以受到了很多用户的欢迎,但是最近推出的未知状态是很多用户都不知道是什么意思,那么下面就让小编给大家介绍一下。

    2021-08-12
    0
  • 股票dr开头是什么意思(一个股票前面有DR代表什么)

    股票dr开头是什么意思?一个股票前面有DR代表什么,久久派带你了解相关信息。在股市中,经常会看到很多股票前面都会有DR,XR,ST的字样,看到这些股票很多人都会很好奇,那么dr股票是什么意思呢?下面小编就来详细讲解一下吧。一、dr股票是什么意思我们在股市常常会见到股票前面加DR、XD、XR、ST等字母,这些字母代表着不同的含义。其中股票前加上dr两个字母的股票就称为DR股票,加上DR之

    2021-11-03
    0
  • 脚经常抽筋是怎么回事(脚一凉就抽筋是怎么回事)

    腿抽筋是一种很常见的现象,在生活中稍微不注意可能就会引发腿部抽筋,过程非常痛苦。有的人会经常出现腿抽筋。不少人在晚上睡觉时也有腿抽筋的经历,小腿部肌肉突然剧烈、不自主的收缩,痛得让你睡不着觉,影响睡眠。01哪些原因会引发的腿抽筋呢?1.年

    2021-12-16
    0
  • 愚人节有哪些好玩的套路2022年(2022年愚人节有什么好玩的套路)

    愚人节是一年一度的套路大赛,当到了愚人节这一天时,有许多人会开始套路自己身边的朋友。那么在2022年的愚人节有哪些新颖又好玩的套路呢?在2022年愚人节这一天有什么套路是很好玩的?和久久派小编一起来看

    2022-03-04
    0

发表回复

登录后才能评论