历时24个月,300人研发团队,vivo发布VI ISP芯片!手机摄影进入

2021-09-06 22:59  [来源:未知]  [作者:admin]  [责编:admin]
字体:【


电子发烧友网报道(文/黄晶晶)9月6日,vivo正式宣布自研ISP芯片V1。

vivo在影像技巧上垦植已久,确立了包含夜景,人像,活动防抖,变焦和视频的影像赛道。在夜景场景上,vivo和合作伙伴一路开辟了加强感光才能的全新CFA技巧,应用于IMX598X CMOS上;与蔡司结合研发的影像体系,在有限的空间内实现了超大年夜光圈的光学设计,并初次将蔡司光学镜头和T型镀膜在vivo手机上实现,大年夜幅改良了夜景的眩光等,明显晋升夜景拍摄后果。此外,还有微云台稳定器,50mm焦段人像镜头,在防抖上赓续精进。

那么,在影像技巧赓续晋升的情况下,是算法重要照样硬件重要,这个谜底重要经由过程三方面去解读。分别是影像芯片、光学器件、软件算法。

vivo重磅宣布V1 ISP芯片

vivo影像算法总监杜元甲认为,从花费者需求出发,人们对于复杂场景下的手机影像后果具有越来越多的等待,比如夜景场景不欲望有噪点;对视频拍摄的请求赓续进步,为了给用户供给更大年夜的创作空间,手机影像将面对一次全新进化。手机记录世界将从静态成长到动态,赞助用户多维表达,把更多的创造交给客户。

以成像速度和及时性来说,在当前的手机算力下,摄影计算成像算法,处理一张照片须要半秒到1秒时光。以30帧视频来看,每帧处理的算法时光不克不及跨越33毫秒。这里有30倍的速度差别。60帧和12帧的视频则请求更高。以前,手机用一秒钟拍一帧的内容,如今要至少计算30帧的画面。

能耗是今朝影像功能面对的另一个问题。运算密度的晋升和功耗的降低是一对抵触体。我们必须寻找大年夜运算量,高速处理的方法。我们认为只有采取定制化芯片,与主芯片软件算法协作,软硬件结合才能释放主芯片的功耗负载,大年夜幅改良用户的应用体验。

vivo并非初次推出定制芯片,早在vivo X1\XPlay中就引入了定制的HIFI芯片,2017年将定制的DSP图像芯片放入X9 PLUS中。

今天,vivo历时24个月,投入300人研发团队,与手机SOC厂商深度合作后,VI宣布首颗自立研发的专业影像芯片V1。



VI是vivo主导开放的办事高速计算成像的专业影像芯片,是一颗全定制的特别规格集成电路芯片。位于主芯片和显示面板之间,可以搭配不合主芯片和显示屏,与主芯片ISP之间采取高速双向互联,以极低延时进行数据交互。起到扩充ISP高速成像算力,释放主芯片ISP负载的感化,同时办事用户在预览和录像的需求。

差别于GPU与DSP,专业定制芯片在处理特定功能时具有高机能、低延时、低功耗的特点。在能效比上有指数级的晋升。打个比方,假设CPU是综合营业员,GPU和DSP根据营业类型让一部分预约解决,复杂营业照样交回给CPU。V1则是给所有人明白营业类型,分成小组和柜台,同时处理。是以它既可以像CPU那样高带处理复杂运算,也可以像GPU和DSP那样并行处理。

为了让同期处理才能最大年夜化,VIVO立异优化了数据在内部的储存架构,和高速读写电路。做到了等效32兆的超大年夜全片上缓存。片上高速缓存固然贵但可支撑的计算密度和数据量更大年夜。今朝旗舰级桌面电脑处理器的缓存是16到24兆。



比如夜景视频的拍摄,经由过程V1进行降噪和插帧,可以用计算量大年夜的算法模块,即MEMC技巧进交活动补偿,在V1协助下主芯片在低光录像时以低功耗运行全高清60帧的MEMC去噪和插帧,晋升了夜景影像后果。并且合营主芯片的降噪功能,进行二次提亮二次降噪。



由此可以获得主芯片ISP与定制ISP V1的1+1大年夜于2的后果。因为将软件算法转移至V1专用硬件电路中,在高速处理一致成像计算算法时,V1专用硬件电路的功耗降低50%。

器件方面的立异

成像体系与光学器件密弗成分,每一个器件的才能合营影响成像后果,是以无论拍摄后果晋升若何,依然无法完全解决眩光,鬼影,边沿画质差等问题,有待手机晋升全部光学体系质量来改良。

光学器件总监朱盼盼介绍,vivo选择高规格的玻璃镜片代替塑胶镜片,实现超低色散、高透光率、热稳定强等特点。视场色差方面比拟于上一线设计值降低约70%。阿贝数是衡量色彩才能的指标,数值越高色彩越纯净。vivo应用的玻璃镜片阿贝数高达81.6,专业开麦拉的阿贝数在80-90之间。



经由过程引入SWC镀膜技巧,在镜头外面克制反射光,这是一项基于仿生学道理的技巧,应用SWC镀膜后反射率最低降至0.1%,明显晋升影像,改良眩光和鬼影。

ALD镀膜原子层沉积工艺,经由过程特别化学反响让原子一层层沉积,形成每层约0.4纳米的膜层,让反射均值降至0.25%,几乎无角度偏移,中间边沿一致性更好,进一步有效改良鬼影问题。ALD技巧是VIVO独家,行业首发,并已成熟用于量产阶段。

此外,对于花瓣鬼影,在滤光片和传感器之间接收红光波长,VIVO采取色素旋涂工艺,它也是国内第一家应用色素旋涂工艺的厂家。

算法部分的晋升——忠诚还原人眼所见的天然色彩

vivo的色彩体系是基于对用户色彩需求的懂得,定位于鲜活、明快、有质感,同时专业创作者会加倍忠诚还原人眼所见的天然色彩。

vivo影像产品经理王兆丰表示,因为每小我对色彩的懂得不尽雷同,vivo拔取色块更丰富的140色卡进行精细化的标准定义,拔取了80个实拍场景进行实景后果验收。借助更精细的色彩调试算法支撑后果实现,经由粗调试和精细调剂,最终使照片的色相精确度ΔE收敛了约15.5%,为业内领先,在较小的ΔE和仍然优胜的饱和度中找到均衡。

vivo选择以蔡司Biotar 58/2.0和Biotar75/1.5为代表的Biotar镜头,将扭转焦外成像特点为人像拍摄付与绝佳的“氛围感”,合营vivo在人像范畴的软硬件加持,在手机上重现蔡司经典人像风格。

为了实现多维度影像体验,vivo还加强了AI人脸加强算法、延时摄影功能、Log模式、超等夜景RAWHDR3.0算法、SuperRAW等。


手机摄影进入硬件级算法时代

答复最开端的问题,手机摄影是硬件照样算法决定将来?vivo认为影像技巧研发,是体系性技巧工程。就像人眼,每小我看到的画面,都是经由过程眼球的感光细胞将旌旗灯号传输给视神经,经视神经最终传送到大年夜脑视觉中间,经由大年夜脑处理加工后的成果。手机也是如斯,经由过程平台、器件、算法等各方面的合营协作,决定最后的成像品德,算法与硬件,缺一弗成。经由过程V1芯片,vivo认为引领手机影像行业下一个趋势的将是“硬件级算法时代”。

相关新闻
关于我们 | 广告服务 | 舆情服务 | 网站建设 | 商务合作 | 诚聘英才 | 法律声明 | 联系我们
广告合作QQ:748492175 | 邮箱:748492175@qq.com 版权所有:中国湖南网 未经授权禁止复制或建立镜像
相关作品的原创性、文中陈述文字以及内容数据庞杂本站无法一一核实,如果您发现本网站上有侵犯您的合法权益的内容,请联系我们,本网站将立即予以删除!
中国互联网违法和不良信息举报中心  全国新闻记者证管理及核验网络系统  网络警察报警岗亭  湖南省互联网违法和不良信息举报中心   湖南省互联网辟谣平台