当今旗舰电视最新画质技术，马上就被联发科搬到手机上了
source link: https://www.qbitai.com/2022/10/38734.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
当今旗舰电视最新画质技术，马上就被联发科搬到手机上了
用AI突破计算摄影瓶颈
萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
现在居家看电影，大伙儿还是更愿意用电视。
毕竟在同等条件下，电视的屏显和画质摆在那里，手机再怎么升级屏幕，沉浸感还是没有电视好。
BUT，就在最新一期天玑旗舰技术沟通会上，联发科却突然宣布，成功把电视上的画质“秘籍”搬到手机上来了——
要知道在智能电视市场，联发科智能电视芯片至今已助力累计超过20亿台电视产品在全球各地上市，是这一领域的领导厂商，画质增强技术更是早有积淀。
电视技术移至到手机上带来了两点好处，一方面，画质品质更高了；另一方面，用到手机拍照甚至拍视频上，可以节省算力进一步提升能效。
要知道，这可是各大头部电视厂商都在用的画质技术，有几家才刚安排到新产品上。
此前手机虽然也get了不少影像处理技能，但和高端电视比起来还是要低调一些。
这究竟是怎么做到的？
把电视画质技术搬手机上来了
最新的电视技术全称AI景深画质增强技术（AI Depth PQ），目前这项技术已经被用在不少电视上。
既然如此，联发科脑洞大开：为什么不能将这类AI画质优化相关技术直接用到手机拍照、视频实时处理上，直接改善成片效果？
具体来说，通过AI来进行画质增强的技术又可以被分为几类技术，包括AI图像语义分割技术、景深估计技术和智能优化技术等。
其中最重要也是整个技术的核心，就是AI图像语义分割技术。
这项技术本身并不复杂，核心思路就是将场景中的不同物体按照“描边”的方式分割成几个区域，每个区域中的所有像素都可以用相同的标签来标记：
△例如像素4标签路人，像素3标签蓝天
但用在手机智能拍照上，又有至少三大考验：
AI的理解能力，如何合理切分照片的前景和背景；AI的决策能力，如何选择各区域的优化算法；受限于手机体积，AI算法的功耗不能太大……
例如，上图中站在背后的路人、和毯子上正在拍照的两个主角，虽然都属于“人”这一标签，但需要进行的处理却截然不同，一个需要抠图并智能消除、另一个需要智能美颜算法：
又例如，即使是被划分为“背景”的部分，在进行处理时也有不同的算法需求，像照片中的“普通蓝天”需要被优化甚至智能替换成“更讨好眼球的蓝天”，而草地色彩则需要被调整得更明亮一点。
再例如，想将这个技术扩大到视频拍摄中，像电视处理电影那样实时进行，AI图像语义分割技术又不能占用太多算力，不然直接掉帧甚至快速掉电……
△4K30帧视频（约800多万像素/帧）需要的算力是800万照片的33倍
针对这几点，联发科对应地研发了几种算法，来“配合”语义分割算法打出组合拳。
首先，结合场景识别优化语义分割算法，使得AI不仅能区分前景（如人像、动物等）和背景，还能进一步识别不同种类的背景，如建筑、天空、绿地、植物和水池等。
然后，就是AI区域画质增强技术（AI Region PQ）了。
将照片分割成前景和不同区域的背景后，AI会针对每个区域的物体特性，分析并选取最合适的优化算法，“拆分式”地优化照片不同区域的效果。
例如针对蓝天的优化，基于色彩增强算法让天色看起来更明亮；针对建筑物的优化，则主要在对比度和锐利度上，如结合超分辨率等算法，让建筑物的窗户等细节看起来更清晰……
最后，还能基于语义分割算法降低视频的算力，实现精确对焦。
此前，针对视频的实时追焦算法往往是进行逐帧追焦，通过计算帧间差异来调整清晰度，这样不仅耗费算力，甚至可能降低视频的流畅度。
相比之下，采用语义分割算法区分出前景后，只需要针对前景区域进行侦测和追焦就行，背景则不需要再耗费更多算力去进行优化，就省去了不少算力。
这样一来，不仅照片和视频都实现了实时算法优化，甚至相比原来还节省了一大波算力，例如4K30帧视频和8K30帧视频拍摄所需算力，都降低到了原来的1/4。
同时，联发科也针对AI算法在硬件处理上进行了对应的优化，包括提升APU的能效等，进一步降低AI景深画质增强技术在手机上消耗的算力。
事实上，这也并非联发科第一次针对手机AI技术进行布局了。
用AI突破计算摄影瓶颈
从2018年开始，联发科开始将计算摄影作为手机芯片算法的研发重点。
当年10月份推出的Helio P70处理器，着重提升了多帧降噪 （MFNR）方面的性能，即通过一次性拍摄多张照片，随后通过计算每个位置对应的多层像素均值进行输出，提升照片的清晰度。
这其中涉及大量算法的优化，尤其是拍摄多张照片并进行处理的速度，当年Helio P70针对多帧降噪算法进行优化后提升了约20%的性能。
然而，在计算摄影研发过程中，团队在计算机视觉方面遇到了一些算法优化极限。
适逢更多AI算法在手机端优化落地，计算摄影团队的重心也逐渐转到AI技术研发上。
一方面是芯片上有关AI算力的提升。
最早从2018年Helio P90强调提升AI算力速度、同时推出包含剪枝在内一系列优化算法的AI计算平台NeuroPilot v2.0，到2020年的天玑1000+的MiraVision画质引擎和APU3.0；
再到2021年至今强调的“每瓦有效算力”指标，即APU长时间运行的功率大致在1W左右，联发科在这方面强调的始终是“开源节流”，优化AI的能耗。
也就是说，尽可能在不增加功耗的情况下，提升手机上AI算法运行的效果。
另一方面则是不断改进AI算法的性能。
而从整体研究范围来看，联发科这几年也一直在提升对于AI的重视程度，包括进行贝叶斯优化、元学习相关的机器学习研究，相关论文发表在NeurIPS、ICLR等顶会上。
这其中就有与影像处理相关的研究，例如提出了一个名为CycleNet的框架，旨在提升AI识别拍摄场景中较深物体（即相对镜头的距离较远）的能力。
具体来说，CycleNet借鉴了“神经元会和处理相同图像中具有相同特征物体的神经元产生联系”等一系列生物神经元处理信息的特点，来设计整体的框架逻辑，提升AI在处理较小较模糊的目标时整体的识别准确率。
至于我们多久会在手机上见到这样的AI技术？还得看联发科的速度了（doge）
还有哪些手机技能待点亮？
随着AI落地的技术越来越多，手机应用似乎也在进一步逼近想象力的极限。
甚至有一种观点认为，目前能提升手机性能和创造力的就只有AI技术了。
然而事实真是如此吗？
即便这几年手机功能需求逐渐趋于一致，人们的关注度也并不止放在手机AI技术上。
包括GPU、通信乃至导航等，同样是大伙儿期待在手机上能有进一步提升的硬件设备“技能点”。
这种情况下，手机究竟还有哪些可待提升的功能空间？
如果仔细观察这几年芯片技术发展趋势的话，会发现确实还有不少。
从联发科在技术沟通会上透露的情况来看，芯片厂商针对手机游戏性能提升的侧重点仍然在移动光追上。
只不过相比于去年这一热点概念的提出，今年移动光追已经逐渐成为手机上一个可以预见的功能性卖点，而且还会随着技术的成熟普及到更多手机设备上。
同理还有移动GPU增效方案，也在与移动光追同步进行，目的是在增加图像刷新率、分辨率和渲染复杂度的同时，保持芯片能效的优化，以实现软硬件同步跟进的效果。
至于在通信技术方面，未来可预见的功能则包括5G新双通、以及支持Wi-Fi 7、高保真蓝牙音频等。
其中，新双通指在手机双卡双待的情况下，让双卡的信号彻底不互相影响的能力，即使用流量卡打游戏时，主卡接电话也丝毫不受到影响。
随着明年Wi-Fi 7标准的发布，WiFi吞吐量、稳定性和时延还会有进一步的改善，到那时候手机上即时刷剧打游戏的体验也会再度提升。
至于高保真蓝牙音频这一方面，则主要是改进了音频编解码器和高带宽的技术，让音频传输效率和音质进一步up。
最后则是高精度导航方面的技术了。
虽说随着自动驾驶和V2X等技术发展火热，如今车道级导航已经是车机标配。
但在不用车或是车内手机导航时，除了室内这种卫星信号无法触达的场所，高楼大厦林立的区域也同样需要用到手机高精度导航技术。
而随着联发科MPE（MEMS-sensor Positioning Engine）融合技术的发展，结合传感器（陀螺仪、加速度计等）+全球卫星导航系统的导航技术也将应用到手机上，极大增加室内定位和弱信号区域的导航精度。
年底下一代天玑旗舰芯片又要发布了，据网传型号是天玑9200，你最期待什么功能出现在上面？
Recommend
-
43
如何评价一台电视画质的好坏？
-
9
画质绝了，75英寸三星QX2 QLED光质量子点电视开箱-极果画质绝了，75英寸三星QX2 QLED光质量子点电视开箱 视频加载中......
-
8
东芝电视击出“最强音”OLED画质或是“猛药”-跨境头条-AMZ123亚马逊导航-跨境电商出海门户 东芝电视击出“最强音”OLED画质或是“猛药”...
-
4
画质最卷电视来了！海信E8H旗舰新品发布：XDR级mini LED屏加持 6999元起 2022-09-16 06:28 出处/作者：快科技 整合编辑：佚名 0
-
4
10月26日，索尼（中国）有限公司正式发布了新一代全画幅微单™双影像画质旗舰Alpha 7R V（型号名：ILCE-7RM5）。Alpha 7R V首次搭载了索尼新开发的AI智能芯片，配合高分辨率影像传感器和索尼最新的BIONZ XR™影像处理器，在拍摄照片和视频时能够更为精准地对主体进行识...
-
2
当今最流行的局域网技术有哪些？ 2023-04-13 17:16:37 网络 计算机网络或局域网通常在有限的地理区域中工作，如建筑物或大学校园。这些...
-
4
TCL Q10H旗舰爆款王：巅峰画质，绝佳体验，2023影像标杆之作-品玩 业界动态 TCL Q10H旗舰爆款王：巅峰画质，绝佳体验，2023影像标杆之作...
-
5
4K旗舰领衔！Vidda连发三款投影仪：画质、亮度直接拉满 3199元起 2023-05-18 21:48 出处/作者：快科技 整合编辑：佚名 0
-
10
大疆新一代旗舰运动相机来了！画质升级，简单易用...可玩性无敌
-
2
V2EX › 前端开发 前端众多技术栈中，当今主流的技术框架究竟该怎么选？
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK