基于NeRF的APP上架苹果商店！照片转3D只需一部手机，网友们玩疯了

2 years ago

source link: https://www.qbitai.com/2023/01/41102.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

基于NeRF的APP上架苹果商店！照片转3D只需一部手机，网友们玩疯了

萧箫 2023-01-09 13:24:16 来源：量子位

随手拍出3D电影效果

萧箫发自凹非寺
量子位 | 公众号 QbitAI

只用一部手机，现实中的2D照片就能渲染出3D模型？

没错，无需再手动上传电脑或安装激光雷达，苹果手机自带APP就能生成3D模型。

这个名叫Luma AI的“NeRF APP”，正式上架App Store后爆火：

749100639860440ca6c8f211c984a27f~noop.image?_iz=58558&from=article.pc_detail&x-expires=1673846333&x-signature=Rtch6iOC70yn7Mlpnm2rNPJCs3A%3D

小如3D装饰模型，兼具灯光和形状细节：

277e50e6c90e4307b007c98348f3f29c~noop.image?_iz=58558&from=article.pc_detail&x-expires=1673846333&x-signature=86y8Lh%2BiRvhOtat%2Bo%2FxkJNreEwc%3D

大到整个墓园的3D场景渲染版，都能被很好捕捉：

b1fef2cc02044e3ba6131e8da923bc16~noop.image?_iz=58558&from=article.pc_detail&x-expires=1673846333&x-signature=N6BF82kYwK1VvwFVunyoQc3jzl8%3D

这样无论是风景、3D物体还是人物，都可以被很好地保存进手机，并快速生成对应的3D模型。

所以这个APP究竟包含什么功能，它又具体要如何使用？

NeRF手机APP是什么？

Luma AI是一个基于NeRF打造的APP，目前能在苹果商店中搜到：

50128ba504cf4c76ae39aacc09423a52~noop.image?_iz=58558&from=article.pc_detail&x-expires=1673846333&x-signature=cJukm0W9X83sKJp7EuVKR8ziLxg%3D

NeRF是少量2D照片生成3D场景的经典AI模型，最初版本由UC伯克利和谷歌开发，只需要输入少量静态图片，就能做到多视角的逼真3D效果。

最初NeRF需要专业相机拍几百张照片，并在拍照时严格遵守参数坐标，但由于它的代码数据开源，目前已经有不少简化版模型被开发出来。

不仅照片数量有所下降，从几百张到几十张甚至几张，对拍照位置和照相机的要求也有所降低。

但能直接通过APP导引、随时随地可用的NeRF，几乎还没出现过。

现在，Luma AI团队基于云服务器，实现了这个可以实时渲染3D物体、产品或风景和场景的APP。

1c06aa499c6e4ab8bedbffcb0ce9d321~noop.image?_iz=58558&from=article.pc_detail&x-expires=1673846333&x-signature=M%2B8fYyeaGkkkBGXOSMnMeLEDv3c%3D

它包含自动调整焦距、视角和画面比例调整等不同功能，捕捉到的3D场景则包含复杂形状、反射和照明等细节。

同时，制作得到的3D模型既可以直接分享到网上，比2D照片更全方位地展示细节：

18f9b5e451fd4c33bee889a35c7eb211~noop.image?_iz=58558&from=article.pc_detail&x-expires=1673846333&x-signature=y3wzcoVEk5FnFqmD4WKo%2FpwWEAo%3D

也可以放进Blender等游戏引擎中，让它“动起来”：

8822458fdcf146ae87e1b8a70533a42d~noop.image?_iz=58558&from=article.pc_detail&x-expires=1673846333&x-signature=8IxiVyJ7uOvria6XOP6otK5EZFU%3D

现在，你也可以试一试了。

支持iPhone 11或以上机型

目前Luma AI支持iPhone 11或以上的机型，操作方法也很简单。

在苹果商店下载APP后，只需要跟着导引，围绕3D物体一步步完成拍摄，NeRF就能在后台将这些照片合成出一个3D模型，并实时导出：

439600e789034b24add785caefc1aa6e~noop.image?_iz=58558&from=article.pc_detail&x-expires=1673846333&x-signature=ZHx0FjXsxJrR%2BTwbUmsKAip%2FwWc%3D

支持的玩法也很多样，从调整焦距、效果预览都包括：

6fc376aa1fb9453b8676305b725667e1~noop.image?_iz=58558&from=article.pc_detail&x-expires=1673846333&x-signature=0%2BSDAn%2BHAbIgPQ5nlXnDSL7H06E%3D

实际拍出来的效果，可以直接放进电影中，有运镜内味了：

c9e613336eee4af89ebe7e03d7b36a42~noop.image?_iz=58558&from=article.pc_detail&x-expires=1673846333&x-signature=TzpCYHldANGM3BXaC62bMCRA%2FMo%3D

所以，没有苹果手机怎么办？

在网页端上传照片也可以，视频和照片集二选一：

5213c2ea79b64dfdbf3d17350d4b2cc7~noop.image?_iz=58558&from=article.pc_detail&x-expires=1673846333&x-signature=ad9xhaYg5ieCvXasVHpvBKqSk1Y%3D

在Luma AI公开的3D模型分享库中，已经有不少网友上传了自己随手拍的3D模型：

fcaea01d33fe44b8b30d83c83986c896~noop.image?_iz=58558&from=article.pc_detail&x-expires=1673846333&x-signature=LKIKMtd4LLrUvXMiKhdTqL74IEA%3D

目前支持导出的3D模型格式，主要包括obj和gltf两种。

你想好用它来拍出大片效果、做游戏模型，还是把家里的3D手办“电子化”了吗？

参考链接：
[1]https://twitter.com/LumaLabsAI/status/1611466398546690048
[2]https://captures.lumalabs.ai/imagine
[3]https://apps.apple.com/us/app/luma-ai/id1615849914

Recommend

177