

声临其境,轻松几步教你把音频变成3D环绕音
source link: https://my.oschina.net/HMSCore/blog/5361537
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

在音乐创作、音视频剪辑和游戏等领域中,给用户带来沉浸式音频体验越来越重要。开发者如何在应用内打造3D环绕声效?华为音频编辑服务6.2.0版本此次带来了空间动态渲染功能,可以将人声、乐器等音频元素渲染到指定的三维空间方位,支持静态和动态渲染两种模式,进一步提升应用中的音效体验。开发者可以点击查看以下Demo演示,了解集成效果并上手实验功能特性。
1. 开发准备
开发者提前准备音乐素材,MP3格式最佳。其他音频格式请参考“2.4”步骤转换,视频格式请参考“2.5”步骤进行音频提取。
1.1项目级build.gradle里配置Maven仓地址:
buildscript {
repositories {
google()
jcenter()
// 配置HMS Core SDK的Maven仓地址。
maven {url 'https://developer.huawei.com/repo/'}
}
dependencies {
...
// 增加agcp插件配置。
classpath 'com.huawei.agconnect:agcp:1.4.2.300'
}
}
allprojects {
repositories {
google()
jcenter()
// 配置HMS Core SDK的Maven仓地址。
maven {url 'https://developer.huawei.com/repo/'}
}
}
1.2 文件头增加配置:
apply plugin: 'com.huawei.agconnect'
1.3 应用级build.gradle里配置SDK依赖:
dependencies{
implementation 'com.huawei.hms:audio-editor-ui:{version}'
}
1.4在AndroidManifest.xml文件中申请如下权限:
<!--震动权限-->
<uses-permission android:name="android.permission.VIBRATE" />
<!--麦克风权限-->
<uses-permission android:name="android.permission.RECORD_AUDIO" />
<!--写存储权限-->
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<!--读存储权限-->
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />
<!--网络权限-->
<uses-permission android:name="android.permission.INTERNET" />
<!--网络状态权限-->
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<!--网络状态变化权限-->
<uses-permission android:name="android.permission.CHANGE_NETWORK_STATE" />
2.代码开发
2.1创建应用自定义的activity界面,用于选择音频,并将该音频文件路径返回给音频编辑SDK:
// 将音频文件路径List返回到音频编辑页面
private void sendAudioToSdk() {
// 获取到的音频文件路径 filePath
String filePath = "/sdcard/AudioEdit/audio/music.aac";
ArrayList<String> audioList = new ArrayList<>();
audioList.add(filePath);
// 将音频文件路径返回到音频编辑页面
Intent intent = new Intent();
// 使用sdk提供的HAEConstant.AUDIO_PATH_LIST
intent.putExtra(HAEConstant.AUDIO_PATH_LIST, audioList);
// 使用sdk提供的HAEConstant.RESULT_CODE为结果CODE
this.setResult(HAEConstant.RESULT_CODE, intent);
finish();
}
2.2在UI界面导入音频时,SDK会发送一个action值为com.huawei.hms.audioeditor.chooseaudio的intent以跳转到该activity。因此,该activity“AndroidManifest.xml”中的注册形式如下:
<activity android:name="Activity ">
<intent-filter>
<action android:name="com.huawei.hms.audioeditor.chooseaudio"/>
<category android:name="android.intent.category.DEFAULT"/>
</intent-filter>
</activity>
2.3启动音频编辑页面,点击“添加音频”,SDK会主动调用“2.1”步骤中定义的activity。添加好音频,就可以进行音频编辑、特效添加等操作,完成后导出编辑音频。
HAEUIManager.getInstance().launchEditorActivity(this);
2.4.如果音频素材不是MP3格式,此步骤可以完成音频格式转换:
调用transformAudioUseDefaultPath接口进行音频格式转换,转换后的音频文件导出到默认路径。
// 音频格式转换接口
HAEAudioExpansion.getInstance().transformAudioUseDefaultPath(context,inAudioPath, audioFormat, new OnTransformCallBack() {
// 进度回调(0-100)
@Override
public void onProgress(int progress) {
}
// 转换失败
@Override
public void onFail(int errorCode) {
}
// 转换成功
@Override
public void onSuccess(String outPutPath) {
}
// 取消转换
@Override
public void onCancel() {
}
});
// 取消转换任务接口
HAEAudioExpansion.getInstance().cancelTransformAudio();
调用transformAudio接口进行音频格式转换,转换后的音频文件导出到目标路径。
// 音频格式转换接口
HAEAudioExpansion.getInstance().transformAudio(context,inAudioPath, outAudioPath, new OnTransformCallBack(){
// 进度回调(0-100)
@Override
public void onProgress(int progress) {
}
// 转换失败
@Override
public void onFail(int errorCode) {
}
// 转换成功
@Override
public void onSuccess(String outPutPath) {
}
// 取消转换
@Override
public void onCancel() {
}
});
// 取消转换任务接口
HAEAudioExpansion.getInstance().cancelTransformAudio();
2.5如果素材是视频格式,可以调用extractAudio接口进行音频提取,从视频中提取音频文件再导出到指定目录:
// outAudioDir提取出的音频保存的文件夹路径,非必填
// outAudioName提取出的音频名称,不带后缀,非必填
HAEAudioExpansion.getInstance().extractAudio(context,inVideoPath,outAudioDir, outAudioName,new AudioExtractCallBack() {
@Override
public void onSuccess(String audioPath) {
Log.d(TAG, "ExtractAudio onSuccess : " + audioPath);
}
@Override
public void onProgress(int progress) {
Log.d(TAG, "ExtractAudio onProgress : " + progress);
}
@Override
public void onFail(int errCode) {
Log.i(TAG, "ExtractAudio onFail : " + errCode);
}
@Override
public void onCancel() {
Log.d(TAG, "ExtractAudio onCancel.");
}
});
// 取消音频提取任务接口
HAEAudioExpansion.getInstance().cancelExtractAudio();
2.6调用getInstruments和startSeparationTasks接口进行伴奏提取。
// 获取提取伴奏类型ID,后面将此ID传给接口
HAEAudioSeparationFile haeAudioSeparationFile = new HAEAudioSeparationFile();
haeAudioSeparationFile.getInstruments(new SeparationCloudCallBack<List<SeparationBean>>() {
@Override
public void onFinish(List<SeparationBean> response) {
// 返回的数据,包括伴奏的类型ID
}
@Override
public void onError(int errorCode) {
// 失败返回
}
});
// 设置要提取的伴奏参数
List instruments = new ArrayList<>();
instruments.add(“伴奏id”);
haeAudioSeparationFile.setInstruments(instruments);
// 开始进行伴奏分离
haeAudioSeparationFile.startSeparationTasks(inAudioPath, outAudioDir, outAudioName, new AudioSeparationCallBack() {
@Override
public void onResult(SeparationBean separationBean) { }
@Override
public void onFinish(List<SeparationBean> separationBeans) {}
@Override
public void onFail(int errorCode) {}
@Override
public void onCancel() {}
});
// 取消分离任务
haeAudioSeparationFile.cancel();
2.7调用applyAudioFile接口进行空间方位渲染。
// 空间方位渲染
// 固定摆位
HAESpaceRenderFile haeSpaceRenderFile = new HAESpaceRenderFile(SpaceRenderMode.POSITION);
haeSpaceRenderFile.setSpacePositionParams(
new SpaceRenderPositionParams(x, y, z));
// 动态渲染
HAESpaceRenderFile haeSpaceRenderFile = new HAESpaceRenderFile(SpaceRenderMode.ROTATION);
haeSpaceRenderFile.setRotationParams( new SpaceRenderRotationParams(
x, y, z, surroundTime, surroundDirection));
// 扩展
HAESpaceRenderFile haeSpaceRenderFile = new HAESpaceRenderFile(SpaceRenderMode.EXTENSION);
haeSpaceRenderFile.setExtensionParams(new SpaceRenderExtensionParams(radiusVal, angledVal));
// 调用接口
haeSpaceRenderFile.applyAudioFile(inAudioPath, outAudioDir, outAudioName, callBack);
// 取消空间方位渲染
haeSpaceRenderFile.cancel();
完成以上步骤,就可以得到对应的空间动态渲染效果,在应用内轻松实现2D转3D音效啦!这项功能还可以应用到企业会议以及运动康复领域,比如在展会上进行产品沉浸式展示、作为视障人群的方向感线索,为日常生活提供便利等。开发者们可以根据自己应用的实际需求选择使用,如需了解更多详情,请参考: 华为开发者联盟音频编辑服务官网; 获取集成音频编辑服务指导文档。
了解更多详情>>
访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址:GitHub、Gitee
关注我们,第一时间了解 HMS Core 最新技术资讯~
Recommend
-
134
戴森:把电吹风变成电动汽车,总共分几步虎嗅注:本文授权转载自PingWest品玩(ID:wepingwest),原标题《前置吸尘器后置电吹风,戴森要做电动汽车了!》,作者:光谱。
-
70
-
64
-
22
一卷照片 - 我们帮你把社交媒体上的相册,变成现实中的一卷照片 - NEXT
-
76
-
32
声临其境综艺上诸葛亮骂王朗现场版,现场自带特效的从未见过如此厚颜无耻之人!太来劲了!
-
9
摘要:尽管 React Native 已经进入开源的第 6 个年头,距离发布 1.0 版本依旧是遥遥无期。“Learn once, write anywhere”,完全不影响 React Native 沦为“不会 JavaScript 也能用”的框架,那如何将在 React Native 项目中引入 react-native-...
-
8
“眼界大开 声临其境”网易首届音视频技术大会圆满落幕2021“眼界大开 声临其境”网易首届音视频技术大会落下帷幕。来自网易旗下网易智企、网易游戏、网易云音乐、网易杭州研...
-
10
14年的云栖,见证了中国科技的真实演进。 2022年11月3日,新的云栖大会即将正式开...
-
7
拯救手残党:让AI帮你把涂鸦变成图片(附免费AI 绘画网址) 3天前发布 779780 0 9
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK