6

声临其境,轻松几步教你把音频变成3D环绕音

 3 years ago
source link: https://my.oschina.net/HMSCore/blog/5361537
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

在音乐创作、音视频剪辑和游戏等领域中,给用户带来沉浸式音频体验越来越重要。开发者如何在应用内打造3D环绕声效?华为音频编辑服务6.2.0版本此次带来了空间动态渲染功能,可以将人声、乐器等音频元素渲染到指定的三维空间方位,支持静态和动态渲染两种模式,进一步提升应用中的音效体验。开发者可以点击查看以下Demo演示,了解集成效果并上手实验功能特性。

1. 开发准备

开发者提前准备音乐素材,MP3格式最佳。其他音频格式请参考“2.4”步骤转换,视频格式请参考“2.5”步骤进行音频提取。

1.1项目级build.gradle里配置Maven仓地址

buildscript {
    repositories {
        google()
        jcenter()
        // 配置HMS Core SDK的Maven仓地址。
        maven {url 'https://developer.huawei.com/repo/'}
    }
    dependencies {
        ...
        // 增加agcp插件配置。
        classpath 'com.huawei.agconnect:agcp:1.4.2.300'
    }
}
allprojects {
    repositories {
        google()
        jcenter()
        // 配置HMS Core SDK的Maven仓地址。
        maven {url 'https://developer.huawei.com/repo/'}
    }
} 

1.2 文件头增加配置

apply plugin: 'com.huawei.agconnect'

1.3 应用级build.gradle里配置SDK依赖

dependencies{
    implementation 'com.huawei.hms:audio-editor-ui:{version}'
}

1.4在AndroidManifest.xml文件中申请如下权限

<!--震动权限-->
<uses-permission android:name="android.permission.VIBRATE" />
<!--麦克风权限-->
<uses-permission android:name="android.permission.RECORD_AUDIO" />
<!--写存储权限-->
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<!--读存储权限-->
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />
<!--网络权限-->
<uses-permission android:name="android.permission.INTERNET" />
<!--网络状态权限-->
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<!--网络状态变化权限-->
<uses-permission android:name="android.permission.CHANGE_NETWORK_STATE" />

2.代码开发

2.1创建应用自定义的activity界面,用于选择音频,并将该音频文件路径返回给音频编辑SDK

// 将音频文件路径List返回到音频编辑页面
private void sendAudioToSdk() {
    // 获取到的音频文件路径 filePath
    String filePath = "/sdcard/AudioEdit/audio/music.aac";
    ArrayList<String> audioList = new ArrayList<>();
    audioList.add(filePath);
    // 将音频文件路径返回到音频编辑页面
    Intent intent = new Intent();
    // 使用sdk提供的HAEConstant.AUDIO_PATH_LIST
    intent.putExtra(HAEConstant.AUDIO_PATH_LIST, audioList);
    // 使用sdk提供的HAEConstant.RESULT_CODE为结果CODE
    this.setResult(HAEConstant.RESULT_CODE, intent);
    finish();
}

2.2在UI界面导入音频时,SDK会发送一个action值为com.huawei.hms.audioeditor.chooseaudio的intent以跳转到该activity。因此,该activity“AndroidManifest.xml”中的注册形式如下

<activity android:name="Activity "> 
<intent-filter> 
<action android:name="com.huawei.hms.audioeditor.chooseaudio"/> 
<category android:name="android.intent.category.DEFAULT"/> 
</intent-filter> 
</activity>

2.3启动音频编辑页面,点击“添加音频”,SDK会主动调用“2.1”步骤中定义的activity。添加好音频,就可以进行音频编辑、特效添加等操作,完成后导出编辑音频

HAEUIManager.getInstance().launchEditorActivity(this);

2.4.如果音频素材不是MP3格式,此步骤可以完成音频格式转换

调用transformAudioUseDefaultPath接口进行音频格式转换,转换后的音频文件导出到默认路径。

// 音频格式转换接口
HAEAudioExpansion.getInstance().transformAudioUseDefaultPath(context,inAudioPath, audioFormat, new OnTransformCallBack() {
    // 进度回调(0-100)
    @Override
    public void onProgress(int progress) {
    }
    // 转换失败
    @Override
    public void onFail(int errorCode) {
    }
    // 转换成功
    @Override
    public void onSuccess(String outPutPath) {
    }
    // 取消转换
    @Override
    public void onCancel() {
    }
    });

// 取消转换任务接口
HAEAudioExpansion.getInstance().cancelTransformAudio();

调用transformAudio接口进行音频格式转换,转换后的音频文件导出到目标路径。

// 音频格式转换接口
HAEAudioExpansion.getInstance().transformAudio(context,inAudioPath, outAudioPath, new OnTransformCallBack(){
    // 进度回调(0-100)
    @Override
    public void onProgress(int progress) {
    }
    // 转换失败
    @Override
    public void onFail(int errorCode) {
    }
    // 转换成功
    @Override
    public void onSuccess(String outPutPath) {
    }
    // 取消转换
    @Override
    public void onCancel() {
    }
    });
// 取消转换任务接口
HAEAudioExpansion.getInstance().cancelTransformAudio();

2.5如果素材是视频格式,可以调用extractAudio接口进行音频提取,从视频中提取音频文件再导出到指定目录

// outAudioDir提取出的音频保存的文件夹路径,非必填
// outAudioName提取出的音频名称,不带后缀,非必填
HAEAudioExpansion.getInstance().extractAudio(context,inVideoPath,outAudioDir, outAudioName,new AudioExtractCallBack() {
    @Override
    public void onSuccess(String audioPath) {
    Log.d(TAG, "ExtractAudio onSuccess : " + audioPath);
    }
    @Override
    public void onProgress(int progress) {
    Log.d(TAG, "ExtractAudio onProgress : " + progress);
    }
    @Override
    public void onFail(int errCode) {
    Log.i(TAG, "ExtractAudio onFail : " + errCode);
    }
    @Override
    public void onCancel() {
    Log.d(TAG, "ExtractAudio onCancel.");
    }
    });
// 取消音频提取任务接口
HAEAudioExpansion.getInstance().cancelExtractAudio();

2.6调用getInstruments和startSeparationTasks接口进行伴奏提取

// 获取提取伴奏类型ID,后面将此ID传给接口
HAEAudioSeparationFile haeAudioSeparationFile = new HAEAudioSeparationFile();
haeAudioSeparationFile.getInstruments(new SeparationCloudCallBack<List<SeparationBean>>() {
    @Override
public void onFinish(List<SeparationBean> response) {
// 返回的数据,包括伴奏的类型ID
}
    @Override
    public void onError(int errorCode) {
        // 失败返回
}
});
// 设置要提取的伴奏参数
List instruments = new ArrayList<>();
instruments.add(“伴奏id”);
haeAudioSeparationFile.setInstruments(instruments);
// 开始进行伴奏分离
haeAudioSeparationFile.startSeparationTasks(inAudioPath, outAudioDir, outAudioName, new AudioSeparationCallBack() {
    @Override
    public void onResult(SeparationBean separationBean) { }
    @Override
    public void onFinish(List<SeparationBean> separationBeans) {}
    @Override
    public void onFail(int errorCode) {}
    @Override
    public void onCancel() {}
});
// 取消分离任务
haeAudioSeparationFile.cancel();

2.7调用applyAudioFile接口进行空间方位渲染

// 空间方位渲染
// 固定摆位
HAESpaceRenderFile haeSpaceRenderFile = new HAESpaceRenderFile(SpaceRenderMode.POSITION);
haeSpaceRenderFile.setSpacePositionParams(
                            new SpaceRenderPositionParams(x, y, z));
// 动态渲染
HAESpaceRenderFile haeSpaceRenderFile = new HAESpaceRenderFile(SpaceRenderMode.ROTATION);
haeSpaceRenderFile.setRotationParams( new SpaceRenderRotationParams(
                                    x, y, z, surroundTime, surroundDirection));
// 扩展
HAESpaceRenderFile haeSpaceRenderFile = new HAESpaceRenderFile(SpaceRenderMode.EXTENSION);
haeSpaceRenderFile.setExtensionParams(new SpaceRenderExtensionParams(radiusVal, angledVal));
// 调用接口
haeSpaceRenderFile.applyAudioFile(inAudioPath, outAudioDir, outAudioName, callBack);
// 取消空间方位渲染
haeSpaceRenderFile.cancel();

完成以上步骤,就可以得到对应的空间动态渲染效果,在应用内轻松实现2D转3D音效啦!这项功能还可以应用到企业会议以及运动康复领域,比如在展会上进行产品沉浸式展示、作为视障人群的方向感线索,为日常生活提供便利等。开发者们可以根据自己应用的实际需求选择使用,如需了解更多详情,请参考: 华为开发者联盟音频编辑服务官网; 获取集成音频编辑服务指导文档

了解更多详情>>

访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址:GitHubGitee

关注我们,第一时间了解 HMS Core 最新技术资讯~


Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK