虚拟人实时互动之基于Android驱动表情随动

ZEGO Avatar表情随动功能简介

ZEGO Avatar SDK 提供了表情随动功能，基于领先的人脸关键点精准识别，结合面部、舌头、眼球在内的 52 种基础面部表情维度，实时捕获用户脸部的表情动作，在虚拟形象上进行实时的还原渲染。

可广泛应用于社交互动、语聊直播等场景中。

虚拟人适用业务场景

适用语聊直播、社交互动、在线培训等场景，实现真人与虚拟人像的实时互动，增加产品可玩性和趣味性。

下载 (1).jpg

虚拟人表情驱动的前提条件

在实现“表情随动”功能之前，请确保：

• 已在项目中集成了 Avatar SDK，详情请参考 集成 SDK。
• 已参考 创建虚拟形象，完成基本的虚拟人物形象搭建。

虚拟形象表情随动 Android实现流程

开发者请参考以下步骤，实现 “表情随动” 功能。

1 开始虚拟人表情检测

• 开启表情检测前，请确认已开启摄像头权限。
• 开发者如果使用了 ZegoCharacterHelper，则无需再调用 ZegoCharacter 的任何相关接口。

搭建出基本的虚拟人物形象后，调用 startDetectExpression 接口，设置驱动模式为 Camera，通过前置摄像头，开始检测表情；然后可以直接通过 ZegoCharacterHelper 的 setExpression 接口设置表情，驱动当前虚拟人物的面部表情变化。

// 开始表情检测
ZegoAvatarService.getInteractEngine().startDetectExpression(ZegoExpressionDetectMode.Camera, expression -> {
     // 前提是 mCharacterHelper 已经创建好，并且设置了 AvatarView 和设置了默认形象（使用 setDefaultAvatar 或 setAvatarJson 设置过。）。
    // 驱动虚拟人物的脸部变化
     mCharacterHelper.setExpression(expression);
});

2 停止虚拟人表情检测

将应用切换到后台运行、或退出当前页面时，需要调用 stopDetectExpression 接口，停止表情检测。

// 停止表情检测
ZegoAvatarService.getInteractEngine().stopDetectExpression();