方法

引擎管理

方法 描述
createRTCVideo 创建 IRTCVideo 实例。

如果当前线程中未创建引擎实例,那么你必须先使用此方法,以使用 RTC 提供的各种音视频能力。

如果当前线程中已创建了引擎实例,再次调用此方法时,会返回已创建的引擎实例。
destroyRTCVideo 销毁由 createRTCVideo 创建的 IRTCVideo 实例,并释放所有相关资源。
getSDKVersion 获取当前 SDK 版本信息。
feedback 将用户反馈的问题上报到 RTC
getErrorDescription 获取错误码的描述
setBusinessId 设置业务标识参数

可通过 businessId 区分不同的业务场景。businessId 由客户自定义,相当于一个“标签”,可以分担和细化现在 AppId 的逻辑划分的功能,但不需要鉴权。
setRuntimeParameters 设置运行时的参数

房间管理

方法 描述
createRTCRoom 创建房间
多次调用此方法以创建多个 IRTCRoom 实例。分别调用各 IRTCRoom 实例中的 joinRoom 方法,同时加入多个房间。多房间模式下,用户可以同时订阅各房间的音视频流。
destroy 退出并销毁调用 createRTCRoom 所创建的房间。
setRTCRoomEventHandler 通过设置 IRTCRoom 对象的事件句柄,监听此对象对应的回调事件。
joinRoom 创建/加入房间:房间不存在时即创建房间;房间存在时,未加入房间的用户可加入这个房间。

同一房间内的用户间可以相互通话。

进房后重复调用无效,用户必须调用 leaveRoom 退出当前房间后,才能加入下一个房间。
leaveRoom 离开房间。

用户调用此方法离开房间,结束通话过程,释放所有通话相关的资源。

加入房间后,必须调用此方法结束通话,否则无法开始下一次通话。无论当前是否在房间内,都可以调用此方法。重复调用此方法没有负面影响。

此方法是异步操作,调用返回时并没有真正退出房间。真正退出房间后,本地会收到 onLeaveRoom 回调通知。
setUserVisibility 设置用户可见性。默认可见。
updateToken 更新 Token。

用于加入房间的 Token 有一定的有效期。在 Token 过期前 30 秒,会收到 onTokenWillExpire 回调,此时需要重新获取 Token,并调用此方法更新 Token,否则用户将因为 Token 过期被移出房间。

调用 joinRoom 方法加入房间或断网重连进入房间时,如果 Token 过期或无效,将导致加入房间失败,并会收到 onRoomStateChanged 回调通知,回调错误码为 ErrorCode 中的 ERROR_CODE_INVALID_TOKEN。此时需要重新获取 Token,并调用此方法更新 Token。 更新 Token 后,SDK 会自动加入房间。

音频管理

方法 描述
buildAudioFrame 创建 IAudioFrame
enumerateAudioPlaybackDevices 获取当前系统内音频播放设备列表。如果后续设备有变更,你会收到 OnMediaDeviceStateChanged 回调通知,然后需要重新调用本接口以获得新的设备列表。
enumerateAudioCaptureDevices 获取当前系统内音频采集设备列表。如果后续设备有变更,你需要重新调用本接口以获得新的设备列表。
setAudioPlaybackDevice 设置音频播放设备。
setAudioCaptureDevice 设置音频采集设备。
getAudioPlaybackDevice 获取当前音频播放设备 ID。
getAudioCaptureDevice 获取当前音频采集设备 ID。
followSystemPlaybackDevice 设置音频播放路由是否跟随系统。
followSystemCaptureDevice 设置音频采集路由是否跟随系统。
setAudioPlaybackDeviceVolume 设置当前音频播放设备音量
getAudioPlaybackDeviceVolume 获取当前音频播放设备音量
setAudioCaptureDeviceVolume 设置当前音频采集设备音量
getAudioCaptureDeviceVolume 获取当前音频采集设备音量
setAudioPlaybackDeviceMute 设置当前音频播放设备静音状态,默认为非静音。
getAudioPlaybackDeviceMute 获取当前音频播放设备是否静音的信息。
setAudioCaptureDeviceMute 设置当前音频采集设备静音状态,默认为非静音。
getAudioCaptureDeviceMute 获取当前音频采集设备是否静音的信息。
muteAudioPlayback 控制本地音频流播放状态:播放/不播放
setCaptureVolume 调节音频采集音量
setPlaybackVolume 调节本地播放的所有远端用户混音后的音量。播放音频前或播放音频时,你都可以使用此接口设定播放音量。
setRemoteAudioPlaybackVolume 调节来自远端用户的音频播放音量
enableAudioPropertiesReport 启用音频信息提示。
startAudioCapture 开启内部音频采集。默认为关闭状态。

内部采集是指:使用 RTC SDK 内置的视频采集机制进行视频采集。
调用该方法开启后,本地用户会收到 onAudioDeviceStateChanged 的回调。

非隐身用户进房后调用该方法,房间中的其他用户会收到 onUserStartAudioCapture 的回调。
stopAudioCapture 立即关闭内部音频采集。默认为关闭状态。

内部采集是指:使用 RTC SDK 内置的视频采集机制进行视频采集。
调用该方法,本地用户会收到 onAudioDeviceStateChanged 的回调。

非隐身用户进房后调用该方法后,房间中的其他用户会收到 onUserStopAudioCapture 的回调。
startScreenAudioCapture 在屏幕共享时,开始使用 RTC SDK 内部采集方式,采集屏幕音频
stopScreenAudioCapture 在屏幕共享时,停止使用 RTC SDK 内部采集方式,采集屏幕音频。
setAudioProfile 设置音质档位。当所选的 RoomProfileType 中的音频参数无法满足你的场景需求时,调用本接口切换的音质档位。
getAudioDeviceManager 设备音频管理接口创建
stopAudioPlaybackDeviceTest 停止音频播放测试。
startAudioDeviceRecordTest 开始音频采集设备和音频播放设备测试。

建议提前调用 enableAudioPropertiesReport 注册音量提示回调,测试开始后,音频设备开始采集本地声音,可以通过 onLocalAudioPropertiesReport 获取采集音量。
stopAudioDeviceRecordAndPlayTest 停止采集本地音频,并开始播放采集到的声音。录音播放完毕后,设备测试流程结束。

调用 startAudioDeviceRecordTest 30 s 内调用本接口来停止采集并开始播放此前采集到的声音。
stopAudioDevicePlayTest 停止由调用 startAudioDeviceRecordTest 开始的音频播放设备测试。

在音频播放设备测试自动结束前,可调用本接口停止音频采集与播放测试。
enableExternalSoundCard 启用匹配外置声卡的音频处理模式

视频管理

方法 描述
startVideoCapture 立即开启内部视频采集。默认为关闭状态。

内部视频采集指:使用 RTC SDK 内置视频采集模块,进行采集。

调用该方法后,本地用户会收到 onVideoDeviceStateChanged 的回调。

本地用户在非隐身状态下调用该方法后,房间中的其他用户会收到 onUserStartVideoCapture 的回调。
stopVideoCapture 立即关闭内部视频采集。默认为关闭状态。

内部视频采集指:使用 RTC SDK 内置视频采集模块,进行采集。

调用该方法后,本地用户会收到 onVideoDeviceStateChanged 的回调。

非隐身用户进房后调用该方法,房间中的其他用户会收到 onUserStopVideoCapture 的回调。
setVideoCaptureConfig 设置 RTC SDK 内部采集时的视频采集参数。

如果你的项目使用了 SDK 内部采集模块,可以通过本接口指定视频采集参数,包括模式、分辨率、帧率。
setLocalVideoCanvas 设置本地视频渲染时,使用的视图,并设置渲染模式。
updateLocalVideoCanvas 修改本地视频渲染模式和背景色。
setRemoteStreamVideoCanvas 设置渲染指定视频流 stream_key 时,使用的视图和渲染模式。

如果需要解除某个用户的绑定视图,你可以把 canvas 设置为空。
updateRemoteStreamVideoCanvas 修改远端视频渲染模式和背景色。
registerFaceDetectionObserver 注册人脸检测结果回调观察者

注册此观察者后,你会周期性收到 onFaceDetectResult 回调。
getCount 获取当前系统内音视频设备数量
enumerateVideoCaptureDevices 获取当前系统内视频采集设备列表。
setVideoCaptureDevice 设置当前视频采集设备
getVideoCaptureDevice 获取当前 SDK 正在使用的视频采集设备信息
getVideoDeviceManager 创建视频设备管理实例
buildVideoFrame 创建 IVideoFrame
setVideoEncoderConfig
视频发布端设置期望发布的最大分辨率视频流参数,包括分辨率、帧率、码率、缩放模式、网络不佳时的回退策略等。

该接口支持设置一路视频流参数,设置多路参数请使用重载 API:SetVideoEncoderConfig。
setVideoEncoderConfig
视频发布端设置推送多路流时各路流的参数,包括分辨率、帧率、码率、缩放模式、网络不佳时的回退策略等。

音视频传输

方法 描述
publishStream 在当前所在房间内发布本地通过摄像头/麦克风采集的媒体流
unpublishStream 停止将本地摄像头/麦克风采集的媒体流发布到当前所在房间中
subscribeStream 订阅房间内指定的通过摄像头/麦克风采集的媒体流,或更新对指定远端用户的订阅选项
unsubscribeStream 取消订阅房间内指定的通过摄像头/麦克风采集的媒体流。

该方法对自动订阅和手动订阅模式均适用。
requestRemoteVideoKeyFrame 在订阅远端视频流之后,向远端请求关键帧
startForwardStreamToRooms 开始跨房间转发媒体流。
在用户进入房间后调用本接口,实现向多个房间转发媒体流,适用于跨房间连麦等场景。
stopForwardStreamToRooms 停止跨房间媒体流转发。
通过 startForwardStreamToRooms 发起媒体流转发后,可调用本方法停止向所有目标房间转发媒体流。
updateForwardStreamToRooms 更新跨房间媒体流转发信息。

通过 startForwardStreamToRooms 发起媒体流转发后,可调用本方法增加或者减少目标房间,或更新房间密钥。
调用本方法增加或删减房间后,将在本端触发 onForwardStreamStateChanged 回调,包含发生了变动的目标房间中媒体流转发状态。
pauseForwardStreamToAllRooms 暂停跨房间媒体流转发。
通过 startForwardStreamToRooms 发起媒体流转发后,可调用本方法暂停向所有目标房间转发媒体流。
调用本方法暂停向所有目标房间转发后,你可以随时调用 resumeForwardStreamToAllRooms 快速恢复转发。
resumeForwardStreamToAllRooms 恢复跨房间媒体流转发。
调用 pauseForwardStreamToAllRooms 暂停转发之后,调用本方法恢复向所有目标房间转发媒体流。
pauseAllSubscribedStream 暂停接收来自远端的媒体流。
resumeAllSubscribedStream 恢复接收来自远端的媒体流
setMultiDeviceAVSync 设置发流端音画同步。

当同一用户同时使用两个通话设备分别采集发送音频和视频时,有可能会因两个设备所处的网络环境不一致而导致发布的流不同步,此时你可以在视频发送端调用该接口,SDK 会根据音频流的时间戳自动校准视频流,以保证接收端听到音频和看到视频在时间上的同步性。
startPushPublicStream 发布一路公共流

公共流是指不属于任何房间,也不属于任何用户的媒体流。使用同一 appID 的用户,可以调用 startPlayPublicStream 获取和播放指定的公共流。
stopPushPublicStream 停止发布当前用户发布的公共流

关于发布公共流,查看 startPushPublicStream。
updatePublicStreamParam 更新公共流参数

关于发布公共流,查看 startPushPublicStream。
startPlayPublicStream 订阅指定公共流

无论用户是否在房间内,都可以调用本接口获取和播放指定的公共流。
stopPlayPublicStream 取消订阅指定公共流

关于订阅公共流,查看 startPlayPublicStream。
setPublicStreamVideoCanvas 为指定公共流绑定内部渲染视图
setPublicStreamVideoSink 为指定公共流绑定自定义渲染器。详见自定义视频渲染。

音视频处理

方法 描述
getVideoEffectInterface 获取视频特效接口
setLocalVideoMirrorType 为采集到的视频流开启镜像
setVideoWatermark 在指定视频流上添加水印。
clearVideoWatermark 移除指定视频流的水印。
checkLicense 视频特效许可证检查
getAuthMessage 从特效 SDK 获取授权消息,用于获取在线许可证。
freeAuthMessage 使用完授权消息字符串后,释放内存。
setAlgoModelPath 设置视频特效算法模型路径
enableEffect 开启关闭视频特效
setEffectNodes 设置视频特效素材包
updateNode 设置特效强度
setColorFilter 设置颜色滤镜
setColorFilterIntensity 设置已启用颜色滤镜的强度
enableEffectBeauty 开启/关闭基础美颜
setBeautyIntensity 调整基础美颜强度
setBackgroundSticker 将摄像头采集画面中的人像背景替换为指定图片或纯色背景。
若要取消背景特效,将背景贴纸特效素材路径设置为null。
setVoiceChangerType 设置变声特效类型
setVoiceReverbType 设置混响特效类型
setLocalVoicePitch 开启本地语音变调功能,多用于 K 歌场景。

使用该方法,你可以对本地语音的音调进行升调或降调等调整。

自定义流处理

方法 描述
setVideoSourceType 设置向 SDK 输入的视频源
默认使用内部采集。内部采集指:使用 RTC SDK 内置的视频采集机制进行视频采集。
pushExternalVideoFrame 发送外部源视频数据
setLocalVideoSink 将本地视频流与自定义渲染器绑定。
setRemoteVideoSink 将远端视频流与自定义渲染器绑定。
registerRemoteEncodedVideoFrameObserver 注册远端编码后视频数据回調。

完成注册后,当 SDK 监测到远端编码后视频帧时,会触发 onRemoteEncodedVideoFrame 回调
setVideoDecoderConfig 在订阅远端视频流之前,设置远端视频数据解码方式
setAudioSourceType 切换音频采集方式
setAudioRenderType 切换音频渲染方式
pushExternalAudioFrame 推送自定义音频数据。
pullExternalAudioFrame 拉取远端音频数据。可用于自定义音频渲染。
registerLocalVideoProcessor 设置自定义视频前处理器。

使用这个视频前处理器,你可以调用 processVideoFrame 对 RTC SDK 采集得到的视频帧进行前处理,并将处理后的视频帧用于 RTC 音视频通信。
processVideoFrame 获取 RTC SDK 采集得到的视频帧,根据 registerLocalVideoProcessor 设置的视频前处理器,进行视频前处理,最终将处理后的视频帧给到 RTC SDK 用于编码传输。
registerAudioProcessor 注册自定义音频处理器。

注册完成后,你可以调用 enableAudioProcessor,对本地采集或接收到的远端音频进行处理。
enableAudioProcessor 获取本地采集的音频帧或接收到的远端音频帧,进行自定义处理。
disableAudioProcessor 关闭自定义音频处理。
registerVideoFrameObserver 注册视频数据回调观察者
registerAudioFrameObserver 注册音频数据回调观察者。
enableAudioFrameCallback 开启音频回调
disableAudioFrameCallback 关闭音频回调
registerLocalEncodedVideoFrameObserver 注册本地视频帧监测器。

无论使用内部采集还是自定义采集,调用该方法后,SDK 每监测到一帧本地视频帧时,都会将视频帧信息通过 onLocalEncodedVideoFrame 回调给用户
setExternalVideoEncoderEventHandler 注册自定义编码帧推送事件回调
pushExternalEncodedVideoFrame 推送自定义编码后的视频流

网络管理

方法 描述
enableSimulcastMode 该方法设置视频流发布端是否开启发布多路编码参数不同的视频流的模式。
setRemoteVideoConfig 设置期望订阅的远端视频流的参数。
setPublishFallbackOption 设置发布的音视频流的回退选项。

你可以调用该接口设置网络不佳或设备性能不足时从大流起进行降级处理,以保证通话质量。
setSubscribeFallbackOption 设置订阅的音视频流的回退选项。

你可调用该接口设置网络不佳或设备性能不足时允许订阅流进行降级或只订阅音频流,以保证通话流畅。
setRemoteUserPriority 设置用户优先级
startAudioPlaybackDeviceTest 启动音频播放设备检测。测试启动后,循环播放指定的音频文件,同时将通过 onAudioPlaybackDeviceTestVolume 回调播放时的音量信息。
stopAudioPlaybackDeviceTest 停止音频播放测试。
initAudioPlaybackDeviceForTest 尝试初始化音频播放设备,可检测出设备不存在、权限被拒绝/禁用等异常问题。
initAudioCaptureDeviceForTest 尝试初始化音频采集设备,可检测设备不存在、权限被拒绝/禁用等异常问题。
startNetworkDetection 开启通话前网络探测
stopNetworkDetection 停止通话前网络探测
startEchoTest 开启音视频回路测试。

在进房前,用户可调用该接口对音视频通话全链路进行检测,包括对音视频设备以及用户上下行网络的检测,从而帮助用户判断是否可以正常发布和接收音视频流。

开始检测后,SDK 会录制你声音或视频。如果你在设置的延时范围内收到了回放,则视为音视频回路测试正常。
stopEchoTest 停止音视频回路测试。

调用 startEchoTest 开启音视频回路检测后,你必须调用该方法停止检测。

消息

方法 描述
sendRoomMessage 给房间内的所有其他用户发送广播消息。
sendRoomBinaryMessage 给房间内的所有其他用户发送广播消息。
login 必须先登录,才能发送房间外点对点消息和向应用服务器发送消息

在调用本接口登录后,如果想要登出,需要调用 logout。
logout 调用本接口登出后,无法调用房间外消息以及端到服务器消息相关的方法或收到相关回调。
updateLoginToken 更新用户用于登录的 Token

Token 有一定的有效期,当 Token 过期时,需调用此方法更新登录的 Token 信息。

调用 login 方法登录时,如果使用了过期的 Token 将导致登录失败,并会收到 onLoginResult 回调通知,错误码为 kLoginErrorCodeInvalidToken。此时需要重新获取 Token,并调用此方法更新 Token。
setServerParams 设置应用服务器参数

客户端调用 sendServerMessage 或 sendServerBinaryMessage 发送消息给应用服务器之前,必须设置有效签名和应用服务器地址。
getPeerOnlineStatus 查询对端用户或本端用户的登录状态
sendUserMessage 给房间内指定的用户发送文本消息(P2P)
sendUserBinaryMessage 给房间内指定的用户发送二进制消息(P2P)
sendUserMessageOutsideRoom 给房间外指定的用户发送文本消息(P2P)
sendUserBinaryMessageOutsideRoom 给房间外指定的用户发送二进制消息(P2P)
sendServerMessage 客户端给应用服务器发送文本消息(P2Server)
sendServerBinaryMessage 客户端给应用服务器发送二进制消息(P2Server)
sendStreamSyncInfo 发送音频流同步信息。将消息通过音频流发送到远端,并实现与音频流同步,该接口调用成功后,远端用户会收到 onStreamSyncInfoReceived 回调。
sendSEIMessage 通过视频帧发送 SEI 数据。

在视频通话场景下,SEI 数据会随视频帧发送;在语音通话场景下,SDK 会自动生成一路 16px × 16px 的黑帧视频流用来发送 SEI 数据。

CDN 推流

方法 描述
startLiveTranscoding 新增转推直播任务,并设置合流的图片、视频视图布局和音频属性。

同一个任务中转推多路直播流时,SDK 会先将多路流合成一路流,然后再进行转推。
stopLiveTranscoding 停止转推直播,会收到 onStreamMixingEvent 回调。

关于启动转推直播,参看 startLiveTranscoding。
updateLiveTranscoding 更新转推直播参数,会收到 onStreamMixingEvent 回调。

使用 startLiveTranscoding 启用转推直播功能后,使用此方法更新功能配置参数。

混音

方法 描述
enableAudioMixingFrame 启动外部音频流混音
启动 PCM 音频数据混音。

要实现多个 PCM 音频数据混音,多次调用本方法,并传入不同的 mix_id。
disableAudioMixingFrame 关闭 PCM 混音
pushAudioMixingFrame 推送 PCM 音频帧数据用于混音
getAudioMixingManager 混音管理接口创建
startAudioMixing 开始播放音频文件。

可以通过传入不同的 ID 和 filepath 多次调用本方法,以实现同时播放多个混音文件,实现混音叠加。
stopAudioMixing 停止播放音乐文件及混音
pauseAudioMixing 暂停播放音乐文件及混音
resumeAudioMixing 恢复播放音乐文件及混音
setAudioMixingVolume 调节混音的音量大小,包括音频文件混音和 PCM 混音。
enableVocalInstrumentBalance 开启/关闭音量均衡功能。

开启音量均衡功能后,人声的响度会调整为 -16lufs。如果已调用 setAudioMixingLoudness 传入了混音音乐的原始响度,此音乐播放时,响度会调整为 -20lufs。(Linux 不支持)
setAudioMixingLoudness 如果你需要使用 enableVocalInstrumentBalance 对混音使音频文件/PCM 音频数据进行音量调整,你必须通过此接口传入其原始响度。
enablePlaybackDucking 打开/关闭音量闪避功能,适用于“一起看”等场景。

开启该功能后,当检测到远端人声时,本地的媒体播放音量会自动减弱,从而保证远端人声的清晰可辨;当远端人声消失时,本地媒体音量会恢复到闪避前的音量水平。
setAudioMixingPitch 开启本地播放音乐文件变调功能,多用于 K 歌场景。

使用该方法,你可以对本地播放音乐文件的音调进行升调或降调等调整。
getAudioMixingCurrentPosition 获取音乐文件播放进度
setAudioMixingPosition 设置音频文件的起始播放位置
getAudioTrackCount 获取当前音频文件的音轨索引
selectAudioTrack 指定当前音频文件的播放音轨
setAudioMixingPlaybackSpeed 设置混音时音频文件的播放速度
setAudioMixingDualMonoMode 设置当前音频文件的声道模式
setAudioMixingProgressInterval 设置混音时音频文件播放进度回调的间隔
preloadAudioMixing 预加载指定音频文件到内存中,以避免频繁播放时的重复加载。
unloadAudioMixing 卸载指定音乐文件

屏幕分享

方法 描述
getScreenCaptureSourceList 获取共享对象列表。使用完之后需要调用 release 接口释放。
startScreenVideoCapture 采集屏幕视频流,用于共享。屏幕视频流包括:屏幕上显示的内容,应用窗口中显示的内容,或虚拟屏幕中显示的内容。

其中,虚拟屏幕中显示的内容仅在 Windows 平台上支持。
updateScreenCaptureHighlightConfig 通过 RTC SDK 提供的采集模块采集屏幕视频流时,更新边框高亮设置。默认展示表框。
updateScreenCaptureMouseCursor 通过 RTC SDK 提供的采集模块采集屏幕视频流时,更新对鼠标的处理设置。默认采集鼠标。
updateScreenCaptureFilterConfig 通过 RTC SDK 提供的采集模块采集屏幕视频流时,设置需要过滤的窗口。
updateScreenCaptureRegion 通过 RTC SDK 提供的采集模块采集屏幕视频流时,更新采集区域。
stopScreenVideoCapture 停止屏幕视频流采集。
publishScreen 在当前所在房间内发布本地屏幕共享音视频流
unpublishScreen 停止将本地屏幕共享音视频流发布到当前所在房间中
getThumbnail 获取共享对象缩略图
setScreenAudioSourceType 在屏幕共享时,设置屏幕音频的采集方式(内部采集/自定义采集)
setScreenAudioStreamIndex 在屏幕共享时,设置屏幕音频流和麦克风采集到的音频流的混流方式
pushScreenAudioFrame 使用自定义采集方式,采集屏幕共享时的屏幕音频时,将音频帧推送至 RTC SDK 处进行编码等处理。
pushScreenFrame 推送屏幕视频帧
setScreenVideoEncoderConfig 为发布的屏幕共享视频流设置期望的编码参数,包括分辨率、帧率、码率、缩放模式、网络不佳时的回退策略等。
subscribeScreen 订阅房间内指定的远端屏幕共享音视频流,或更新对指定远端用户的订阅选项
unsubscribeScreen 取消订阅房间内指定的远端屏幕共享音视频流。

该方法对自动订阅和手动订阅模式均适用。

安全与加密

方法 描述
startCloudProxy 开启云代理
stopCloudProxy 关闭云代理
setCustomizeEncryptHandler 设置自定义加密

需要实现对应的加密/解密方法,详情参考 EncryptType 。
setEncryptInfo 设置传输时使用内置加密的方式

高级功能

方法 描述
startFileRecording 该方法将通话过程中的音视频数据录制到本地的文件中。
stopFileRecording 停止本地录制
getSpatialAudio 获取空间音频接口实例。
getRangeAudio 获取范围语音接口实例。
CreateStreamingRTCEngine 创建 IStreamingRTCEngine 实例。

如果当前线程中未创建引擎实例,那么你必须先使用此方法,以使用 IStreamingRTCEngine 提供的各种音视频能力。

如果当前线程中已创建了引擎实例,再次调用此方法时,会创建另一个独立的引擎实例。
DestroyStreamingRTCEngine 销毁由 CreateStreamingRTCEngine 创建的 IStreamingRTCEngine 实例,并释放所有相关资源。
Startup 启动串流引擎

通过 EngineConfig 设置引擎类型服务端或客户端和端口号范围
Shutdown 关闭串流引擎
SendP2PMessage 发送点对点文本消息
SendP2PBinaryMessage 发送点对点二进制消息
PullAudioFrame 拉取音频数据
PushAudioFrame 推送自定义音频数据
SetVideoDecoderConfig 设置远端视频数据解码方式。

需要在 Startup 之前调用本接口。
SetVideoSourceType 设置输入到串流引擎的视频源

默认使用内部采集。内部采集指:使用 SDK 内置的视频采集机制进行视频采集。
PushVideoFrame 发送外部源视频数据
PushEncodedVideoFrame 推送自定义编码后的视频流
RequestRemoteVideoKeyFrame 在订阅远端视频流之后,向远端请求关键帧
SetReportExtraInfo 设置上报的 trace 的 extra_info

回调

引擎管理

回调 描述
onLogReport 端监控日志回调。当产生一个端监控事件时触发该回调。
onSysStats 周期性(2s)地发出回调,报告当前cpu与memory使用率
onWarning 当内部发生警告事件时触发该回调
onError 当 SDK 内部发生不可逆转错误时触发该回调。
onHttpProxyState HTTP 代理连接状态改变时,收到该回调。
onHttpsProxyState HTTPS 代理连接状态改变时,收到该回调。
onSocks5ProxyState Socks5 代理状态改变时,收到该回调。
onTokenWillExpire Token 过期前 30 秒将触发该回调。

调用 updateToken 更新 Token。否则 Token 过期后,用户将被移出房间无法继续进行音视频通话。

房间管理

回调 描述
onRoomStateChanged 房间状态改变回调,加入房间、离开房间、发生房间相关的警告或错误时会收到此回调。
onCreateRoomStateChanged 创建房间失败回调。
onLeaveRoom 离开房间回调。

用户调用 leaveRoom 方法后,SDK 会停止所有的发布订阅流,并在释放所有与通话相关的音视频资源后,通过此回调通知用户离开房间成功。
onUserJoined 远端可见用户加入房间,或房内隐身用户切换为可见的回调。

1. 远端用户调用 setUserVisibility 方法将自身设为可见后加入房间时,房间内其他用户将收到该事件。

2. 远端可见用户断网后重新连入房间时,房间内其他用户将收到该事件。

3. 房间内隐身远端用户调用 setUserVisibility 方法切换至可见时,房间内其他用户将收到该事件。

4. 新进房用户会收到进房前已在房内的可见用户的进房回调通知。
onUserLeave 远端用户离开房间,或切至不可见时,本地用户会收到此事件
onRoomStats 房间内通话统计信息回调。

用户进房开始通话后,每 2s 收到一次本回调。

音频管理

回调 描述
onAudioDeviceWarning 音频设备警告回调。音频设备包括音频采集设备和音频渲染设备。
onAudioDeviceStateChanged 音频设备状态回调。提示音频采集、音频播放等设备设备的状态。
onLocalAudioPropertiesReport 调用 enableAudioPropertiesReport 后,根据设置的 interval 值,你会周期性地收到此回调,了解本地音频的相关信息。

本地音频包括使用 RTC SDK 内部机制采集的麦克风音频和屏幕音频。
onRemoteAudioPropertiesReport 远端用户进房后,本地调用 enableAudioPropertiesReport,根据设置的 interval 值,本地会周期性地收到此回调,了解订阅的远端用户的音频信息。

远端用户的音频包括使用 RTC SDK 内部机制/自定义机制采集的麦克风音频和屏幕音频。
onUserStartAudioCapture 房间内的用户调用 startAudioCapture 开启音频采集时,房间内其他用户会收到此回调。
onUserStopAudioCapture 房间内的用户调用 stopAudioCapture 关闭音频采集时,房间内其他用户会收到此回调。
onActiveSpeaker 调用 enableAudioPropertiesReport 后,根据设置的 config.interval,你会周期性地收到此回调,获取房间内的最活跃用户信息。
onStreamSyncInfoReceived 音频流同步信息回调。可以通过此回调,在远端用户调用 sendStreamSyncInfo 发送音频流同步消息后,收到远端发送的音频流同步信息。
onAudioStreamBanned 通过调用服务端 BanUserStream/UnbanUserStream 方法禁用/解禁指定房间内指定用户音频流的发送时,触发此回调。
onAudioPlaybackDeviceTestVolume 回调音频设备测试时的播放音量

视频管理

回调 描述
onUserStartVideoCapture 房间内的可见用户调用 startVideoCapture 开启内部视频采集时,房间内其他用户会收到此回调。
onUserStopVideoCapture 房间内的可见用户调用 stopVideoCapture 关闭内部视频采集时,房间内其他用户会收到此回调。
onVideoDeviceStateChanged 视频频设备状态回调。提示摄像头视频采集、屏幕视频采集等设备的状态。
onVideoDeviceWarning 视频设备警告回调,包括视频采集设备等。
onFaceDetectResult 特效 SDK 进行人脸检测结果的回调。

调用 registerFaceDetectionObserver 注册了 IFaceDetectionObserver,并使用 RTC SDK 中包含的特效 SDK 进行视频特效处理时,你会收到此回调。

音视频传输

回调 描述
onStreamStateChanged 流状态改变回调,发生流相关的警告或错误时会收到此回调。
onAVSyncStateChange 发布端调用 setMultiDeviceAVSync 后音视频同步状态发生改变时,会收到此回调。
onUserPublishStream 房间内新增远端摄像头/麦克风采集的媒体流的回调。
onUserUnpublishStream 房间内远端摄像头/麦克风采集的媒体流移除的回调。
onStreamSubscribed 关于订阅媒体流状态改变的回调
onAudioFrameSendStateChanged 音频首帧发送状态改变回调
onVideoFrameSendStateChanged 视频首帧发送状态改变回调
onAudioFramePlayStateChanged 音频首帧播放状态改变回调
onVideoFramePlayStateChanged 视频首帧播放状态改变回调
onLocalStreamStats 发布流成功后,每隔 2s 收到此回调,了解发布的流在此周期内的网络质量信息。
onRemoteStreamStats 每隔 2s 收到此回调,了解订阅的远端用户发布的流在此周期内的网络质量信息。
onNetworkQuality 加入房间后, 以 2 秒 1 次的频率,报告用户的网络质量信息
onForwardStreamStateChanged 跨房间媒体流转发状态和错误回调
onForwardStreamEvent 跨房间媒体流转发事件回调
onLocalAudioStateChanged 本地音频的状态发生改变时,该回调通知当前的本地音频状态。
onRemoteAudioStateChanged 用户订阅来自远端的音频流状态发生改变时,会收到此回调,了解当前的远端音频流状态。
onFirstLocalAudioFrame 本地采集到第一帧音频帧时,收到该回调
onFirstRemoteAudioFrame 接收到来自远端某音频流的第一帧时,收到该回调。
onFirstLocalVideoFrameCaptured RTC SDK 在本地完成第一帧视频帧或屏幕视频帧采集时,收到此回调。
onLocalVideoSizeChanged 本地视频大小或旋转配置发生改变时,收到此回调。
onRemoteVideoSizeChanged 远端视频大小或旋转配置发生改变时,房间内订阅此视频流的用户会收到此回调。
onFirstRemoteVideoFrameRendered SDK 内部渲染成功远端视频流首帧后,收到此回调。
onLocalVideoStateChanged 本地视频流的状态发生改变时,收到该事件。
onRemoteVideoStateChanged 远端视频流的状态发生改变时,房间内订阅此流的用户会收到该事件。
onVideoStreamBanned 通过调用服务端 BanUserStream/UnbanUserStream 方法禁用/解禁指定房间内指定用户视频流的发送时,触发此回调。
onFirstRemoteVideoFrameDecoded SDK 接收并解码远端视频流首帧后,收到此回调。
onPushPublicStreamResult 公共流发布结果回调。

调用 startPushPublicStream 接口发布公共流后,启动结果通过此回调方法通知用户。
onPlayPublicStreamResult 订阅公共流的结果回调

通过 startPlayPublicStream 订阅公共流后,可以通过本回调获取订阅结果。
onPublicStreamSEIMessageReceived 回调公共流中包含的 SEI 信息

通过 startPlayPublicStream 开始播放公共流后,可以通过本回调获取公共流中包含的 SEI 信息。
onFirstPublicStreamVideoFrameDecoded 公共流的首帧视频解码成功

关于订阅公共流,详见 startPlayPublicStream。
onFirstPublicStreamAudioFrame 公共流的音频首帧解码成功

关于订阅公共流,详见 startPlayPublicStream。

自定义流处理

回调 描述
onStart 提示自定义编码帧可以开始推送的回调。

收到该回调后,你即可调用 pushExternalEncodedVideoFrame 向 SDK 推送自定义编码视频帧
onStop 当收到该回调时,你需停止向 SDK 推送自定义编码视频帧
onRateUpdate 当自定义编码流的帧率或码率发生变化时,触发该回调
onRequestKeyFrame 提示流发布端需重新生成关键帧的回调
onLocalEncodedVideoFrame 调用 registerLocalEncodedVideoFrameObserver 后,SDK 每次使用内部采集,采集到一帧视频帧,或收到一帧外部视频帧时,都会回调该事件。
onRemoteEncodedVideoFrame 调用 registerRemoteEncodedVideoFrameObserver 后,SDK 监测到远端编码后视频数据时,触发该回调
onLocalVideoFrame 获取采集成功的本地摄像头流视频帧,用于自定义处理或渲染。
onLocalScreenFrame 获取采集成功的本地屏幕视频帧,用于自定义处理或渲染。
onRemoteVideoFrame 获取采集成功的远端摄像头流视频帧,用于自定义处理或渲染。
onRemoteScreenFrame 获取采集成功的远端屏幕视频帧,用于自定义处理或渲染。
onRecordAudioFrame 返回麦克风录制的音频数据
onPlaybackAudioFrame 返回订阅的所有远端用户混音后的音频数据
onRemoteUserAudioFrame 返回远端单个用户的音频数据
onMixedAudioFrame 返回本地麦克风录制和订阅的所有远端用户混音后的音频数据
onRecordScreenAudioFrame 返回本地屏幕录制的音频数据

网络管理

回调 描述
onPerformanceAlarms 本地未开启发布性能回退,检测到设备性能不足时,收到此回调。

本地开启发布性能回退,因设备性能/网络原因,造成发布性能回退/恢复时,收到此回调。
onSimulcastSubscribeFallback 音视频流因网络环境变化等原因发生回退,或从回退中恢复时,触发该回调。
onNetworkDetectionResult 通话前网络探测结果。

成功调用 startNetworkDetection 接口开始探测后,会在 3s 内首次收到该回调,之后每 2s 收到一次该回调。
onNetworkDetectionStopped 通话前网络探测结束
以下情况将停止探测并收到本一次本回调:

1. 当调用 stopNetworkDetection 接口停止探测后,会收到一次该回调;
2. 当收到远端/本端音频首帧后,停止探测;
3. 当探测超过3分钟后,停止探测;
4. 当探测链路断开一定时间之后,停止探测。
onConnectionStateChanged SDK 与信令服务器连接状态改变回调。连接状态改变时触发。
onNetworkTypeChanged SDK 当前网络连接类型改变回调。当 SDK 的当前网络连接类型发生改变时回调该事件。
onSEIMessageReceived 收到通过 sendSEIMessage 发送的带有 SEI 消息的视频帧时,收到此回调
onEchoTestResult 关于音视频回路测试结果的回调。

消息

回调 描述
onLoginResult 登录结果回调
onLogout 登出结果回调
onServerParamsSetResult 设置应用服务器参数的返回结果
onGetPeerOnlineStatus 查询对端或本端用户登录状态的返回结果
onUserMessageReceivedOutsideRoom 收到房间外用户调用 sendUserMessageOutsideRoom 发来的文本消息时,会收到此回调
onUserBinaryMessageReceivedOutsideRoom 收到房间外用户调用 sendUserBinaryMessageOutsideRoom 发来的二进制消息时,会收到此回调
onUserMessageSendResultOutsideRoom 给房间外指定的用户发送消息的回调
onServerMessageSendResult 给应用服务器发送消息的回调
onRoomMessageReceived 接收到房间内广播消息的回调。
onRoomBinaryMessageReceived 接收到房间内二进制广播消息的回调。
onUserMessageReceived 收到来自房间中其他用户发来的文本消息时(P2P),会收到此回调。
onUserBinaryMessageReceived 单个用户接收到同一房间内其他 uid 所属用户发来二进制消息的回调(P2P)。
onUserMessageSendResult 向房间内单个用户发送文本或二进制消息后(P2P),消息发送方会收到该消息发送结果回调。
onRoomMessageSendResult 当调用 sendRoomMessage 函数发送消息后,回调此条消息的发送结果(反馈)。
onSEIStreamUpdate 黑帧视频流发布状态回调。

在语音通话场景下,本地用户调用 sendSEIMessage 通过黑帧视频流发送 SEI 数据时,流的发送状态会通过该回调通知远端用户。

你可以通过此回调判断携带 SEI 数据的视频帧为黑帧,从而不对该视频帧进行渲染。

CDN 推流

回调 描述
onStreamMixingEvent 转推直播状态回调
onStreamMixingAudioFrame 合流音频回调,运行在音频回调线程
onStreamMixingVideoFrame 合流视频回调,运行在视频回调线程
onStreamMixingDataFrame 视频 SEI 帧回调,运行在视频回调线程

混音

回调 描述
onAudioMixingStateChanged 音频混音文件播放状态改变时回调
onAudioMixingPlayingProgress 混音音频文件播放进度回调

屏幕分享

回调 描述
onUserPublishScreen 房间内新增远端屏幕共享音视频流的回调。
onUserUnpublishScreen 房间内远端屏幕共享音视频流移除的回调。
onScreenVideoFrameSendStateChanged 屏幕共享流视频首帧发送状态改变回调
onScreenVideoFramePlayStateChanged 屏幕共享流视频首帧播放状态改变回调

安全与加密

回调 描述
onCloudProxyConnected 调用 startCloudProxy 开启云代理,SDK 首次成功连接云代理服务器时,回调此事件。
onEncryptData 自定义加密。

使用设定的自定义加密方式,对传输前的音视频帧数据进行加密。
onDecryptData 自定义解密。

对自定义加密后的音视频帧数据进行解密。关于自定义加密,参看 onEncryptData。

高级功能

回调 描述
onRecordingStateUpdate 获取本地录制状态回调。

该回调由 startFileRecording 或 stopFileRecording 触发。
onRecordingProgressUpdate 本地录制进度回调。

该回调由 startFileRecording 触发,录制状态正常时,系统每秒钟都会通过该回调提示录制进度。
onRangeAudioInfo 关于当前范围语音衰减系数的回调。

手动订阅的场景下,房间内任一用户调用 updatePosition 更新自身位置或调用 updateReceiveRange 更新语音接收范围时,该用户与房间内其他用户的相对距离都会发生改变,据此计算的衰减系数也会发生改变,并通过该回调通知用户。

你可以通过关注该回调中包含的远端用户的衰减系数决定是否订阅该远端用户的流。
OnLogReport 端监控日志回调。当产生一个端监控事件时触发该回调。
OnWarning 当内部发生警告事件时触发该回调
OnError 当 SDK 内部发生不可逆转错误时触发该回调。
OnP2PConnectionStateChanged 串流引擎连接状态改变回调。连接状态改变时触发。
OnP2PConnectionStats P2P 通话统计信息回调。

串流引擎启动后,每 2s 收到一次本回调。
OnP2PLocalStreamStats 串流引擎启动后,每隔 2s 收到此回调,了解本端发布的流在此周期内的网络质量信息。
OnP2PRemoteStreamStats 每隔 2s 收到此回调,了解远端用户发布的流在此周期内的网络质量信息。
OnP2PMessageSendResult 调用 SendP2PMessage 或 SendP2PBinaryMessage ,向远端用户发送文本或二进制消息后,消息发送方会收到本次发送的结果回调。
OnP2PMessageReceived 收到远端用户发来的文本消息时,会收到此回调。
OnP2PBinaryMessageReceived 收到远端用户发来的二进制消息时,会收到此回调。
OnP2PRemoteVideoFrame 获取远端用户发送的视频帧。

关于推送视频帧,参看 PushVideoFrame

关于推送已编码的视频流,参看 PushEncodedVideoFrame

关于编码设置,参看 SetVideoDecoderConfig
OnP2PRemoteEncodedVideoFrame 获取远端用户解码前的视频数据。获取数据后传入自定义解码器进行解码。

关于推送视频帧,参看 PushVideoFrame

关于推送已编码的视频流,参看 PushEncodedVideoFrame

关于编码设置,参看 SetVideoDecoderConfig
OnP2PLocalExternalEncoderStart 提醒外部视频编码器开始工作。

关于编码设置,参看 SetVideoSourceType
OnP2PLocalExternalEncoderStop 提醒外部视频编码器停止工作。

关于编码设置,参看 SetVideoSourceType
OnP2PSuggestLocalExternalEncoderRateUpdate 提醒外部视频编码器调整编码码率。

关于编码设置,参看 SetVideoSourceType
OnP2PRequestLocalExternalEncoderKeyFrame 提醒外部视频编码器发送关键帧。

关于编码设置,参看 SetVideoSourceType