Back to Blog

아고라와 Vonage를 비교하여 다자간 웹 비디오 통화 테스트

Testing Agora vs. Vonage for Multi-Party Web Video Calls

이 블로그는 32명의 참가자를 대상으로 한 다자간 웹 비디오 통화에서 아고라와 Vonage를 비교한 테스트 결과를 요약합니다. 이 테스트는 비디오 SDK를 평가할 때 가장 중요한 고려 사항을 포괄적으로 다루며, 제한된 네트워크 환경에서의 성능 분석부터 사용 가능한 대역폭 내에서 전송 속도를 최대화하면서 중앙 처리 장치(CPU) 및 랜덤 액세스 메모리(RAM) 사용량을 최소화하는 방법까지 포함합니다.

테스트 구성 및 시나리오

결과를 자세히 살펴보기 전에, 아고라와 Vonage의 다중 참가자 웹 비디오 통화 테스트에서 포함된 테스트 설정, 구성 및 시나리오를 검토해 보겠습니다.

테스트 설정

 AgoraVonage
Network ConnectivityWi-FiWi-Fi
Participants in Sessions3232
Versions TestedAgora Web Demo (SDK 4.17.0)Vonage WebRTC Demo
Receive Test PC SpecificationReceiver: HP ProBook 630 G8 Notebook PC
Processor: Intel Core i7-1185G7 @ 3.00 GHz
Memory: 16 GB 2400 MHz DDR4
Receiver: HP ProBook 630 G8 Notebook PC Processor: Intel Core i7-1185G7 @ 3.00 GHz
Memory: 16 GB 2400 MHz DDR4
Video Configuration for Receive Test PCReceive 640x480 @ 30 FPSReceive 640x480 @ 30 FPS
Participant DevicesMac or Windows PCsMac or Windows PCs

아고라의 경우, Agora 웹 데모 (SDK 4.17.0)를 사용하여 테스트를 진행했습니다. Vonage의 경우, 비교를 위해 Vonage의 최신 버전의 Vonage WebRTC 데모를 활용하여 테스트를 진행했으며, 이 과정에서 Vonage의 최선의 실천 방법이 적절히 적용되었는지 확인했습니다.

테스트 케이스 시나리오

Test CaseDescription
UnlimitedNormal network conditions
Limited500KThe test starts with no bandwidth limitations, then a low bandwidth 500 Kbps is applied, first on the send side, then applied on the receiver side.
UL25%PLUplink network with impairment of 25% packet loss
DL25%PLDownlink network with impairment of 25% packet loss
Limited500K25%PLThe test starts with no bandwidth limitations, then a low bandwidth 500 Kbps with 25% packet loss is applied, first on the send side, then applied on the receiver side.
UL600msJitterUplink network with impairment of 600ms jitter
DL600msJitter Downlink network with impairment of 600ms jitter

결과 개요

각 테스트 시나리오의 결과를 간략히 요약한 후 각 시나리오의 세부 사항을 자세히 살펴보겠습니다:

  • 정상 네트워크 환경에서: 아고라의 프레임 속도(FPS)는 28 FPS로 안정적으로 유지되었으며, Vonage는 27 FPS를 기록했습니다.
  • 패킷 손실 및 지터: 아고라는 다양한 조건에서 Vonage보다 우수한 프레임 속도를 일관되게 달성했습니다. 이는 네트워크의 업링크/다운링크 패킷 손실이 25%인 경우뿐만 아니라 업링크/다운링크 지터가 600ms인 경우에도 마찬가지였습니다.
  • 제한된 대역폭: 송신 측에서 500 Kbps로 대역폭을 제한한 후 수신 측에서도 제한을 적용했을 때, Agora와 Vonage는 제한이 적용되는 동안 유사한 성능을 보였습니다. 제한이 해제된 후 아고라는 평균 27 FPS의 더 안정적인 프레임 속도를 유지한 반면, Vonage는 더 큰 변동성을 보이며 때로는 15 FPS까지 떨어졌습니다.
  • 500 Kbps 네트워크 대역폭 제한 시 25% 패킷 손실: 제한이 적용된 동안 아고라는 Vonage보다 우수한 성능을 보여주며 평균 약 13 FPS로 회복되었으나, Vonage는 동결된 영상과 함께 0 FPS 근처에서 유지되었습니다. 제한이 해제된 후 아고라와 Vonage는 각각 15 FPS로 회복된 후 약 27 FPS로 상승했습니다. 회복 후 27 FPS에 도달한 후 Agora는 안정적으로 유지되었으며, Vonage는 27 FPS 근처와 15 FPS 사이에서 변동되었습니다.
  • CPU 및 RAM: Agora와 Vonage는 CPU 사용량에서 유사한 결과를 보였으며, 아고라는 Vonage보다 약간 더 많은 RAM을 소비했습니다(평균 1.5% 대 1%의 사용 가능한 RAM).

프레임 속도 테스트

이 테스트에서는 다시 한 번 패킷 손실과 전송 및 수신 프레임 속도에 미치는 네트워크 조건 제한의 영향을 주로 분석했습니다.

정상 네트워크 조건

아래 그래프에서 볼 수 있듯이, 네트워크가 정상 조건에서 작동할 때 아고라는 28 FPS, Vonage는 27 FPS로 프레임 속도가 안정적으로 유지되었습니다. 정상 네트워크 조건 하에서 최종 사용자의 전체 경험은 유사했습니다.

Figure 1: Normal Network Conditions
그림 1: 정상 네트워크 상태

25% 업링크 패킷 손실

25% 업링크 패킷 손실을 적용할 때, 아고라는 15 FPS로 안정적으로 유지되지만 Vonage는 12 FPS로 지연되기 시작합니다.

Figure 2: 25% Uplink Packet Loss
그림 2: 25% 상향 링크 패킷 손실

25% 하향 링크 패킷 손실

25%의 하향 링크 패킷 손실 시, 아고라는 17 FPS를 유지하지만 Vonage의 성능은 크게 저하되어 1 FPS로 떨어지며 영상이 끊김 현상이 발생합니다.

Figure 3: 25% Downlink Packet Loss
그림 3: 하향 링크 패킷 손실률 25%

상향 링크 600ms 지터

IP 네트워크를 통해 트래픽을 전송할 때 지연 시간에 큰 변동이 발생할 수 있습니다. 상향 링크 지터가 600ms인 고도로 과부하된 네트워크 환경을 시뮬레이션할 때, 아고라는 Vonage보다 우수한 성능을 보여주며 8 FPS를 안정적으로 유지합니다. 반면 Vonage는 5 FPS로 떨어집니다.

Figure 4: Uplink 600ms Jitter
그림 4: 상향 링크 600ms 지터

다운링크 600ms 지터

다운링크 지터가 600ms 추가되었을 때, 아고라는 9 FPS를 유지했으며 Vonage는 5 FPS로 하락했습니다.

Figure 5: Downlink 600ms Jitter
그림 5: 하향 링크 600ms 지터

프레임 속도 복구, 500 Kbps 제한

이 테스트는 대역폭 제한 없이 시작되며, 60초 후 네트워크가 상향 방향으로 500 Kbps로 제한되며, 이후 하향 방향으로 총 30초 동안 제한됩니다. 이러한 어려운 조건 하에서 아고라와 Vonage는 제한이 적용되는 동안 유사한 성능을 보였습니다. 제한이 해제된 후 아고라는 평균 27 FPS의 더 안정적인 프레임 속도를 기록했으며, Vonage는 더 큰 변동성을 보이며 때로는 15 FPS까지 떨어졌습니다.

Figure 6: Frame Rate Recovery, 500 Kbps Limit
그림 6: 프레임 속도 복구, 500 Kbps 제한

프레임 속도 복구, 500 Kbps 제한 및 25% 패킷 손실

이 테스트는 대역폭 제한이나 시뮬레이션된 패킷 손실 없이 시작됩니다. 60초 후, 네트워크는 상향 방향에서 500 Kbps로 속도가 제한되며 25%의 시뮬레이션된 패킷 손실이 적용됩니다. 이러한 조건은 하향 방향에 30초 동안 적용됩니다. 제한이 적용된 동안 아고라는 Vonage보다 우수한 성능을 보여주며 평균 프레임 속도 약 13 FPS로 복구되었지만, Vonage는 동결된 비디오와 함께 0 FPS 근처에 머물렀습니다. 제한이 해제된 후, 아고라와 Vonage는 각각 15 FPS로 복구된 후 약 27 FPS로 상승했습니다. 복구 후 27 FPS에 도달한 후, 아고라는 안정적으로 유지되었지만 Vonage는 27 FPS 근처와 15 FPS 사이에서 변동되었습니다.

Figure 7: Frame Rate Recovery, 500 Kbps Limit and 25% Packet Loss
그림 7: 프레임 속도 복구, 500 Kbps 제한 및 25% 패킷 손실

아고라는 네트워크 장애 및 비용이 많이 드는 패킷 손실을 방지하기 위해 여러 가지 방법을 제공합니다. 가장 주목할 만한 방법은 공공 인터넷 위에 SD-RTN™ 네트워크를 오버레이로 활용하는 것입니다. 이 네트워크는 AI 알고리즘을 통해 인터넷상의 장애물을 우회하여 트래픽을 라우팅하고, 실시간 트래픽을 최적화하여 최고의 성능을 제공합니다.

아고라는 또한 패킷 손실의 영향을 완화하여 최종 사용자의 경험을 최적화하기 위해 다양한 기술을 구현합니다.

CPU 사용률

프로세서: Intel Core i7-1185G7 @ 3.00 GHz

Test Case ID AgoraVonage
Unlimited5.32%5.51%
Limited500K5.28%5.46%
UL25%PL5.22%5.48%
DL25%PL5.35%5.45%
Limited500K25%PL5.23%5.43%
UL600msJitter5.16%5.37%
DL600msJitter5.25%5.32%

아고라는 모든 시나리오에서 Vonage보다 CPU 자원을 약간 덜 소비했으며, 평균 5.26%의 사용률을 기록했습니다. 반면 Vonage는 평균 5.43%의 사용률을 보였습니다.

RAM 사용률

Test Case ID AgoraVonage
Unlimited232 MB162 MB
Limited500K231 MB161 MB
UL25%PL233 MB154 MB
DL25%PL223 MB155 MB
Limited500K25%PL254 MB163 MB
UL600msJitter227 MB155 MB
DL600msJitter228 MB157 MB

아고라는 Vonage보다 약간 더 많은 RAM을 소비했으며, 각각 사용 가능한 RAM의 평균 1.5%와 1%를 차지했습니다.

결론

이 블로그는 다중 참가자 웹 사용 사례를 위해 비디오 SDK를 구현할 때 경험한 다양한 시나리오와 조건에서 아고라와 Vonage를 비교한 테스트 결과를 요약합니다. 실시간 통신 도구를 제공할 때, 고품질이고 일관된 최종 사용자 경험을 제공하는 능력은 필수적입니다.

아고라에서는 세계 최대 규모의 소셜 미디어 기업부터 자체 자금으로 시작한 스타트업까지 다양한 고객들이 우리 SDK를 활용해 비디오, 음성, 상호작용형 라이브 스트리밍 경험을 어떤 앱에도 쉽게 통합하고 있습니다. 우리는 개발자가 글로벌 배포 및 확장성을 갖춘 최상의 실시간 경험을 제공할 수 있도록 지원합니다.

오늘 바로 무료로 가입하세요 또는 문의하세요 무료 상담을 받으세요.

RTE Telehealth 2023
Join us for RTE Telehealth - a virtual webinar where we’ll explore how AI and AR/VR technologies are shaping the future of healthcare delivery.

Learn more about Agora's video and voice solutions

Ready to chat through your real-time video and voice needs? We're here to help! Current Twilio customers get up to 2 months FREE.

Complete the form, and one of our experts will be in touch.

Try Agora for Free

Sign up and start building! You don’t pay until you scale.
Try for Free