제3부: 다자간 모바일 영상 통화 — 영상 SDK 비교
요약: 이 제1부와 제2부에서 아고라는 Zoom의 최근 연구 결과를 분석하며, Zoom Video SDK가 아고라의 Video SDK보다 여러 측면에서 우수하다고 지적했습니다. 그러나 후속 분석에서 아고라의 상세한 테스트는 1:1 PC 통화 시나리오 및 다중 호스트 비디오 통화(데스크톱 PC)에서 SDK의 성능 우위를 입증했습니다.
이번 제3편에서는 다양한 실제 네트워크 환경에서 최대 32명 참가자의 다중 참가자 모바일 비디오 통화 시나리오에서 아고라와 Zoom의 비디오 SDK가 어떻게 비교되었는지 살펴봅니다.
먼저 이 논쟁의 배경에 대한 간략한 설명: 지난해 말 Zoom이 의뢰한 일련의 벤치마크 테스트에서 비디오 통신 기업 Zoom은 비디오 SDK 분야에 더 깊이 진출해 자사 제품을 Agora를 포함한 여러 주요 경쟁사와 비교했습니다.
당연히, 수천 명의 고객과 수백 개의 사용 사례에 걸쳐 최고 수준의 비디오 SDK를 제공해온 Agora 팀은 이 도전에 자신 있게 응했습니다.
여기(here)와 여기(here)에서 확인할 수 있듯이, 1차와 2차 테스트는 아고라가 승리했습니다. 아고라가 3연승을 달성할지 여부는 계속 읽어보셔야 합니다!
테스트 구성 및 시나리오
결과에 들어가기 전에 테스트에 사용된 조건과 구성을 살펴보겠습니다.
표 1 – 테스트 설정
Table 2 - Test Case Scenarios
이 테스트는 모바일 환경에서 32개의 비디오를 호스팅하는 테스트이지만, 모바일 화면에서 32개의 비디오 타일을 동시에 렌더링하는 것은 사용자에게 거의 또는 전혀 사용 경험 가치를 제공하지 않습니다. 따라서 현실적인 사용 경험을 위해 이 문제를 해결하기 위해 페이징이 구현되었습니다.
아고라의 경우, 아고라 Video Call V6.2.26.2533 및 SDK 버전 3.5.2를 사용하여 테스트했습니다. Zoom의 경우, 비교를 위해 Zoom의 최신 안드로이드 버전 5.12.8을 테스트했습니다. Zoom의 최선의 실천 방법이 적절히 구현되었는지 확인하기 위해.
* 모든 결과는 32개 비디오 회의에서 비디오를 수신하는 Galaxy S10+에서 관찰 및 측정되었습니다.
드럼 롤을 부탁합니다… 모든 비디오 SDK는 동일하지 않습니다
최적의 네트워크 조건이나 심각한 패킷 손실 상황에서도 Agora는 Zoom을 모든 측면에서 압도했습니다. 수익 창출 사업을 운영하는 CEO라면, 다른 업체들이 악조건에서 콘텐츠 전달에 어려움을 겪을 때도 안정적으로 작동하는 신뢰할 수 있는 비디오 SDK를 보유하는 것이 성공과 실패의 차이를 결정할 수 있습니다.
다음 결과를 참고하세요:
- 정상적인 네트워크 조건에서 아고라와 Zoom 모두 우수한 성능을 보였습니다. 그러나 Agora는 Zoom보다 2 프레임당 초(FPS) 더 높은 성능을 기록했습니다. 원활한 비디오와 오디오, 평균 수신 프레임 속도 26 FPS로 Agora는 Zoom의 24 FPS를 앞섰습니다.
- 상향 링크 패킷 손실 25% 조건에서 아고라는 25 FPS를 유지하며 FPS 우위를 유지했습니다. Zoom은 프레임 속도가 23으로 떨어졌습니다.
- 다운링크 패킷 손실 25% 조건에서 아고라의 우위는 확대되어, 수신 프레임 속도에서 Zoom보다 5 FPS 우위를 기록했습니다. 아고라 25 FPS, Zoom 20 FPS.
- 업링크 지터 600ms 조건을 생성하여 비디오 SDK 간의 성능 차이를 더욱 확대했습니다. Agora는 23 FPS를 유지한 반면, Zoom은 급격히 3 FPS로 떨어졌습니다. 이 결과는 매우 끊기는 비디오를 생성했으며 참가자가 통화를 끊을 수 있습니다.
- 다운링크 600ms 지터 조건을 생성했을 때도 거의 동일한 결과가 발생했으며, Agora는 다시 23 FPS를 유지한 반면, Zoom은 4 FPS로 최저점을 기록했습니다. 이로 인해 Zoom 비디오가 매우 끊겼습니다.
- 테스트를 대역폭 제한 없이 시작하고 이후 송신 측에 500Kbps의 낮은 대역폭을 적용한 후 수신 측에도 적용했을 때, 아고라는 Zoom보다 훨씬 우수한 성능을 보였습니다. Zoom은 10초 이상 0 FPS로 떨어지며 동결된 영상을 보이다가 20초 동안 회복을 시도해 25 FPS로 돌아왔습니다.
모바일 요약
프레임 속도 테스트
이 테스트에서는 패킷 손실과 네트워크 조건 제한이 송신 및 수신 프레임 속도에 미치는 영향을 주로 분석했습니다.
이전 블로그에서 논의한 바와 같이, 아고라는 SD-RTN™ 네트워크를 공용 인터넷 위에 오버레이로 적용하고, 마지막 마일 연결 성능을 최적화하는 기술 구현, 장치 최적화를 통해 네트워크 장애로 인한 비용이 높은 패킷 손실을 방지하는 여러 방법을 보유하고 있습니다.
AI 알고리즘을 사용하여 인터넷상의 장애물을 우회하고 실시간 트래픽을 최적화하여 최적의 성능을 달성함으로써, Agora는 잠재적인 고객 이탈을 직접 방지합니다.
정상 네트워크
정상 네트워크 조건 하에서, 다중 참가자 모바일 비디오 통화 중 수신된 평균 프레임 속도는 26 FPS로, 아고라는 원활한 영상과 음성을 유지합니다. Zoom은 24 FPS로 뒤처집니다.
25% 상향 링크 패킷 손실
25%의 상향 링크 패킷 손실에도 불구하고, 아고라는 안정적으로 유지되며 25 FPS에서 2~3의 FPS 우위를 유지했습니다. Zoom은 프레임 속도가 23으로 떨어졌습니다.
25% 하향 링크 패킷 손실
25%의 하향 링크 패킷 손실이 발생했을 때, 아고라는 경쟁사와의 격차를 더욱 벌렸습니다. Zoom은 19 FPS로 떨어졌지만, Agora는 안정적인 25 FPS를 유지했습니다. 이 차이는 사용자가 통화 문제점을 인지할 만큼 충분히 큽니다.
상향 링크 600ms 지터
이 지연 시간 변동은 네트워크를 통해 데이터를 전송할 때 발생합니다. 600ms는 높은 값으로 간주되며, 눈에 띄는 성능 문제가 발생할 가능성이 높습니다. 지터가 지속적으로 600ms 이상인 경우, 네트워크 연결 문제(예: 과부하 또는 간섭)가 원인일 가능성이 높습니다.
테스트 중 네트워크의 업링크 지터가 600ms에 도달하자 Zoom의 FPS가 급격히 4 FPS로 떨어졌습니다.
Zoom의 프레임 속도가 4 FPS로 떨어지면서 영상이 끊기는 현상이 발생했습니다. 반면 아고라는 23 FPS를 유지했습니다. 이번 테스트에서도 비디오 SDK 간의 성능 차이를 다시 한 번 확인할 수 있었습니다.
다운링크 600ms 지터
업링크 지터와 마찬가지로, 다운링크 600ms 지터도 유사한 결과를 보여주었습니다. 다운링크 600ms 지터 조건을 생성했을 때도 거의 동일한 결과가 나타났으며, 아고라는 다시 23 FPS를 기록한 반면 Zoom은 4~5 FPS로 급감했습니다.
다시 한 번, 프레임 속도가 20대 중반일 때 사용자는 지연이나 중단을 경험하지 않습니다. 프레임 속도가 5 미만으로 떨어지면 비디오가 멈추기 시작합니다.
프레임 속도 복구
테스트가 대역폭 제한 없이 시작된 후 500Kbps의 낮은 대역폭이 먼저 전송 측에 적용된 다음 수신 측에 적용될 때, 아고라는 Zoom보다 훨씬 우수한 성능을 보여줍니다. Zoom은 총 10초 이상 0 FPS로 떨어지며 동영상이 멈췄고, 이후 20초 동안 25 FPS로 복구하는 데 어려움을 겪었습니다.
아고라는 6 FPS로 일시적으로 떨어지지만, 2초 미만 만에 20대 중반으로 빠르게 회복됩니다.
제한된 500K, 25% 패킷 손실 환경에서의 프레임 속도 복구
아래 그래프에서 볼 수 있듯이, 초기 프레임 속도는 0으로 급감한 후 일시적으로 5로 회복되지만, 이후 30초 동안 안정화되지 못하고 유지됩니다.
CPU 사용률
모바일 다자간 영상 통화 시, 우리는 CPU Octa-core, 2.80 GHz, Kryo 485를 모니터링했습니다.
표 3 – CPU 비교
이 사용 사례에서는 Zoom이나 아고라 모두에서 다중 애플리케이션 실행 시 사용자 경험에 영향을 미치지 않을 것으로 예상됩니다. 아고라의 평균 RAM 사용량은 10.63%였으며, Zoom의 평균은 7.47%였습니다.
RAM 사용량
아고라는 Zoom보다 적은 RAM을 사용했으며, 평균 254MB를 기록한 반면 Zoom의 평균은 293MB였습니다.
표 4 – RAM 비교
결론
다시 한 번, 아고라는 다양한 실제 네트워크 환경에서 Zoom과 맞붙어 명확한 승리를 거두었습니다. 모든 테스트에서 아고라의 비디오 SDK는 Zoom의 성능을 뛰어넘었습니다.
비디오 기능을 애플리케이션에 통합하려는 개발자를 위해, Agora는 다른 업체(Zoom 포함)보다 더 신뢰성 있고 효율적으로 비디오 기능을 빠르게 추가할 수 있는 도구를 제공합니다. 테스트 결과에서 보듯이, 어떤 조건에서도, 특히 더 어려운 환경에서 아고라는 유창하고 자연스러운 오디오와 비디오를 제공하며, Zoom은 동영상이 멈추거나 끊기는 현상이 발생합니다.
다음 업데이트
다음 테스트 업데이트에서 아고라와 Zoom이 웹에서 비디오 SDK를 활용할 때 어떻게 비교되는지 상세히 분석한 내용을 확인하세요.
그동안 무료로 가입하여 아고라의 성능을 직접 체험해 보세요.
