이 블로그는 아고라와 Twilio를 비교한 1:1 웹 비디오 통화 테스트 결과를 요약합니다. 이 테스트는 비디오 SDK를 평가할 때 가장 중요한 고려 사항을 포괄적으로 다루며, 제한된 네트워크 환경에서의 성능 분석부터 사용 가능한 대역폭 내에서 전송 속도를 최대화하는 동시에 중앙 처리 장치(CPU) 및 랜덤 액세스 메모리(RAM) 사용량을 최소화하는 방법까지 포함됩니다.
테스트 구성 및 시나리오
결과를 자세히 살펴보기 전에, 테스트 환경, 구성 및 테스트에서 다루어진 시나리오를 먼저 살펴보겠습니다.
테스트 환경
이 테스트에서는 송신기와 수신기에 다음과 같은 사양의 노트북을 사용했습니다:
- 송신기: MacBook Pro
- 프로세서 2.6 GHz 6-코어 Intel Core i7
- 메모리 32 GB 2400 MHz DDR4
- 수신기: HP ProBook 630 G8 노트북 PC
- 프로세서 Intel Core i7-1185G7 @ 3.00 GHz
모든 비디오 피드는 640×360 @ 24FPS로 설정되었으며, 노트북은 안정적인 Wi-Fi 네트워크에 연결되었습니다.
아고라의 경우 Agora App Builder 2.0을 사용하여 테스트했으며, Twilio의 경우 Twilio Video React App의 최신 버전을 활용하여 Twilio의 베스트 프랙티스가 비교를 위해 적절히 구현되었는지 확인했습니다.
테스트 시나리오
결과
각 항목의 세부 사항을 자세히 살펴보기 전에 도달 테스트 시나리오의 결과를 간략히 요약합니다:
- 정상 네트워크 환경에서: 아고라의 프레임 속도(FPS)는 평균 23 FPS로 안정적으로 유지되었으며, Twilio는 평균 20 FPS를 기록했습니다.
- 패킷 손실 및 지터: 아고라는 다양한 조건에서 Twilio보다 일관되게 더 우수한 프레임 속도를 달성했습니다. 이는 네트워크의 업링크/다운링크 패킷 손실이 25%인 경우뿐만 아니라 업링크/다운링크 지터가 600ms인 경우에도 마찬가지였습니다.
- 제한된 대역폭: 송신 측에서 500 Kbps로 대역폭을 제한한 후 수신 측에서도 제한을 적용했을 때, Agora와 Twilio는 유사한 성능을 보였습니다. 다만, 대역폭 제한이 해제된 후 Twilio의 FPS는 Agora보다 더 크게 변동되었습니다.
- 25% 패킷 손실 및 500 Kbps 네트워크 대역폭 제한: 장애가 적용된 동안 Agora의 평균 프레임 속도는 약 13 FPS였으며, Twilio의 평균은 약 7 FPS였습니다. 장애가 제거된 후, Agora는 평균 22 FPS로 빠르게 회복되었으며, Twilio는 약 50초 동안 회복에 어려움을 겪었습니다.
- CPU 및 RAM: Twilio는 평균 4.28%의 CPU 자원을 소비했으며, 아고라는 4.58%였습니다. RAM 사용량 측면에서 Twilio는 평균 250 MB를 소비했으며, 아고라는 146 MB였습니다.
프레임 속도 테스트
이 테스트에서는 다시 한 번 패킷 손실 및 네트워크 제한 조건이 전송 및 수신 프레임 속도에 미치는 영향을 주로 분석했습니다.
정상 네트워크 조건
아래 그래프에서 볼 수 있듯이, 네트워크가 정상 조건에서 작동할 때 Agora는 23 FPS, Twilio는 20 FPS로 프레임 속도가 안정적이었습니다. 정상 네트워크 조건에서 최종 사용자의 전체 경험은 유사했습니다.
25% Uplink Packet Loss
When introducing 25% uplink packet loss, Agora remains steady at 18 FPS while Twilio begins lagging at 12 FPS.
25% Downlink Packet Loss
With 25% downlink packet loss, Agora continues to maintain 17 FPS while the performance of Twilio is impacted significantly, down to 7 FPS.
Uplink 600ms Jitter
A significant variation in latency can occur when sending traffic over an IP network. When simulating conditions of a highly congested network having an uplink jitter of 600ms, Agora outperforms Twilio, holding steady at 9 FPS. In comparison Twilio drops to 4 FPS.
Downlink 600ms Jitter
When downlink jitter of 600ms was added, Agora held steady at 13 FPS with Twilio dropping to 5 FPS.
Frame Rate Recovery, 500 Kbps Limit
This test starts without any bandwidth limitations, and then after 60 seconds the network is throttled to 500 Kbps in the upstream direction, and then in the downstream direction for a total of 30 seconds. Under these challenging conditions, Agora performed slightly better than Twilio while the limitation was applied. When the bandwidth limitation was removed, Agora maintained a more stable frame rate near 23 FPS, while Twilio’s FPS experienced greater fluctuations.
Frame Rate Recovery, 500 Kbps Limit and 25% Packet Loss
This test starts without any bandwidth limitations or simulated packet loss. After 60 seconds, the network is throttled to 500 Kbps in the upstream direction along with 25% simulated packet loss. These conditions are then applied in the downstream direction for a total of 30 seconds. Agora’s average frame rate while the impairments were applied was approximately 13 FPS while Twilio’s average was approximately 7 FPS. Once the impairments were removed, Agora rapidly recovered to an average of 22 FPS while Twilio struggled for approximately 50 seconds to recover.
Agora has several ways to combat network disruptions and costly packet loss. Most notably, these include leveraging our SD-RTN™ network as an overlay to the public internet, which routes traffic around impairments on the internet using AI algorithms and optimally shapes real-time traffic for the best performance.
Agora also implements technologies to smooth out the effects of packet loss to optimize the end-user experience.
CPU Utilization
Processor: Intel Core i7-1185G7 @ 3.00 GHz
Twilio consumed slightly less CPU resources at an average of 4.28% vs. Agora at 4.58%.
RAM Utilization
Twilio consumed more RAM than Agora at an average of 250 MB vs. Agora at 146 MB.
Conclusion
This blog summarizes the test results covering various real-world scenarios and conditions experienced when implementing Video SDKs for point-to-point Web use cases. When it comes to real-time communication, the ability to deliver a high-quality and consistent end user experience is critical. Our testing shows that Agora consistently outperforms Twilio in common RTC scenarios involving jitter and packet loss. Agora’s advantage in these scenarios comes from our global SD-RTN (Software Defined Real Time Network)™ which uses AI to intelligently route traffic for optimal RTC performance.
At Agora, our customers—ranging from some of the largest social media companies in the world to bootstrapped startups—continue to leverage our SDKs to easily integrate video, voice, and interactive live streaming experiences into any app. We empower developers to deliver best-in-class real-time experiences, with global delivery and scale.
Sign up for free today to start building or contact us for a free consultation.
