Back to Blog

아고라와 Twilio를 비교하여 1:1 모바일 영상 통화 테스트

Testing Agora vs. Twilio for 1:1 Mobile Video Calls

이 블로그는 Agora와 Twilio의 1대1 모바일 비디오 통화 테스트 결과를 요약합니다. 이 테스트는 비디오 SDK를 평가할 때 가장 중요한 고려 사항을 포괄적으로 다루며, 제한된 네트워크 환경에서의 성능 분석부터 사용 가능한 대역폭 내에서 전송 속도를 최대화하면서 중앙 처리 장치(CPU) 및 랜덤 액세스 메모리(RAM) 사용량을 최소화하는 방법까지 포함합니다.

Twilio와의 추가 비교는 다음과 같습니다:

테스트 구성 및 시나리오

결과를 자세히 살펴보기 전에, Agora와 Twilio의 1:1 모바일 비디오 통화 테스트에서 포함된 테스트 설정, 구성 및 시나리오를 검토해 보겠습니다.

테스트 설정

 AgoraTwilio
Network ConnectivityWi-Fi, 5G cellular (ATT)Wi-Fi, 5G cellular (ATT)
Participants in Sessions11
Versions TestedAgora Video SDK for iOS (version 4.2)Twilio Video SDK for iOS (version 5.2.1)
SenderiPhone 11 
CPU Hexa-core (2x2.65 GHz Lightning + 4x1.8 GHz Thunder) 
Memory 4GB
iPhone 11  
CPU Hexa-core (2x2.65 GHz Lightning + 4x1.8 GHz Thunder)  
Memory 4GB
ReceiveriPhone XS 
CPU Hexa-core (2x2.5 GHz Vortex + 4x1.6 GHz Tempest) Memory 4GB
iPhone XS  
CPU Hexa-core (2x2.5 GHz Vortex + 4x1.6 GHz Tempest) Memory 4GB
Video Configuration for Receive Test DeviceAgora 480x544 @ 24fpsTwilio 480x544 @ 24fps

아고라의 경우, iOS용 Agora Video SDK(버전 4.2)를 사용하여 테스트를 진행했습니다. Twilio의 경우, 비교를 위해 Twilio의 최신 버전인 Twilio Video SDK for iOS(버전 5.2.1)를 활용하여 테스트를 진행했으며, Twilio의 베스트 프랙티스가 적절히 적용되었는지 확인했습니다.

테스트 케이스 시나리오

Test CaseDescription
UnlimitedNormal network conditions
Limited500KThe test starts with no bandwidth limitations, then a low bandwidth 500Kbps is applied, first on the send side, then applied on the receiver side.
UL25%PLUplink network with impairment of 25% packet loss
DL25%PLDownlink network with impairment of 25% packet loss
Limited500K25%PLThe test starts with no bandwidth limitation, then a low bandwidth 500 Kbps with 25% packet loss is applied, first on the send side, then applied on the receiver side.
UL600msJitterUplink network with impairment of 600ms jitter
DL600msJitter Downlink network with impairment of 600ms jitter

각 테스트 시나리오의 결과를 간략히 요약해 드리겠습니다. 자세한 내용은 각 시나리오별로 후술하겠습니다:

  • 정상 네트워크 환경: Agora와 Twilio는 유사한 성능을 보였으며, Agora는 24 FPS, Twilio는 23 FPS를 기록했습니다.
  • 패킷 손실 및 지터: Agora는 다양한 패킷 손실 및 지터 조건에서 Twilio보다 일관되게 더 높은 프레임 속도를 달성했습니다. 25% 업링크 패킷 손실과 25% 다운링크 패킷 손실 조건에서 Agora의 FPS는 23이었으며, Twilio는 4였습니다.
  • 제한된 대역폭: 네트워크 대역폭이 송신 측 500Kbps로 제한된 후 수신 측에도 적용된 경우, Agora는 복구 없이 우수한 24 FPS를 유지했습니다. Twilio는 10 FPS 아래로 떨어졌으며 복구에 30초가 소요되었습니다.
  • 25% 패킷 손실 및 500 Kbps 네트워크 대역폭 제한: Agora는 제한 조건 하에서도 24 FPS를 유지했으며 복구 없이 안정적으로 작동했습니다. 반면 Twilio는 5 FPS 아래로 떨어졌으며 복구에 45초가 소요되었습니다.
  • CPU 및 RAM: Agora는 Twilio보다 약간 적은 CPU 리소스를 사용했지만 더 많은 RAM을 사용했습니다.

프레임 속도 테스트

이 테스트에서는 다시 한 번 패킷 손실 및 네트워크 조건 제한이 전송 및 수신 프레임 속도에 미치는 영향을 주로 집중적으로 분석했습니다.

정상 네트워크 조건

네트워크가 정상 조건에서 작동할 때 Agora는 24 FPS, Twilio는 23 FPS로 프레임 속도가 안정적으로 유지되었습니다. 정상 네트워크 조건 하에서 최종 사용자의 전체 경험은 유사했습니다.

Figure 1: FPS comparison for Agora and Twilio under a normal network condition.
Figure 1: FPS comparison for Agora and Twilio under a normal network condition.

25% 업링크 패킷 손실

25% 업링크 패킷 손실을 적용할 때, Agora는 23 FPS로 안정적으로 유지되는 반면 Twilio는 4 FPS로 급격히 지연됩니다.

Figure 2: FPS comparison for Agora and Twilio with network having uplink packet loss of 25%.
Figure 2: FPS comparison for Agora and Twilio with network having uplink packet loss of 25%.

25% 하향 링크 패킷 손실

25%의 하향 링크 패킷 손실이 발생할 경우 결과는 동일합니다. Agora는 23 FPS를 유지하는 반면, Twilio의 성능은 크게 저하되어 4 FPS로 떨어집니다.

Figure 3: FPS comparison for Agora and Twilio with network having downlink packet loss of 25%.
Figure 3: FPS comparison for Agora and Twilio with network having downlink packet loss of 25%.

상향 링크 600ms 지터

IP 네트워크를 통해 트래픽을 전송할 때 지연 시간에 큰 변동이 발생할 수 있습니다. 상향 링크 지터가 600ms인 고도로 과부하된 네트워크 환경을 시뮬레이션할 때, Agora는 Twilio보다 우수한 성능을 보여주며 23 FPS를 안정적으로 유지합니다. 반면 Twilio는 4 FPS로 떨어지며 영상이 끊기는 현상이 발생합니다.

Figure 4: FPS comparison for Agora and Twilio with network having uplink 600ms jitter.
Figure 4: FPS comparison for Agora and Twilio with network having uplink 600ms jitter.

다운링크 600ms 지터

다운링크 지터가 600ms 추가되었을 때, Agora는 22 FPS를 유지했으며 Twilio는 4 FPS로 떨어지며 영상이 끊김 현상을 보였습니다.

Figure 5: FPS comparison for Agora and Twilio with network having downlink 600ms jitter.
Figure 5: FPS comparison for Agora and Twilio with network having downlink 600ms jitter.

프레임 속도 복구, 500 Kbps 제한

이 테스트는 대역폭 제한 없이 시작되며, 60초 후 상향 방향으로 500 Kbps로 대역폭이 제한되며, 이후 하향 방향으로 총 30초 동안 제한됩니다. 이러한 어려운 조건 하에서, Agora는 제한이 적용되는 동안 Twilio보다 우수한 성능을 보여주었으며, 평균 약 17 FPS로 시작해 24 FPS로 안정화되었습니다. 반면 Twilio는 평균 약 10 FPS를 기록했습니다. 제한이 해제된 후 Agora는 즉시 24 FPS를 유지한 반면, Twilio는 완전히 회복하는 데 30초가 소요되었습니다.

Figure 6: Frame rate recovery in limited500K test case.
Figure 6: Frame rate recovery in limited500K test case.

프레임 속도 복구, 500 Kbps 제한 및 25% 패킷 손실

이 테스트는 대역폭 제한이나 시뮬레이션된 패킷 손실 없이 시작됩니다. 60초 후, 네트워크는 상향 방향으로 500 Kbps로 속도가 제한되며 동시에 25%의 시뮬레이션된 패킷 손실이 적용됩니다. 이 조건은 하향 방향에 적용되어 총 30초 동안 유지됩니다. 제한이 적용되는 동안, 아고라는 Twilio보다 우수한 성능을 보여주며 약 10초 내에 평균 프레임 속도 24 FPS로 복구되었으며, Twilio는 제한 기간 동안 평균 5 FPS와 끊기는 영상으로 유지되었습니다. 제한이 해제된 후, Agora는 이미 평균 24 FPS로 복구되었으며, Twilio는 해당 수준으로 복구하는 데 전체 45초가 소요되었습니다.

Figure 7: Frame rate recovery in limited500K25%PL test case.
Figure 7: Frame rate recovery in limited500K25%PL test case.

아고라는 네트워크 장애 및 비용이 많이 드는 패킷 손실을 방지하기 위해 여러 가지 방법을 제공합니다. 가장 주목할 만한 방법은 공공 인터넷 위에 SD-RTN™ 네트워크를 오버레이로 활용하는 것입니다. 이 네트워크는 AI 알고리즘을 통해 인터넷상의 장애물을 우회하여 트래픽을 라우팅하며, 실시간 트래픽을 최적화하여 최고의 성능을 제공합니다.

아고라는 패킷 손실의 영향을 완화하여 최종 사용자 경험을 최적화하기 위한 기술을 구현했습니다.

CPU 사용률

아고라와 트위리오는 모든 시나리오에서 CPU 자원을 유사하게 소비했으며, 아고라는 평균 50%를 소비한 반면 트위리오는 평균 50.03%를 소비했습니다.

Test Case ID AgoraTwilio
Unlimited49.9%51.8%
Limited500K50.1%51.9%
UL25%PL49.1%48.1%
DL25%PL49.6%48.7%
Limited500K25%PL49.7%52.2%
UL600msJitter50.9%48.6%
DL600msJitter50.7%48.9%

RAM 사용량

아고라는 모든 시나리오에서 Twilio보다 더 많은 RAM을 사용했으며, 평균 132.8 MB 대 Twilio의 83.5 MB였습니다.

Test Case ID AgoraTwilio
Unlimited131 MB86 MB
Limited500K132 MB86 MB
UL25%PL132 MB82 MB
DL25%PL133 MB82 MB
Limited500K25%PL135 MB85 MB
UL600msJitter133 MB82 MB
DL600msJitter134 MB82 MB

결론

이 블로그는 1대1 모바일 사용 사례를 위해 비디오 SDK를 구현할 때 경험한 다양한 시나리오와 조건에서 Agora와 Twilio를 비교한 테스트 결과를 요약합니다. Agora는 네트워크 제한, 지터, 패킷 손실 조건과 같은 일반적인 시나리오에서 일관된 성능과 프레임 속도를 유지하는 능력에서 Twilio를 압도적으로 앞섰습니다. 정상적인 네트워크 조건 하에서는 Twilio와 Agora가 유사한 성능을 보였으며, CPU 소비 측면에서도 유사했지만 Twilio는 Agora보다 약간 적은 RAM을 소비했습니다.

실시간 통신 도구를 제공할 때, 지속적으로 변화하는 네트워크 조건 하에서도 고품질의 일관된 사용자 경험을 제공하는 능력은 필수적입니다.

Agora에서는 세계 최대 규모의 소셜 미디어 기업부터 자체 자금으로 시작한 스타트업까지 다양한 고객들이 SDK를 활용해 비디오, 음성, 상호작용형 라이브 스트리밍 경험을 어떤 앱에도 쉽게 통합하고 있습니다. 우리는 개발자가 글로벌 배포 및 확장성을 갖춘 최상의 실시간 경험을 제공할 수 있도록 지원합니다.

오늘 바로 무료로 가입하세요 를 클릭해 개발을 시작하거나, 문의하기 를 통해 무료 상담을 신청하세요.

RTE Telehealth 2023
Join us for RTE Telehealth - a virtual webinar where we’ll explore how AI and AR/VR technologies are shaping the future of healthcare delivery.

Learn more about Agora's video and voice solutions

Ready to chat through your real-time video and voice needs? We're here to help! Current Twilio customers get up to 2 months FREE.

Complete the form, and one of our experts will be in touch.

Try Agora for Free

Sign up and start building! You don’t pay until you scale.
Try for Free