라스트 마일 챌린지: 야생에서 신뢰할 수 있는 대화형 AI 만들기

오픈 AI 봄 업데이트 이벤트에서 GPT-4o 실시간 대화형 음성의 라이브 데모와 함께 마크 첸은 “이 연결 케이블이 궁금하다면, 우리가 안정된 인터넷을 갖기 위해서입니다”라고 말했지만, 실제 인터넷은 안정적이지 않습니다.

이 데모는 또 한 번의 큰 도약을 이룬 LLM을 선보였습니다. 이 모델은 보다 자연스러운 인간과 컴퓨터의 상호 작용을 향한 한 걸음으로, 사용자의 목소리를 통해 감정을 이해할 수 있습니다. 하지만 전 세계 사용자들에게 진정으로 매력적이고 가치 있는 모델이 되려면 까다로운 실제 인터넷 환경과 오늘날 사용되는 다양한 모바일 디바이스 및 네트워크에서 안정적으로 작동해야 합니다.

주요 과제 중 하나는 사용자의 모바일 디바이스와 인터넷 서비스 제공업체(ISP) 사이의 ‘라스트 마일’ 연결입니다. 이 연결은 일반적으로 가용 대역폭의 급격한 변동, 신호 드롭아웃, 높은 혼잡도 및 패킷 손실로 인해 안정적이고 일관된 실시간 통신(RTC)을 제공하기가 매우 어렵습니다. 인간과 인간 간의 RTC에 존재하는 것과 동일한 문제가 인간과 AI 간의 커뮤니케이션에도 존재합니다.

지난 10년 동안 아고라는 실시간 인터넷을 제공하기 위한 인프라와 엔드투엔드 기술을 구축하는 데 주력해 왔으며, 무선 라스트 마일의 문제에도 불구하고 자연스러운 대화를 위한 성능을 최적화했습니다.

아고라의 인프라는 전 세계 수천 명의 앱 개발자가 사용하고 있으며, 30억 개 이상의 모바일 디바이스에서 안정적인 실시간 커뮤니케이션을 지원하고 월 600억 분 이상의 오디오 및 비디오 사용량을 기록하고 있습니다. 인간과 AI 간의 자연스러운 커뮤니케이션을 위해서는 안정적이고 신뢰할 수 있는 실시간 인터넷이 필요합니다. 아고라가 개발자가 대화형 AI를 구축하는 데 어떻게 도움을 주는지 자세히 알아보세요.