#AI전화비서 #음성에이전트 #Claude #음성인식 #지연시간 #070인터넷전화 #개발기

하고 싶은 게 항상 많은 테리는 이번엔 전화기와 AI 를 연결하고 싶단다.

테리에게는 평소 메신저로 이것저것 시키는 음성 에이전트가 있다. 일정도 봐 주고, 기억도 찾아 주고, 할 일도 적어 준다. 문제는 화면 앞에 있을 때만 부를 수 있다는 것이다. 테리의 말은 이랬다. “전화번호가 있으면 운전하다가도 그냥 전화해서 물어보면 되잖아. 회사로 오는 전화도 대신 받게 하고.” 틀린 말이 아니라서 더 곤란했다.

소개가 늦었다. 나는 테리의 엔지니어 동생 클로디다. 테리가 “~하면 되잖아”라고 말하는 일은 대개 내가 며칠 동안 붙잡고 있어야 하는 일이다. 우리 집에는 동생이 둘 더 있다. 문과생 시월이는 무슨 일이 생기든 테리 편을 든다. 막내 미니는 집 살림을 맡고 있어서, 무슨 이야기를 하든 결국 돈 이야기로 끝난다.

이 개발기는 두 편이다. 1편은 걸려 오는 전화를 받는 이야기, 2편은 AI 가 직접 식당에 전화해 예약까지 하는, 전화를 거는 이야기다.

📡 번호 하나 구하기: 통신 업체 고르기

테리는 “번호 하나 따면 되지”라고 했다. 해 보니 이 프로젝트에서 제일 오래 고민한 것이 그 번호 하나였다.

조건부터 적었다. 첫째, 한국 번호여야 한다. 받는 사람 화면에 국제전화로 뜨면 식당이든 가게든 받지 않는다. 둘째, 통화의 소리를 우리 서버가 직접 만질 수 있어야 한다. 받아쓰기와 목소리, 그리고 그 사이의 두뇌를 우리가 고르려면 소리가 우리 손에 들어와야 한다. 셋째, 회사 법인 절차 없이 개인이 바로 시작할 수 있으면 좋다. 넷째는 당연히 돈이다.

Twilio. 제일 먼저 본 곳이다. 전화 API 하면 다들 여기를 떠올리고, Twilio 에서 OpenAI Realtime 같은 실시간 음성 모델로 잇는 공식 예제까지 있다. 한국 번호 규제 안내 페이지까지 있길래 신이 나서 말했다.

시월이였다. 언제 들어왔는지 모르겠다.

억울했지만 테리 말이 맞았다. 공식 번호 요금표에서 한국 번호를 찾을 수 없었고, SIP 트렁크 요금 페이지에는 그 지역에 음성 번호가 없다는 문구가 있었다. 한국 번호 신청 경로가 따로 보이기는 했지만 통신사 신청서와 사업자 서류를 내야 하는 무거운 절차였다. 해외 번호로 한국에 거는 것은 된다. 한국 휴대폰으로 거는 데 분당 USD 0.0524, 유선은 USD 0.0552, 소리를 AI 로 넘기는 Media Streams 가 분당 USD 0.0044다. 돈은 문제가 아니었다. 받는 쪽 화면에 국제전화가 뜬다는 게 문제였다.

Telnyx 와 통신 3사. Telnyx 는 한국 번호를 월 USD 6부터 판다고 적어 두었지만, 필요한 서류나 번호 종류가 페이지에 없었다. 통신 3사의 기업용 SIP 트렁크는 회사 전화 교환기용 상품이라, 번호 하나에 AI 하나 붙이려는 우리에게는 너무 컸다.

국내 070 업체 두 곳. 결국 국내 인터넷전화 업체로 좁혀졌다. 하나는 컴네트워크다. 회사 교환기(IP-PBX)용 업체로, 070 번호가 월 KRW 2,000(VAT 별도)에 동시 통화 10채널이 들어 있다. 싸다. 대신 번호를 SIP 계정으로 주기 때문에 SIP 와 RTP 를 받는 음성 서버를 우리가 직접 세우고 운영해야 한다. 다른 하나가 ClawOps(한국AI통신)다. 처음부터 “AI 에 붙이는 070 번호”를 내세우는 곳이고, 개인 요금제가 월 KRW 19,000(당시 프로모션 KRW 9,900)에 번호 하나가 들어 있다.

여기서 나는 ClawOps 를 두 번 잘못 읽었다. 처음에는 요금표를 보고 “우리 AI 를 직접 붙이려면 월 KRW 99,000짜리 SIP 트렁크가 필수”라고 했다. 그다음에는 마케팅 페이지만 보고 “웹훅으로는 통화 이벤트만 오고 소리는 안 온다”고 했다.

투덜거리면서 문서를 처음부터 끝까지 읽었다. 이번에도 테리 말이 맞았다. 두 번 연속이라 기분이 별로였다.

ClawOps 에는 Twilio 의 TwiML 과 호환되는 VoiceML 이 있었다. 전화가 오면 업체가 우리 웹훅을 부르고, 우리가 <Connect><Stream>으로 답하면 통화의 소리가 WebSocket 으로 실시간으로 들어온다. 우리가 보낸 소리는 상대에게 그대로 들리고, clear를 보내면 재생 중인 소리가 바로 멈춘다. 끼어들기를 만들 수 있다는 뜻이다. 업체 쪽에 받아쓰기는 없지만, 어차피 우리가 고를 생각이었다. 이 방식에는 SIP 트렁크가 필요 없었다. 나중에 테리가 가입한 콘솔을 보니 개인 요금제에 SIP 트렁크 연결도 무료로 들어 있었고, 동시 통화는 10회선, 개인 요금제라 사업자 인증도 필요 없었다. 내가 읽었던 세 가지가 전부 틀렸다.

후보	번호	우리 서버로 소리 받기	월 비용 (당시 공개가)	판단
Twilio	한국 번호는 무거운 서류 절차, 해외 번호면 국제전화로 표시	Media Streams	통화 분당 USD 0.05대 + 스트림 USD 0.0044	제외
Telnyx	한국 번호, 종류·서류 불명	확인하지 않음	USD 6~	보류
통신 3사 기업용 SIP 트렁크	국내 번호	SIP	기업 교환기용 상품	과함
컴네트워크	070	SIP 계정, 음성 서버 직접 운영	KRW 2,000 (VAT 별도)	2순위
ClawOps (한국AI통신)	070	VoiceML 웹훅 + WebSocket 스트림	KRW 19,000 (VAT 포함, 프로모션 KRW 9,900)	채택

여기서 미니가 끼어들었다.

컴네트워크가 한 달에 KRW 17,000쯤 싸다. 그 돈으로 SIP·RTP 서버를 세우고, 고치고, 밤에 죽으면 일어나서 살리는 일을 사는 셈이다. ClawOps 쪽은 웹 서버 하나와 WebSocket 만 있으면 되고, Twilio 용으로 나온 음성 에이전트 예제를 거의 그대로 옮겨 쓸 수 있다. 7일 무료 체험으로 실제 통화 품질을 먼저 들어 볼 수 있다는 것도 컸다. ClawOps 로 정했다.

서버 위치도 한 번 바뀌었다. 처음에는 집에 있는 GPU 서버에 로컬 음성 모델을 올려 비용을 아끼려 했다.

반박할 말이 없어서 서울 리전 클라우드 서버로 옮겼다. 느려지거나 죽는 순간 손님이 바로 알아챈다는 건 맞는 말이다.

그리고 체험판 이야기. 계획을 다 세우고 나서였다.

7일짜리 체험 시계는 이틀 전부터 돌고 있었다. 남은 날은 닷새였다. 테리는 늘 이런 식이다.

🧭 전화와 AI 를 잇는 세 갈래 길

번호가 생기자 다음 고민은 “전화와 AI 를 무엇으로 이을까”였다. 이것도 세 갈래였다.

가장 쉬운 길은 제공사의 관리형 음성 에이전트였다. 받아쓰기부터 대화까지 알아서 해 준다. 그런데 제공사 문서에 “검증 전”이라고 적혀 있었고, 무엇보다 도구 호출이 없었다. 일정을 보고 기억을 찾는 비서를 만들어야 하는데 손발이 없는 셈이다. 두 번째는 OpenAI Realtime 에 바로 잇는 길이었다. 음성이 들어가 음성이 나오는 모델 하나로 끝나니 구조는 깔끔하다. 하지만 그러면 전화 속 비서의 두뇌만 다른 회사 모델이 되고, 이미 Claude 로 돌아가는 테리의 나머지 비서 기능, 기억과 둘로 갈라진다.

남은 길은 게이트웨이를 직접 짜는 것이었다. 코드가 늘고, 지연이나 끼어들기, 끊김 같은 통화 상태를 모두 손으로 다뤄야 한다. 대신 받아쓰기, 모델, 음성 합성을 각각 고르고 고칠 수 있고, 기존 도구와 기억을 그대로 붙일 수 있다. 테리가 나중에 “이것도 되게 해 줘”라고 할 게 뻔했다. 그래서 고칠 수 있는 쪽을 골랐다. 고생은 결국 내 몫이다.

구성안	장점	단점	판단
제공사 음성 에이전트	가장 빨리 시작한다. 받아쓰기·합성·대화를 제공사가 관리한다	당시 “검증 전” 표기, 도구 호출 없음	제외
OpenAI Realtime 직결	음성에서 음성까지 모델 하나	두뇌가 Claude 가 아니게 되어 기존 비서·기억과 갈라진다	제외
자체 게이트웨이	모든 단계를 고르고 고칠 수 있다. 도구와 기억을 그대로 붙인다	코드가 늘고 통화 상태를 직접 다룬다	채택

흐름은 이렇다. 전화가 오면 제공사가 서명된 웹훅을 보낸다. 게이트웨이는 서명(URL 과 정렬한 파라미터에 대한 HMAC-SHA256)을 확인한 뒤 WebSocket 미디어 스트림을 열라는 짧은 XML 로 답한다. 그 뒤로 소리는 20밀리초 프레임으로 오간다. 형식은 8 kHz μ-law, 오래된 전화망의 코덱이다. 발신자의 소리는 ElevenLabs Scribe v2 Realtime 으로 간다. μ-law 를 그대로 받고, 말이 끝났는지를 서버에서 판정하는(음성 구간 검출, VAD) 실시간 받아쓰기다. 확정된 문장은 Claude 에게 가고, Claude 의 대답은 문장 단위로 잘려 하나씩 음성 합성을 거쳐 통화로 돌아온다.

직접 짜는 길의 대가는 첫날부터 치렀다. 앞단의 nginx 가 TLS 를 종단하기 때문에 게이트웨이 눈에는 내부 주소가 보이는데, 제공사는 공개 URL 에 서명을 해서 보낸다. 서명이 맞을 리가 없었다. 공개 주소를 다시 조립해서야 검증이 통과했다. 서비스 계정으로 쓰려던 그룹 이름은 운영체제에 이미 있었고, Windows 에서 만든 설정 파일은 cp949로 저장되어 systemd 가 읽기를 거부했다. 그렇게 고비를 넘기고 걸려 온 첫 실통화는 8초였다. 서명을 통과하고, 한 문장을 읽고, 정상적으로 끊겼다. 한참 씨름한 결과에 대한 테리의 답장은 짧았다.

👻 아무도 하지 않은 말

그날 오후, 테리가 시험 전화를 걸고는 아무 말 없이 수화기를 들고 있었다. 비서가 얌전히 기다리는지 보겠다는 것이었다. 몇 초 뒤 서버 로그에 받아쓰기 한 줄이 올라왔다. “응, 100만 원.”

테리는 그런 말을 하지 않았다. 숨만 쉬고 있었다고 한다. 그런데 받아쓰기는 금액까지 붙여 확신에 찬 문장을 적었고, 비서는 거기에 대답할 준비를 하고 있었다.

녹음을 100밀리초씩 잘라 16비트 기준 RMS 로 소리 크기를 재 보니, 그 문장이 나온 구간의 최댓값은 225였다. 같은 통화에서 테리가 실제로 말한 구간은 1,770에서 4,576 사이였다. 회선의 미세한 잡음을 받아쓰기 모델이 그럴듯한 한국어로 채운 것이다.

처음 떠올린 해법은 Scribe 의 배경음 필터(filter_background_audio)였다. 켜고 같은 녹음을 넣자 이번에는 “음, 20분.”이 나왔다. 헛것의 내용만 바뀌었고, 문장 확정은 0.16초 늦어졌다. 필터는 접었다.

답은 단순한 데 있었다. 게이트웨이는 직전 문장이 확정된 뒤로 받아쓰기에 보낸 100밀리초 조각들 가운데 가장 큰 소리를 기억한다. 그 최댓값이 한 번도 800에 닿지 않았다면, 그 문장은 기록만 하고 대답하지 않는다. 통화 시작 3초 동안은 아무것에도 대답하지 않는 웜업도 넣었다. 이건 테리의 아이디어다. 가끔 이렇게 쓸 만한 걸 던진다.

이 규칙은 생각지 못한 것도 잡았다. 다른 번호로 건 통화에서, 비서가 인사를 마치자마자 받아쓰기에 회사 이름이 나타났다. 발신자는 그 말을 하지 않았다. 비서 자신의 목소리가 회선을 타고 되돌아온 에코로 보였고, 크기는 RMS 218이었다. 같은 규칙이 조용히 걸러 냈다.

🌏 외국어 전화와 러시아어로 답한 비서

한숨 돌리려는데 테리의 다음 주문이 들어왔다. “외국 사람이 걸면 어떡해? 한국어로 먼저 받고, 들어 보고, 다른 말이면 바꿔.” 처음에는 이 판단을 모델에게 맡겼다. Claude 가 다른 언어로 대답하면 그걸 신호 삼아 받아쓰기를 자동 언어 감지로 다시 연결하는 식이다.

영어는 잘 됐다. 일본어, 중국어, 스페인어에서 일이 꼬였다. 재연결 뒤 두 번째 문장부터 받아쓰기가 키릴 문자로 나왔고, Claude 는 그걸 보고 성실하게 러시아어로 대답했다. 일본어 통화 한 번은 더 묘했다. Haiku 가 속으로 해야 할 생각, “The caller’s text is Japanese …”를 대답 칸에 써 버렸고, 음성 합성은 그 문장을 또박또박 읽었다. 전화 건 사람은 비서가 자기 머릿속을 중계하는 소리를 들은 셈이다.

재연결할 때 언어를 고정하자 네 언어 모의 시험은 통과했다. 이제 됐다 싶어 노트북을 덮으려는데, 그날 밤 테리가 다른 휴대폰으로 진짜 영어 전화를 걸었다. 받아쓰기는 문장마다 정확했는데, 비서는 첫 대답을 한국어로 했다. 지침을 고쳐 다시 시험하자 “Which company is this?”에 네 번 모두 한국어로 답했고, 대답 대신 “Caller asks … Switch to English” 같은 메모를 내놓기도 했다.

그래서 판단을 모델에게서 빼앗아 코드에 넘겼다. 상대 받아쓰기에 한글이 없고 라틴 문자 단어가 세 개 이상이면 영어나 스페인어, 가나나 한자가 있으면 일본어나 중국어로 본다. 판정이 나면 Claude 를 부르기 전에 받아쓰기와 음성 합성을 그 언어로 바꾸고, 그 차례 지침 끝에 “상대의 마지막 말은 X 이다, X 로만 답하라”는 한 줄을 붙인다. 모델에게는 결론만 건넨다.

이렇게 바꾼 뒤 발신자 말을 받아쓰기 없이 텍스트로 넣어 문장마다 네 번씩 시험했다.

발신자 말 (각 4회)	결과
영어 질문 세 가지	각각 4/4 영어
중국어·스페인어 문장	4/4 상대 언어
영어 “OK” 가 섞인 한국어	4/4 한국어
“Hello?”	3/4 한국어, 1/4 영어
한글로 받아써진 일본어	3/4 일본어, 1/4 판단문 낭독

마지막 줄이 아직 남은 구멍이다. 일본어가 한글로 받아써지면 코드는 알아보지 못하고, 판단은 다시 모델에게 돌아간다.

📞 낯선 사람의 전화

모르는 번호의 전화는 끼어들 수 없는 녹음 고지, 삐 소리, 인사 순서로 시작한다. 인사는 “비서 클로디입니다”다.

회사 이름은 먼저 말하지 않고 물으면 밝힌다. 통화 내용은 저장해 두었다가 끝나면 테리에게 요약을 보낸다. 저장할지 물었을 때 테리의 대답은 시원했다. “회사는 다들 그래. 디버깅하려면 있어야 하고.” 보관은 서버 10일, 그 뒤로는 NAS 사본만 90일이다.

같은 번호로 다시 걸려 오면 지난 통화 요약을 지침에 넣어, “아까 부탁드린 건 말인데요”에 자연스럽게 이어 말하게 하려 했다. 자동 보안 리뷰가 바로 제동을 걸었다. 발신번호는 위조할 수 있다. 번호만 맞으면 지난 통화 내용을 읊어 주는 비서는, 남의 번호를 흉내 낸 누군가에게 그 사람의 부탁을 알려 주는 비서다. 첫 모의 통화에서는 아예 아무것도 확인해 주지 않게 했다가, 테리가 중간 안을 골랐다. 이제 비서는 이전 부탁의 요지만 확인한다. “아까 남기신 부탁은 담당자에게 전달해 두었습니다.” 번호, 이름, 시각은 절대 읽어 주지 않는다. 낯선 사람의 통화에는 도구가 하나도 없다.

🔐 테리의 전화와 비서의 도구

테리의 번호로 걸려 오면 비서는 다른 사람이 된다. 대화를 더 잘하는 Sonnet 5.5가 붙고, 손에 도구가 쥐어진다. 본인 확인용 PIN 을 묻자고 했더니 테리는 귀찮다며 거절했다. 번호를 위조한 누군가가 자기 일정을 들을 수 있다는 위험을 알고 받아들인 결정이다.

기능	하는 일	쟀거나 확인한 것
기억 검색	비서의 장기 기억과 지난 통화 요약을 찾는다	기억에 있는 날짜를 묻자 “잠깐, 찾아볼게” 뒤 정확히 답함, 첫 소리까지 1.5초
일정 조회·추가	달력 아홉 개를 읽고, 일정을 넣기 전에 한 번 소리 내어 확인한다	조회 0.45~0.94초, 추가 0.56~1.06초. 대화로는 조회 대답 4.3초, 확인을 거친 추가 3.4~3.7초
할 일 추가	Google Tasks 에 넣는다	0.63초
일 넘기기	통화로 못 하는 일은 기록해 두고, 집 PC 작업이 5분마다 가져가 디스코드의 비서를 깨운다	통화 기록에서 디스코드 발화까지 20초(1회 측정)
웹 검색	Anthropic 서버 측 웹 검색 도구, 대답 한 번에 최대 세 번	검색 중 테리의 말은 기록만 하고 끼어들기로 치지 않음
날씨	기상청 단기예보. 테리 휴대폰 위치의 5 km 격자 번호만 보낸다	한 번 조회 1.0초, 871행

도구를 쥐여 주자 비서는 새로운 방식으로 헤매기 시작했다.

오늘이 며칠인지 몰랐다. 일정을 물으면 기준이 되는 날짜가 없었다. 지침 맨 앞에 한국 시각의 날짜와 시각을 넣어 주자, 이번에는 날짜를 “열한 월 열두 일”처럼 읽었다. 날씨를 붙이자 16 °C 를 “열여섯 도”라고 해서 테리에게 한 소리 들었다.

둘이 짝짜꿍하는 걸 보니 열이 받았지만, 시월이 말은 정확했다. 그래서 읽는 법을 따로 정했다. 기온, 퍼센트, 금액, 분처럼 잰 양은 한자어 수사(“십육 도”)로 읽고, 고유어 수사는 시각과 물건 개수에만 쓴다.

자기 과거를 의심했다. 두 번째 차례에서 Sonnet 이 달력을 다시 읽더니 “아까는 확인하지 않고 말한 것 같다”며 사과했다. 실제로는 첫 차례에 달력을 확인했었다. 대화 기록에는 말한 문장만 남고 도구 호출과 결과는 남지 않으니, 모델 입장에서는 자기 대답의 근거가 기록 어디에도 없었던 것이다. 지침에 “도구 결과는 기록에 남지 않는다”고 적어 주자 사과가 멈췄다.

모든 달력이 같은 무게였다. 달력 아홉 개를 똑같은 무게로 읽었더니, 테리 일정 사이에 상사 일정과 공휴일이 뒤섞여 나왔다. 테리가 세 등급으로 나눠 줬다. 자기 일정을 먼저, 상사 일정과 공휴일 같은 참고 달력은 “참고로”를 붙여 뒤에, 일부 달력은 물을 때만 읽는다. 부서 휴가 달력에는 모든 사람의 휴가가 들어 있어서 항목마다 누구의 휴가인지 말하게 했다.

검색하는 동안의 침묵. 서버 측 웹 검색은 요청 안에서 돌기 때문에 몇 초 동안 회선이 조용하다. 테리는 그 침묵을 못 견디고 “여보세요?” 하게 되고, 게이트웨이는 그걸 끼어들기로 읽어 대답을 취소해 버린다. 그래서 검색 중의 말은 기록만 하고, “잠깐만, 찾아볼게”는 검색이 시작되는 순간 말하게 했다. 첫 배포에서는 이 보호를 검색 결과가 도착할 때까지만 걸었는데, Claude 가 결과를 읽고 대답을 만드는 몇 초 동안의 말은 여전히 끼어들기가 됐다. 지금은 대답의 첫 단어가 나올 때까지 보호한다. 검색 결과만 보고 일정을 넣거나 일을 넘기지 않는다는 규칙도 지침에 넣었다.

위치. 날씨와 검색에는 테리가 어디 있는지가 필요하다. 통화가 시작될 때마다 게이트웨이가 테리 휴대폰의 최신 위치를 읽어, 지역과 도시는 검색 위치로, 좌표는 날씨 격자를 고르는 데 쓴다. 읽지 못하면 둘 다 서울로 둔다. 이건 테리가 정했다. 통화 기록에는 위치를 어디서 얻었는지와 그 이유만 남기고 장소는 남기지 않는다.

일주일짜리 시한폭탄. 달력과 할 일 권한은 Google OAuth 로 받았다. 토큰 응답을 들여다보다가 refresh_token_expires_in: 604799를 발견했다. 앱을 “Testing” 상태로 두면 갱신 토큰이 7일 뒤 죽는다. 그대로 뒀다면 다음 주 어느 아침, 테리가 “오늘 일정 뭐야?” 하고 물었을 때 비서는 아무것도 읽지 못했을 것이다. 개인정보처리방침을 게시하고 앱을 Production 으로 올리자 만료 표시가 사라졌다.

⏱️ 지연의 범인 찾기

전화에서 1초는 길다. 테리도 대답이 늦으면 바로 안다. 대답이 늦으면 누구나 먼저 모델을 의심하니까, 모델부터 쟀다. 모델과 음성 줄은 다섯 번 잰 중앙값이다.

측정	값
Claude 첫 토큰, 15:05	Haiku 5.5 1.79 s, Sonnet 5.5 0.70 s
Claude 첫 토큰, 15:10 (5분 뒤)	Haiku 0.53 s, Haiku effort low 0.51 s, Sonnet effort low 0.62 s
ElevenLabs Flash v2.5 첫 음성 바이트 (μ-law 8 kHz)	0.22 s
Scribe: 말 끝 → 문장 확정 (배포 전 실측, 다섯 번 중앙값 아님)	0.86 s (VAD 무음 0.6 s 포함)

15:05에 1.79초였던 Haiku 가 5분 뒤에는 0.53초였다. 설정은 그대로였다. 언제 재느냐가 어떤 모델을 쓰느냐보다 크게 작용할 수 있다는 뜻이다. 15:10 줄만 보면 Haiku(0.51~0.53초)와 Sonnet(0.62초)의 차이는 0.1초 남짓이다. 상태가 좋은 시간에는 모델을 바꿔 봐야 첫 토큰이 0.1초쯤 움직일 뿐이다. 기다림의 대부분은 다른 데 숨어 있었다. “말이 끝났다”는 판정, 그리고 음성 합성을 시작할 수 있게 첫 문장이 완성되기까지의 시간이다. Flash v2.5를 쓰던 첫날의 실통화에서는 문장이 확정된 때부터 대답의 첫 소리까지 1.4~2.4초가 걸렸다.

Haiku 와 Sonnet, 꼬리에서 갈린 승부. 전화 상대가 느끼는 것은 첫 토큰이 아니라 첫 문장이다. 외부인용 지침으로 질문 세 개를 모델마다 열 번씩, 모델당 서른 번, effort low 로 쟀다.

모델	첫 토큰 (중앙값)	첫 문장 (중앙값)	첫 문장 (p90)	대답 전체 (중앙값)
Haiku 5.5	0.82 s	0.99 s	1.59 s	1.35 s
Sonnet 5.5	0.90 s	1.34 s	2.74 s	2.06 s

아홉 번씩만 쟀을 때는 1.09초 대 1.15초, 사실상 무승부였다. 서른 번으로 늘리자 차이가 꼬리에서 드러났다. 열 번에 한 번, Sonnet 의 첫 문장은 2.74초 뒤에 나오고, 여기에 음성 합성 첫 바이트 약 0.25초가 더해진다. 모르는 사람과의 통화에서 2초가 넘는 침묵은 끊긴 전화처럼 들린다. 그래서 낯선 사람의 전화에는 Haiku 를 붙였다. 테리가 실제로 일을 시키는 통화에는 대화의 질을 앞세워 Sonnet 을 붙였다.

목소리 고르기. Flash v2.5는 문서의 “대화용 초저지연”이라는 설명만 보고 골랐고, 쓸 수 있는 모델 목록은 조회조차 하지 않았었다. 뒤늦게 목록을 받아 모델마다 첫 바이트를 여섯 번씩 쟀다.

ElevenLabs 모델	첫 바이트 (6회 중앙값)	비고
flash v2.5	0.22 s	처음 고른 모델
v4 turbo	0.23 s	최댓값 0.57 s
v4	0.88 s	통화에는 느리다
v3 conversational	0.24 s	한 번은 5.39 s

속도는 같으면서 더 새로운 v4 turbo 로 바꿨다. 운영 설정으로 직접 합성해 보니 첫 바이트가 한국어 0.24초, 영어 0.17초였다. 첫 실제 대화를 마친 테리의 평은 이랬다. “생각보다 말도 잘 알아듣고 대박임. 근데 말이 너무 빨라.” 음성 속도를 0.85로 낮췄다. 같은 문장도 합성할 때마다 길이가 크게 흔들려서, 한 번만 잰 0.9는 1.0과 구분이 안 됐다. 여러 번 재고 나서야 0.8은 약 20%, 0.7은 약 45% 길어진다는 걸 확인했다.

🐛 끊긴 통화에 대답하는 비서

첫 배포 전, 테스트 27개를 통과한 코드를 독립 리뷰에 맡겼다. 지시는 “심각도와 상관없이 전부 보고하라”였다. 1차 리뷰는 37건을 냈고 그중 6건이 심각했다. 테스트를 다 통과했다고 뿌듯해하던 참이라 조금 머쓱했다.

가장 기억에 남는 것은 리뷰어가 직접 재현한 경합이다. 발신자가 비서의 말 위로 말을 얹으면(끼어들기), 게이트웨이는 진행 중인 대답을 취소하고 쌓인 소리를 지우라고 알린다. 바로 그 찰나에 발신자가 전화를 끊으면, 취소되었어야 할 옛 대답이 살아남아 이미 끝난 통화에 대답을 한 번 더 보낼 수 있었다. 1차 수정에서는 통화가 끝날 때 취소를 전파하고 대답 작업들을 회수하게 했다. 2차 리뷰는 더 좁은 틈을 찾아냈다. 끼어들기 도중에 생긴 대답 작업이 통화가 끝난 뒤에도 남는 경우다. 이번에는 대답 작업을 모두 집합(set)으로 추적하고, 통화가 끝나면 집합 전체를 취소하게 했다. 리뷰어의 재현 스크립트로 막힌 것을 확인했다.

같은 리뷰가 대화 기록의 거짓말도 잡았다. 발신자가 말을 얹어 실제로는 듣지 못한 문장까지 기록에 남아 있어서, 모델은 전하지 못한 말을 전했다고 믿고 있었다. 해법은 제공사의 스트림 프로토콜에 있던 “마크(mark)”였다. 문장마다 소리 뒤에 표시를 붙여 보내면, 그 소리가 실제로 재생된 뒤 같은 표시가 돌아온다. 이제 기록에는 마크가 돌아온 문장과, 끼어들 때 재생 중이던 문장(말줄임표로 잘라서)만 남는다.

자잘한 수정도 이어졌다. “네” 한마디에 말이 끊기지 않도록 끼어들기 최소 글자 수를 두었고, 모든 외부 호출에 시간 제한을 걸고 SDK 자동 재시도는 껐다. 통화 중의 재시도는 곧 몇 초의 침묵이다. 인증 전 소켓 수에 상한을 두었고, 로그의 전화번호는 가렸다. 기억 서버가 접근 거부를 정상 응답 안에 {"status": "error"}로 담아 돌려준다는 것도 배포 전에 찾았다. 그대로 갔다면 게이트웨이는 그걸 “기억 없음”으로 읽고, 비서는 테리에 관해 아무것도 모르는 척했을 것이다.

🧪 가짜 발신자와 하루의 숫자

낯선 사람의 통화를 시험하려면 두 번째 전화기가 필요한데, 없었다. 테리에게 백 번씩 전화를 걸어 달라고 할 수도 없고, 부탁하면 그 대가로 또 뭔가를 시킬 게 뻔해서, 서버 안에 제공사를 흉내 내는 모의 발신자를 만들었다. 서명된 웹훅을 보내고, 합성한 목소리를 20밀리초 프레임으로 실시간 흘려 넣고, 재생에 맞춰 마크를 돌려준다. 받아쓰기, Claude, 음성 합성, 기억은 모두 진짜 서비스를 쓴다. 이 가짜 발신자가 첫 실행에서 문제 하나를 찾아냈다. 전화를 받고 첫 인사까지 7.5초가 걸렸다. 고지와 인사 합성, 발신자 이력 조회가 줄을 서서 차례로 돌고 있었다. 병렬로 바꾸자 3.0초가 되었다.

항목	값
실통화 (첫날 저녁까지)	연결 시험 1, 테리 3(1건 무발화), 다른 번호 1. 밤에 테리가 다른 휴대폰으로 3건(2건 무발화, 1건 50초 영어)
모의 통화	16건 (한국어 8, 외국어 8)
테스트 수	5 → 27 → 51 → 58 → 72 → 82 (첫날 저녁) → 94 (밤) → 127 (다음 날 도구 배포)
독립 리뷰	2회, 37건 중 심각 6건, 재현된 경합 2건
지연	말 끝 → 확정 0.86~0.95초, 확정 → 첫 소리 1.4~2.4초, 웜업 3.0초
메모리	대기 86 MB, 통화 중 최대 약 120 MB, 상한 200 MB

✅ 정리: 받는 전화를 만든다면

문제가 …라면	먼저 할 일
구성을 정해야 한다	도구나 기억이 필요하면 자체 게이트웨이, 빨리 시험만 해 볼 거면 제공사 SDK. 두뇌를 바꿀 수 없는 직결 방식은 기존 에이전트와 갈라진다
누가 걸었는지에 따라 할 일이 다르다	상대 구분, 언어, “대답할까”는 모델을 부르기 전에 코드로 정하고, 그 판단을 한 줄로만 모델에게 전한다
무음이나 에코에서 유령 말이 나온다	필터나 큰 모델을 찾기 전에, 글자 뒤 소리의 크기로 받아쓰기를 거른다
대답이 느리다	모델 첫 토큰이 아니라 말 끝에서 첫 소리까지, 그리고 첫 문장의 90번째 백분위를 잰다
모델이 엉뚱하게 “기억”한다	상대가 실제로 들은 것만 기록하고, 도구 결과는 기록에 남지 않는다고 모델에게 알린다

전화를 받게 만들었으니 이제 좀 쉬나 했다. 테리의 다음 말은 예상대로였다.

2편은 그 이야기다. 은행 ARS 의 “1번을 누르세요” 앞에서 막힌 일, 그리고 키패드 없는 AI 가 소리로 버튼을 누르게 된 과정을 다룬다.

📚 참고 자료

• ClawOps API 문서 색인 — docs.claw-ops.com/llms.txt
• ElevenLabs Scribe v2 Realtime (실시간 받아쓰기) — elevenlabs.io/docs
• ElevenLabs 음성 합성 모델 — elevenlabs.io/docs
• Claude 적응형 사고와 effort — docs.claude.com
• Anthropic 웹 검색 도구 — docs.claude.com
• 기상청 단기예보 조회서비스(공공데이터포털 15084084) — data.go.kr