온디바이스 AI는 빠르지만 먼저 기기 한계를 확인해야 한다

휴대전화에서 사진 속 글자를 찾거나 음성을 받아쓰는 기능을 쓰다 보면 인터넷이 끊겨도 바로 반응하는 경우가 있습니다. 이런 기능 가운데 일부는 입력을 멀리 있는 서버로 보내지 않고 사용자의 기기 안에서 처리합니다. 이를 온디바이스 AI라고 부릅니다.

이 방식은 무조건 클라우드보다 낫다는 뜻이 아닙니다. 작은 가방에 필요한 도구를 직접 넣어 다니면 바로 꺼낼 수 있지만, 큰 장비까지 모두 들고 다닐 수는 없는 것과 비슷합니다. 어떤 일을 기기에서 끝내고 어떤 일을 서버에 맡길지 나누는 판단이 먼저입니다.

기기 안에서 처리한다는 말부터 풀어 보기

AI 모델은 입력을 보고 결과를 계산하는 파일과 규칙의 묶음입니다. 온디바이스 방식에서는 이 모델이 휴대전화나 노트북에 들어 있고, 그 기기의 CPU나 GPU, AI 계산을 돕는 전용 장치를 이용합니다. Apple의 Core ML과 Google의 LiteRT는 모델을 기기에서 실행하도록 돕는 대표적인 개발 기술입니다.

예를 들어 메모 앱이 문장을 긍정과 부정으로 분류한다고 해봅시다. 클라우드 방식은 문장을 서버에 보내 결과를 받아옵니다. 온디바이스 방식은 앱 안의 모델이 같은 기기에서 결과를 계산합니다. 사용자가 보는 버튼은 같아도 데이터가 이동하는 길과 운영 비용은 달라집니다.

작은 입력에 빠르게 답하는 기능이 잘 맞는다

기기 안에서 처리하면 네트워크 왕복 시간이 없어 반응이 빨라질 수 있습니다. 비행기 안이나 지하처럼 연결이 불안정한 곳에서도 작동할 여지가 있습니다. 요청할 때마다 외부 AI 서버 비용을 내지 않는다는 장점도 있습니다.

다음처럼 범위가 분명하고 결과가 짧은 기능부터 살펴보기 좋습니다.

• 사진 속 물체나 문서 종류를 나누기
• 짧은 음성 명령을 몇 가지 행동으로 분류하기
• 입력 중인 문장의 오탈자 후보 제시하기
• 사용자가 고른 자료 안에서 간단한 추천 순서 만들기
• 인터넷이 없을 때도 꼭 필요한 기본 기능 제공하기

반대로 긴 문서 여러 개를 읽고 복잡한 답을 만드는 일, 최신 웹 정보가 필요한 일, 기기마다 같은 품질을 보장해야 하는 일은 서버 모델이 더 알맞을 수 있습니다.

개인정보는 전송 경로까지 확인해야 한다

기기에서 계산하면 원본 입력을 서버로 보내지 않을 수 있습니다. Apple은 Core ML의 기기 내 실행이 네트워크 의존을 없애고 데이터가 기기에 머무는 데 도움을 준다고 설명합니다. Google도 LiteRT를 기기용 실행 환경으로 제공합니다.

하지만 온디바이스라는 이름만으로 개인정보가 자동으로 안전해지는 것은 아닙니다. 앱이 분석 로그에 원문을 넣거나, 오류 보고를 위해 사진을 올리거나, 클라우드 백업에 결과를 저장할 수 있기 때문입니다. 모델 계산 위치와 데이터 저장·전송 위치를 따로 봐야 합니다.

개인정보를 다룬다면 아래 네 문장을 실제 동작과 맞춰 적어봅니다.

1. 어떤 입력이 기기 안에서 처리되는가
2. 원본이나 결과가 외부로 전송되는가
3. 기기에 얼마나 오래 저장되는가
4. 사용자가 기록을 지울 수 있는가

모델 크기와 배터리는 실제 기기에서 드러난다

모델 파일이 커지면 앱 설치 용량과 첫 실행 시간이 늘 수 있습니다. 계산량이 많으면 오래된 기기에서 화면이 끊기거나 기기가 뜨거워지고 배터리가 빨리 줄 수 있습니다. 개발용 최신 컴퓨터에서 빠르다는 결과만으로 모든 사용자에게 빠르다고 말하면 안 됩니다.

최소 사양에 가까운 기기 한 대와 보통 기기 한 대에서 같은 입력을 반복해 봅니다. 첫 결과가 나오는 시간, 두 번째부터의 시간, 메모리 사용, 배터리 변화, 앱이 백그라운드로 갔다 돌아왔을 때의 상태를 기록합니다. 모델의 정확도뿐 아니라 사용자가 기다릴 수 있는지도 제품 품질입니다.

클라우드와 역할을 나누면 선택이 쉬워진다

현실적인 앱은 두 방식을 섞어 쓰기도 합니다. 예를 들어 음성을 기기에서 글자로 바꾸고 민감한 부분을 제거한 뒤, 사용자가 동의한 경우에만 긴 요약을 서버에 요청할 수 있습니다. 또는 기본 분류는 기기에서 하고 어려운 사례만 서버로 보낼 수 있습니다.

이때 연결이 끊겼을 때의 화면을 미리 정합니다. 서버 기능이 안 된다는 이유로 앱 전체를 막기보다 기기에서 가능한 기본 기능을 남기고, 무엇이 보류됐는지 알려주는 편이 낫습니다. 서버 전송이 시작되는 순간에는 데이터 종류와 이유를 숨기지 않습니다.

작은 기능 하나로 선택표를 만들어 보기

앱 전체를 바꾸지 말고 후보 기능 하나를 고릅니다. 예를 들어 영수증 사진에서 금액을 읽는 기능이라면 다음 표를 메모장에 작성할 수 있습니다.

기능: 영수증 금액 읽기
인터넷 없이 필요한가: 예
원본 사진 외부 전송 허용: 아니오
최소 지원 기기: 3년 전 보급형 휴대전화
기다릴 수 있는 시간: 2초
틀렸을 때 대안: 사용자가 금액 직접 수정

그 다음 작은 모델을 한 기기에서만 시험하고, 결과가 느리거나 자주 틀리면 모델 축소, 입력 크기 조정, 서버 보조 중 하나만 바꿔 다시 비교합니다. 정확도 100퍼센트를 가정하지 말고 사용자가 결과를 확인하고 고칠 길을 남겨둡니다.

도입 전에 마지막으로 확인할 것

• 최신 기기 한 대의 성공을 전체 사용자 경험으로 확대하지 않았는지 봅니다.
• 모델 파일을 바꿀 때 앱 업데이트가 필요한지 확인합니다.
• 오프라인 상태에서 버튼과 안내 문구가 실제 동작과 맞는지 시험합니다.
• 원본 입력과 결과, 로그의 저장·전송 위치를 각각 확인합니다.
• 틀린 결과를 사용자가 알아보고 수정할 수 있게 합니다.
• 서버로 전환할 때 동의와 비용, 지연 시간을 다시 설명합니다.

온디바이스 AI의 장점은 작은 모델이라는 이름이 아니라 필요한 순간에 가까운 곳에서 일을 끝낸다는 데 있습니다. 기능 하나의 입력과 결과, 기기 한계, 데이터 경로를 먼저 적어보면 유행어 대신 제품에 맞는 선택을 할 수 있습니다.