혹시 컴퓨터로 반복적인 작업을 하다가 ‘누가 이것 좀 대신해 줬으면…’ 하고 생각해 본 적 없으신가요?
예를 들어, 수십 개의 영수증 데이터를 엑셀에 옮겨 적고, 그걸 다시 회계 프로그램에 입력하는 끝없는 ‘복붙’의 늪에 빠져있을 때 말입니다.
지금까지 인공지능(AI)은 주로 우리의 ‘언어’를 이해하는 데 집중해왔습니다.
‘챗GPT’ 같은 대규모 언어 모델(LLM)에게 질문하면 똑똑하게 대답해 주는 것처럼 말이죠.
하지만 이제 AI는 언어를 넘어 우리의 ‘행동’을 학습하고 흉내 내기 시작했습니다.
바로 대규모 행동 모델(Large Action Models, LAM)의 등장 덕분입니다.
이 녀석은 우리가 컴퓨터 앞에서 하는 모든 행동, 즉 마우스 클릭, 스크롤, 타이핑 하나하나를 어깨너머로 지켜보며 학습하는 ‘디지털 인턴’과도 같습니다.
오늘은 이 무섭도록 영특한 AI, LAM이 정확히 무엇인지, 그리고 우리 일상을 어떻게 바꿀 수 있을지 그 속사정을 낱낱이 파헤쳐 보겠습니다.
대규모 행동 모델(LAM)이란 정확히 무엇일까요?
대규모 행동 모델(Large Action Model, LAM)이란, 인간이 컴퓨터 애플리케이션이나 웹사이트를 사용하는 방식을 관찰하고 학습하여, 주어진 목표를 달성하기 위해 스스로 디지털 도구를 조작할 수 있는 인공지능 모델을 의미합니다.
말이 조금 어렵나요? 쉽게 말해 ‘컴퓨터 대신 써주는 AI’라고 생각하면 편리합니다.
우리가 “부산 가는 KTX 제일 빠른 걸로 예매해 줘”라고 말하면, LAM은 단순히 기차 시간표를 알려주는 것을 넘어 직접 코레일 앱을 켜고, 날짜와 시간을 입력하고, 좌석을 선택한 뒤 결제 창까지 띄워주는 행동을 수행합니다.
언어만 이해하는 대규모 언어 모델이 똑똑한 ‘뇌’라면, 대규모 행동 모델은 그 뇌의 명령을 받아 실제로 움직이는 ‘손발’이 생긴 셈이죠. 🦾
LAM은 어떻게 우리 행동을 학습하나요? 2가지 핵심 원리
그렇다면 이 기특한 AI는 어떻게 인간의 복잡한 컴퓨터 사용법을 배우는 걸까요? 여기에는 크게 두 가지 핵심 원리가 있습니다.
원리 1: 인간 행동 데이터의 관찰 학습
LAM의 학습 방식은 마치 우리가 어깨너머로 선배의 업무를 배우는 것과 비슷합니다.
개발자들은 LAM에게 수많은 사람이 컴퓨터를 사용하는 영상, 마우스 클릭 기록, 키보드 입력 순서 같은 ‘인간 행동 데이터’를 보여줍니다.
LAM은 이 방대한 데이터를 분석하며 특정 목표를 달성하기 위해 어떤 순서로 행동해야 하는지에 대한 패턴을 스스로 학습합니다.
예를 들어, ‘이메일 보내기’라는 목표를 위해서는 (1) 이메일 프로그램을 클릭하고, (2) ‘새 편지 쓰기’를 누르고, (3) 받는 사람 주소를 입력하고, (4) 내용을 작성한 뒤, (5) ‘보내기’ 버튼을 누른다는 일련의 과정을 통째로 익히는 것입니다.
원리 2: 언어 모델(LLM)과의 환상적인 콤비 플레이
LAM이 더욱 강력한 이유는 똑똑한 ‘뇌’ 역할을 하는 대규모 언어 모델(LLM)과 결합되어 있기 때문입니다.
우리가 자연스러운 말로 명령을 내리면, 그 말의 ‘의도’를 정확하게 파악해서 LAM에게 전달합니다.
가령, “지난 분기 마케팅 보고서 초안을 팀장님께 메일로 보내드려”라고 지시했다고 해봅시다.
이때 LLM은 ‘마케팅 보고서’라는 파일이 무엇인지, ‘팀장님’의 이메일 주소는 무엇인지, 메일 본문은 어떻게 정중하게 작성해야 하는지를 이해합니다.
그리고 이 정보를 바탕으로 LAM에게 “자, 이제 이 파일 찾아서, 이 주소로, 이렇게 메일 써서 보내!”라고 구체적인 행동 계획을 지시하는 것이죠.
그야말로 ‘찰떡궁합’입니다.
그래서, LAM으로 무엇을 할 수 있을까요? 3가지 실제 활용 사례
대규모 행동 모델의 등장은 우리의 업무 환경과 일상을 혁신적으로 바꿀 잠재력을 가지고 있습니다. ‘이론은 이제 됐고, 그래서 이걸로 뭘 할 수 있는데?’라고 물으실 분들을 위해 구체적인 활용 사례 3가지를 준비했습니다.
사례 1: 귀찮은 사무 업무의 완전 자동화
앞서 언급했던 영수증 처리 같은 반복적인 사무 업무는 LAM이 가장 활약할 수 있는 분야입니다.
“이번 주 출장 경비 정산해 줘”라는 한 마디에 알아서 영수증 사진 파일을 스캔해 내용을 인식하고, 그 데이터를 회사 경비 처리 시스템에 자동으로 입력한 뒤 결재까지 상신할 수 있습니다.
수많은 직장인을 야근의 늪에서 구해줄 구원자가 될지도 모를 일이죠.
사례 2: 복잡한 전문가용 소프트웨어 보조
포토샵이나 영상 편집 프로그램, 써보신 분들은 아시겠지만 기능이 너무 많아 배우기 어렵습니다.
하지만 LAM이 있다면 “이 사진에서 배경만 지우고, 전체적인 색감을 좀 더 따뜻하게 만들어줘”처럼 말로 지시하는 것만으로 복잡한 작업을 수행할 수 있습니다.
마치 숙련된 전문가 조수가 옆에 앉아 작업을 도와주는 것과 같은 효과를 누릴 수 있게 됩니다.
이를 통해 더 많은 사람이 창의적인 도구를 쉽게 활용할 수 있게 될 것입니다.
사례 3: 나를 완벽하게 이해하는 개인 맞춤형 디지털 비서
LAM 기반의 디지털 비서는 단순히 명령을 수행하는 것을 넘어, 사용자의 습관과 선호를 학습하여 먼저 필요한 것을 제안하는 수준까지 발전할 수 있습니다.
매일 아침 특정 뉴스 사이트와 주식 앱, 날씨를 확인하는 사용자라면 이를 기억했다가 아침에 컴퓨터를 켜자마자 관련 앱들을 미리 실행시켜 놓을 수 있습니다.
나의 디지털 라이프를 꿰뚫어 보는 진정한 의미의 ‘집사’가 생기는 셈입니다. 🧐
대규모 행동 모델의 미래와 남은 과제
LAM 기술이 가져올 미래는 분명 혁신적입니다.
컴퓨터 활용 능력이 부족한 사람도 복잡한 디지털 서비스를 쉽게 이용할 수 있게 되어 ‘디지털 격차’를 해소하는 데 기여할 수 있습니다.
하지만 동전의 양면처럼, 해결해야 할 과제도 분명 존재합니다.
AI에게 내 컴퓨터의 제어권을 넘겨준다는 것은 심각한 보안 문제를 야기할 수 있습니다.
만약 LAM이 해킹당하거나 오작동을 일으켜 중요한 파일을 삭제하거나 금융 정보를 유출한다면 큰일이겠죠.
따라서 기술 발전과 함께 강력한 보안 및 안전장치를 마련하는 것이 무엇보다 중요할 것입니다.
결론적으로, 대규모 행동 모델(LAM)은 인간의 언어를 넘어 행동까지 이해하고 수행하는 AI의 새로운 지평을 열었습니다.
우리가 컴퓨터를 다루는 방식 자체를 근본적으로 바꾸어, 이제는 컴퓨터를 ‘사용’하는 것을 넘어 ‘협력’하는 시대를 열어줄 것입니다.
물론 약간의 걱정과 두려움이 동반되기도 하지만, 이 놀라운 기술이 가져올 편리하고 풍요로운 미래를 기대해 봐도 좋지 않을까요?
