AI 비서는 정말 내 편인가 [장준환의 AI법 네비게이터⑨]

얼마 전 미국의 한 언론매체와 인터뷰를 한 적이 있다. 나는 국제 자산 구조와 투자, 상속, 이민, 크로스보더 거래처럼 Private Wealth 변호사로서 다루는 국제적 업무에 대해 이야기하고 싶었다. 그런데 의외로 질문은 훨씬 일상적인 곳에서 나왔다.

“그렇게 여러 나라를 오가면 출장이 많을 텐데, 항공권과 호텔은 어떻게 고르십니까?” “가격 비교는 어디서 하십니까?” “좋은 호텔은 어떻게 찾으십니까?”

처음에는 조금 신변잡기적인 질문처럼 느껴졌다. 하지만 생각해보니 그 질문이 오히려 현실에 가까웠다. 국제 업무를 하는 사람에게 예약은 단순한 편의가 아니라 일의 일부다. 항공권, 호텔, 렌터카, 식당, 회의 장소를 정하는 일은 반복되고, 우리는 이미 대부분의 선택을 예약 플랫폼과 검색 알고리즘에 의존하고 있다.

앞으로 이 플랫폼들은 더 적극적으로 AI를 사용할 것이다. “최적의 항공권”, “당신에게 맞는 호텔”, “가장 효율적인 일정”이라는 이름으로 AI가 선택지를 정리해줄 것이다. 겉으로는 나를 위한 추천처럼 보인다. 그러나 바로 그 지점에서 새로운 질문이 시작된다. 그 추천은 정말 나를 위한 것일까. 아니면 수수료를 더 많이 주는 호텔, 광고비를 낸 항공권, 플랫폼에 더 이익이 되는 상품이 먼저 올라온 것일까.

AI는 검색창에서 대리인으로 바뀌고 있다

지금까지 많은 사람들은 AI를 검색이나 답변 도구로 생각했다. 질문을 입력하면 답을 주고, 문서를 요약하고, 이메일을 대신 써주는 정도였다. 이 단계에서는 AI가 틀리면 사람이 고치면 된다. 책임의 중심은 여전히 사용자에게 있었다.

그러나 AI가 나를 대신해 행동하기 시작하면 이야기는 달라진다. AI가 항공권을 예약하고, 호텔을 고르고, 회의 일정을 조정하고, 상품을 구매하고, 투자 포트폴리오를 추천하고, 보험이나 의료 서비스를 안내한다면 그것은 더 이상 단순한 도구가 아니다. 사용자의 시간과 돈, 선택과 권리에 직접 영향을 미치는 대리인에 가까워진다.

최근 Stanford Institute for Human-Centered Artificial Intelligence, 즉 Stanford HAI는 바로 이 문제를 중요한 정책 의제로 다루었다. Stanford HAI의 정책 브리프 「Designing Loyalty: AI Agents and Conflicts of Interest」는 AI 에이전트가 사용자에게 충성하는 것처럼 보이지만, 실제로는 개발사나 배포사의 이익을 우선하도록 설계될 위험이 있다고 지적한다. 다시 말해 AI 에이전트의 핵심 문제는 단순히 성능이나 정확도가 아니라, 그 AI가 누구의 이익을 위해 설계되었는가의 문제다.

Stanford HAI가 주목한 단어는 ‘loyalty’, 즉 충성이다. 이것은 기술 윤리의 표현처럼 보이지만, 사실 매우 법적인 단어다. 누군가가 다른 사람을 대신해 판단하고 행동할 때, 그 판단이 누구의 이익을 향해야 하는가라는 질문이기 때문이다. AI 에이전트가 단순한 도구를 넘어 사용자를 대신해 선택하고 실행하는 단계로 이동한다면, 법은 결국 충성의무라는 오래된 질문을 다시 꺼낼 수밖에 없다.

문제는 이해상충이다

AI 에이전트의 가장 큰 문제는 기술 부족이 아니라 이해상충일 수 있다. 여행 예약 AI가 사용자에게 가장 좋은 호텔을 찾아주는 것처럼 보이지만, 실제로는 플랫폼 수수료가 높은 호텔을 우선할 수 있다. 금융 AI가 투자자에게 적합한 상품을 추천하는 것처럼 보이지만, 실제로는 판매 보수가 높은 상품을 더 자주 노출할 수 있다. 헬스케어 AI가 환자를 돕는 것처럼 보이지만, 보험사나 병원의 비용 절감 기준에 맞춰 선택지를 좁힐 수도 있다.

문제는 사용자가 이러한 구조를 쉽게 알기 어렵다는 점이다. AI가 어떤 선택지를 검토했는지, 어떤 선택지를 제외했는지, 왜 특정 상품을 추천했는지 사용자는 알기 어렵다. 기존의 판매원은 적어도 판매원처럼 보인다. 그러나 AI 비서는 비서처럼 말한다. 친절하고, 빠르고, 개인화되어 있으며, 나를 잘 이해하는 것처럼 보인다. 바로 그 점이 더 위험할 수 있다.

법의 세계에서 타인의 이익을 위해 행동하는 사람에게는 특별한 의무가 부과된다. 변호사는 의뢰인의 이익을 우선해야 하고, 신탁수탁자는 수익자의 이익을 위해 행동해야 하며, 투자자문가는 고객에게 적합한 조언을 제공해야 한다. 이를 넓게 보면 충성의무의 문제다. 그렇다면 사용자를 대신해 선택하고 실행하는 AI 에이전트와 그 운영자에게도 비슷한 기준이 필요하지 않을까.

충성의무는 AI가 아니라 기업에게 묻는 것이다

AI 에이전트에게 충성의무를 논의한다는 것은 AI에게 인격을 부여하자는 뜻이 아니다. 실제 책임은 AI 자체가 아니라 그것을 설계하고 배포하고 운영하는 기업에게 물어야 한다. 중요한 것은 AI가 어떤 목적 함수로 움직이는가, 어떤 수익 구조에 묶여 있는가, 사용자의 이익과 기업의 이익이 충돌할 때 어떤 기준으로 판단하도록 설계되어 있는가이다.

예를 들어 AI 여행 비서가 항공권을 추천할 때 사용자의 시간, 가격, 환승 부담, 마일리지, 취소 가능성까지 고려한다면 그것은 진정한 비서에 가깝다. 그러나 사용자가 알 수 없는 방식으로 특정 플랫폼의 수수료, 광고 계약, 제휴 관계를 우선한다면 그것은 판매원에 가깝다. AI 금융 비서도 마찬가지다. 고객의 위험 성향과 장기 목표를 중심으로 판단하면 자문에 가깝지만, 판매 수수료와 회사의 이익을 우선하면 이해상충이 발생한다.

Stanford HAI는 특히 금융 서비스나 의료 서비스처럼 소비자에게 큰 영향을 미치는 영역에서 AI 에이전트 개발자와 배포자에게 충성의무를 부과하는 방안을 제시한다. AI 에이전트가 사용자의 선택을 대신하고, 그 선택이 돈과 건강, 권리와 계약에 영향을 미친다면 단순한 약관 고지만으로는 부족하다. 이해상충을 공개하고, 추천 기준을 설명하며, 사용자의 이익을 우선하도록 설계하고, 문제가 발생했을 때 책임을 물을 수 있어야 한다.

내 AI 비서는 정말 내 편인가

한국도 AI 에이전트를 단순 편의 서비스로만 보아서는 안 된다. 앞으로 금융, 보험, 의료, 여행, 교육, 법률 서비스에서 AI 에이전트는 사용자의 선택을 대신하고, 때로는 사용자의 결정을 유도하게 될 것이다. 이때 필요한 것은 단순한 개인정보 동의나 서비스 약관이 아니다. 이해상충의 공개, 추천 기준의 설명, 사용자 이익 우선 원칙, 그리고 문제가 발생했을 때 책임을 물을 수 있는 구조다.

AI 에이전트 시대의 핵심 질문은 결국 하나로 모인다. 내 AI 비서는 정말 내 편인가. 사용자가 이 질문에 답할 수 없다면, AI 에이전트는 편리한 기술이 아니라 보이지 않는 판매 채널이 될 수 있다.

AI 시대의 소비자 보호는 더 이상 개인정보 보호나 오류 수정에만 머물 수 없다. 이제는 AI가 누구의 편에 서서 행동하는가를 따져야 한다. 비서처럼 말하는 AI가 실제로는 판매원처럼 행동한다면, 법은 그 차이를 드러내야 한다. AI가 나를 대신해 선택하는 시대에는 가장 오래된 법의 질문이 다시 중요해진다.

대리인은 누구의 이익을 위해 행동해야 하는가.

장준환 뉴욕 변호사 (Private Wealth & Investment)
충북대학교 컴퓨터공학과 겸임교수/재미한인과학기술자협회(KSEA) 고문변호사

미국 뉴욕주 프라이빗 웰스 로펌의 대표 변호사로 자산 구조와 투자전략 설계 전문가다. AI를 비롯한 IT 관련 법률 지식에 정통해 충북대 컴퓨터공학과 겸임교수와 재미한인과학기술자협회 고문변호사를 맡고 있다. 도시재생 프로젝트를 추진하는 등 개발사업과 글로벌 갤러리 운영도 하면서 다양한 사회·문화 활동도 하고 있다. 차세대 한인 리더로서 AI 시대의 인간다움을 지키는 인프라를 구축해 입법·제도화한다는 비전을 갖고 오는 2028년 뉴욕주 하원의원 선거에 출마를 준비 중이다.

장준환 칼럼니스트/뉴욕 변호사