기술은 언제나 문명의 거울이다.
인간은 불을 발견해 따뜻함을 얻는 동시에 전쟁을 발명했고, 전기를 통해 밤을 낮처럼 밝히면서도 탄소와 기후 위기를 함께 불러왔다. 오늘 우리가 마주한 ‘생성형 인공지능’(Generative AI)도 이러한 연속선 위에 있다. 창작과 언어, 판단과 예술의 영역에서 점점 인간의 손을 닮아가는 이 기술은 이제 단순한 도구가 아니라 사회적 주체 혹은 문화적 행위자처럼 기능하고 있다.
그럴 때 우리가 던져야 할 질문은 단순히 “이 기술이 무엇을 할 수 있는가?”가 아니라, “우리는 이 기술로 무엇을 해야 하며, 무엇을 해서는 안 되는가?”라는 규범적 문제다. 이 질문에 답하기 위한 핵심 키워드가 바로 ‘AI 거버넌스’다.
여기서 거버넌스는 단순한 법과 제도를 넘어선다. 그것은 윤리와 공공성, 참여의 문제이며, 예술과 문화, 인권과 민주주의를 새롭게 구성하는 질서의 이야기다. 인간의 창작과 판단을 대체하거나 모방하는 기술이 등장한 지금, AI 거버넌스의 방향은 우리 사회의 근본을 묻는 질문과 맞닿아 있다.
이는 예술의 민주화를 가능하게 한다는 긍정적 측면도 있지만 동시에 저작권 침해, 예술가의 생존권 위협, 문화의 획일화 같은 심각한 문제도 일으킨다. AI가 기존 창작물을 학습해 새로운 결과물을 만들어내는 과정에서 인간의 창의성과 노동은 점차 배제되며 “창작의 주체는 누구인가”라는 철학적 질문이 다시 제기된다.

 

 

더 현실적이고 더 심각한 문제가 다른 곳에 있다. AI는 인간의 역사에서 추출된 데이터로 학습한다. 그런데 이 데이터는 완전무결하지 않다. 인종적 고정관념, 성별 차별, 지역 편견이 고스란히 축적되어 있다. ‘최고경영자(CEO)’ 이미지를 검색했을 때 백인 남성만 등장하거나, ‘프로그래머’를 입력했을 때 남성 중심적 이미지가 생성되는 건 우연이 아니다. AI의 주체성과 빙의의 성격과 모종의 자격에 관해선 추가적이고 근원적인 토론이 필수적일 것이기에 이 자리에선 AI의 사회적 산출물을 생성하는 과정의 거버넌스에 국한하여 논의하기로 한다.

 

AI 거버넌스

ESG에서 거버넌스란 의사결정과 산출물을 만드는 과정과 절차, 조직, 대리인의 역할과 책임을 포괄한다. AI거버넌스 또한 이 틀 안에서 이해할 수 있으며, 특히 ‘대리인’의 문제가 핵심적으로 부각된다. 이는 AI가 자율적인 존재가 아니라 인간이 설계하고 데이터를 공급하며 그 작동 원리를 규정한 알고리즘에 따라 작동하는 ‘도구’이기 때문이다. 다시 말해 AI의 산출물은 결국 인간, 그중에서도 기술자, 개발자, 기업, 정책결정자 등 특정한 위치에 있는 사람들의 가치관, 의도, 판단의 산물이다.

따라서 AI거버넌스를 논의할 때는 기술적 성과나 편리성에 앞서, 이러한 ‘대리인’들이 어떤 과정을 통해 의사결정을 내리는지 어떤 데이터와 알고리즘을 선택하는지 그 선택에 따라 어떤 편향이나 위험이 사회적으로 확산하는지를 면밀히 따져야 한다. 이처럼 AI거버넌스는 기술적 관리만이 아니라 누가 책임을 지고 무엇을 기준으로 결정하며 어떤 사회적 기준과 절차에 따라 작동하는지를 규범적으로 설계하는 문제이기도 하다.

프란츠 카프카는 『법 앞에서』에서 “문이 활짝 열려 있지만, 들어설 수 없는” 상황을 묘사했다. AI가 만들어낸 차별이 바로 그런 문이다. 기술은 열려 있지만 특정 집단에는 보이지 않는 벽이 된다. AI채용 시스템은 여성과 소수 인종을 불리하게 평가할 가능성이 크다. 예술에서도 마찬가지다. 비서구권의 예술 스타일이나 여성 예술가의 작업은 AI훈련 데이터에서 과소 대표될 수 있다. AI는 중립적이지 않고 오히려 기존 세계의 불평등과 편향을 더욱 정교하고 빠르게 재생산할 위험이 있다. 단순히 기술의 문제가 아니다. 사회적 정의와 인간 존엄성에 관한 문제다. 이러한 문제는 추상적 담론이 아니라 기업 경영의 현장에서 구체적으로 목격되는 사례이다.

AI 거버넌스는 단순한 기술 규제를 넘어선다. 그것은 기술이 어떻게 사회 안에서 작동할 것인가를 묻는 윤리적 프레임이며 시민과 창작자가 그 과정에 어떻게 참여할 것인가를 고민하는 정치적 구조다. 정책적 거버넌스는 AI의 개발과 활용 과정에서 공공성, 안전, 인권을 확보하기 위한 법적·제도적 틀을 제공한다. 특히 각국 정부와 국제기구들이 AI의 급속한 확산을 감안하여 공통된 원칙과 규제를 마련하고자 다각도로 노력하고 있다.

 

정책적 거버넌스: 국가와 국제기구의 규범 제정

AI 기술의 발전과 함께 ‘AI의 윤리적 개발과 활용’ 역시 국제사회의 주요 의제가 되어 왔으며 유엔, OECD 등 국제기구가 여러 권고와 지침을 개발하고, 정부, 기업, 연구 기관 등 여러 주체가 다양한 AI 윤리 원칙을 발표하고 있다. 유엔 인권 최고 대표가 AI의 심각한 인권 위협을 경고하며 판매·사용에 대해 유예를 촉구하기도 했다.

 

 

AI 거버넌스는 크게 세 단계로 발전해 왔다.

2017년부터 2019년까지는 AI 윤리에 대한 관심이 본격적으로 확산한 시기였다. OECD를 비롯해 여러 국제기구와 기업, 학계가 모여 ‘원칙’을 세우는 데 집중했다. 이때 만들어진 OECD AI 원칙(2019년)은 인간 중심성, 공정성, 투명성, 안전성, 책임성을 핵심 가치로 제시했다. 다만 이 시기의 논의는 어디까지나 선언적이었다. 구체적인 규제나 법적 구속력보다는 이상적인 방향을 공유하는 데 의미가 있었다.

2020년부터 2022년까지는 상황이 조금 달라졌다. AI 기술이 사회 전반에 퍼지면서 실제 문제들이 표면화하였고 단순한 원칙을 넘어 제도화 논의가 본격화한다. EU 집행위원회가 2021년 4월 21일 ‘AI 법안(AI Act)’ 초안을 발표했다. 법안은 AI를 위험 수준별로 나누어 고위험군에는 강력한 규제를 적용하는 방식이다. 주요 내용은 AI 애플리케이션으로 발생할 수 있는 위험 방지, 허용할 수 없는 위험을 발생시키는 AI의 관행 금지, 고위험 AI 애플리케이션 목록 분류 및 구체적인 요건 설정, 고위험 애플리케이션 개발ㆍ배포ㆍ제공 주체의 의무 명시, 특정 AI 시스템 시장 출시 전 적합성평가 요구, 특정 AI 시스템 시장 출시 후 안전 관리 감독 준비, EU 및 회원국별 거버넌스 구조 확립 등이다.

2022년 미국 백악관 과학기술정책실(OSTP)이 발표한 ‘AI 권리장전’은 인공지능 시스템의 사용과 관련해 시민이 보장받아야 할 다섯 가지 기본 권리를 제시하며, 기술 규범을 헌법적 권리 수준으로 격상시킬 필요성을 강조한다. 주요 내용은 ▲안전하고 효과적인 시스템에 대한 접근권, ▲알고리즘 차별로부터의 보호, ▲데이터 프라이버시 보장, ▲AI 사용 사실에 대한 공지와 설명을 받을 권리, ▲필요 시 인간 판단을 선택하고 대체할 수 있는 권리를 포함하며, 이는 AI 시대에도 인간의 존엄성과 자기결정권을 중심에 둔 기술 운영 원칙을 정립하려는 시도다.

미국의 ‘AI 권리장전’은 기술의 능력이 아니라 인간이 어떻게 대우받아야 하는지를 중심에 두고, 모든 AI 기술이 인간의 기본권을 침해하지 않도록 통제해야 한다는 규범적이고 진보적인 접근을 취한다. 이 원칙은 교육, 금융, 복지 등 다양한 분야에 적용되고 있으며, 정부와 기업의 정책 설계에 반영되고 있다. 그러나 강제력과 세부 내용이 부족하다는 비판도 제기되며, 전문가들은 법제화를 통해 ‘AI 권리장전’이 실질적인 효과를 발휘하고 EU 수준의 규제 체계를 갖춰야 한다고 강조하고 있다.

2023년 이후 생성형 AI의 급속한 발전은 거버넌스 논의를 더욱 가속했다. 2023년 미국의 바이든 전 대통령이 ‘제14110호: 안전하고 신뢰할 수 있는 인공지능 개발 및 사용 행정명령’으로 기술기업이 사용자들의 개인정보를 과도하게 수집하거나 무분별하게 활용하는 관행을 중단하라고 강하게 요구했다. 2024년에 OECD 각료 이사회에서 OECD AI개정안이 채택되었고, 개정이 단순히 원칙을 재확인하는 데 그치지 않고 기술의 변화에 적극적으로 대응하고 실질적인 국제 협력과 정책 실행을 가능하게 하는 방향으로의 발전이라는 평가를 받았다.

GPT-4 같은 초거대 언어모델과 미드저니 같은 생성형 이미지 AI가 등장하면서 기술이 예술, 교육, 금융 등 전통적 영역을 빠르게 침범하기 시작했다. 이에 따라 규제 논의가 더욱 세밀하고 구체적인 방향으로 이동했다. 2024년 5월 EU사회가 AI법안을 최종 승인하면서 세계 최초로 AI법안을 마련했고 일부 예외를 제외하고 2026년 8월 전면 적용될 예정이다.

이 외에도 중국 역시 알고리즘과 생성형 AI 콘텐츠를 규제하는 새로운 지침을 만드는 등 각국이 저마다 AI를 통제할 방법을 모색하기 시작했다.

이러한 국제사회의 흐름에 따라, 몇 년 전부터 한국 정부도 AI 관련해 여러 가지 가이드라인을 도입해 왔으며 지난 연말 일명 AI 기본법인 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법안’이 국회를 통과해, EU에 이어 한국이 전 세계에서 두 번째로 AI 법을 마련한 국가가 됐다. 정부 책임 명시, 신뢰성 인증 제도, 위험 기반 관리 체계, 공공 우선 적용, 국가 AI 위원회 설립 등의 거버넌스 체계를 포함하였으나, 규제보다 산업 진흥에 방점이 찍혀 있다는 점에서 EU AI 법안에 비해 규제 강도는 낮다. 학습 데이터의 공개 의무나 알고리즘 투명성 확보가 여전히 미흡하다는 비판이 뒤따른다. 또한 개인정보보호법을 개정해(2024) AI 자동화 결정에 대한 거부, 설명, 검토 요구권을 신설했으며 민관협력 AI 윤리기준을 운영하고 국가인공지능위원회를 신설하는 등 AI 규제 논의가 본격화하고 있다.

이와 같이 세계 각국은 이제 “AI가 규율되어야 한다”는 데 대체로 동의하고 있지만, 여전히 규제 강도와 방법을 둘러싼 차이는 크다. 기술 발전 속도가 너무 빠른 탓에 거버넌스 체계는 늘 뒤쫓는 입장에 서 있다. 이러한 흐름은 AI의 글로벌 거버넌스가 단순한 기술 규제가 아닌, 인간 중심의 가치와 권리 보호를 목표로 한다는 점에서 의미가 크다.

그러나 거버넌스는 법과 기술만으로 완결되지 않는다. 진정한 민주적 거버넌스는 사회적 참여와 감시 즉, 시민과 창작자, 전문가 집단이 적극적으로 기술 통제에 개입할 수 있는 제도와 문화를 포함해야 한다. 이는 특히 예술과 교육, 공공 정책 영역에서 중요한 문제다. 예를 들어, 예술가들이 자신의 작품이 AI의 학습 데이터로 사용되는 방식을 통제할 수 있어야 하고, 시민들은 자신을 기반으로 생성된 정보나 콘텐츠에 대해 알 권리와 이의 제기권을 가져야 한다. 이를 통해 문화적 민주주의와 디지털 권리가 확대되며 기술이 공동체의 공공선을 침해하지 않도록 집단적 감시가 작동하게 된다.

향후 AI 거버넌스의 과제는 기술의 창의성과 자율성을 보장하면서도 인간의 권리를 침해하지 않도록 제도와 문화, 기술이 함께 작동하는 복합적이고 다층적ㄴ 시스템을 정교화하는 것이다. 이를 위해서는 국가 차원의 법제화와 국제적 연대, 기술적 설계 기준의 명문화 그리고 시민의 참여권 확대가 병행되어야 하며, AI의 발전이 인간 중심적이고 공공성을 강화하는 방향으로 나아가도록 유도해야 한다.

생성형 AI가 인간의 언어, 감성, 창작을 점점 더 정교하게 흉내 내고 있다. 그러나 우리가 기술로부터 배워야 할 것은 창작의 효율이 아니라 책임과 존중의 태도일지도 모른다. 기술의 진보가 인간의 존엄을 파괴하지 않도록 예술과 사회는 거버넌스라는 ‘윤리의 프레임’을 스스로 구축해야 한다.

그것은 거대한 기계가 아니라 우리가 어떤 인간이 되고 싶은가를 묻는 거울이다.

 

 

글·이윤진
문화평론가. ESG연구자 겸 운동가. ESG비즈니스리뷰 책임 에디터