"AI 남용: 중국의 새로운 AI 거버넌스 방향에 대한 13가지 주요 우려 사항

최근 중국 인터넷정보기술총국은 현재 인공지능의 발전 과정에서 발생한 여러 가지 문제에 대한 거버넌스에 명확한 선을 긋는 '인공지능 기술의 남용을 바로잡기 위한 특별 조치'를 시작했습니다. 이 이니셔티브는 AI 기술의 건전한 발전을 유도하고 잠재적인 위험을 예방하는 것을 목표로 합니다. 이 특별 조치는 13가지 주요 방향에 초점을 맞추고 있으며, 두 단계로 나누어 AI 제품, 서비스, 콘텐츠 및 행동 규범에 대한 세부 요건을 제시하고 있습니다.

1단계: 소스 거버넌스 및 인프라

이 조치의 첫 번째 단계는 문제가 되는 AI 애플리케이션을 정리하고 콘텐츠 라벨 관리를 강화하며 플랫폼의 위조품 탐지 및 식별 기능을 개선하는 것을 목표로 AI 기술의 소스 관리에 중점을 두고 있습니다.

규정을 준수하지 않는 AI 제품은 온라인 규정 준수를 완료해야 합니다.

규제 당국은 대중에게 서비스를 제공하기 위해 생성 인공지능 기술을 사용하는 애플리케이션은 반드시 대형 모델 신고 또는 등록 절차를 이행해야 한다고 언급했습니다. 이 요건은 '생성형 인공지능 서비스 관리 임시 조치(이하 임시 조치)' 제17조에 근거한 것으로, AI 제품이 공식적으로 출시되기 전에 안전 평가를 통과해야 한다는 점을 분명히 하고 있습니다. 신청 주기는 일반적으로 3~6개월이 소요될 것으로 예상됩니다. 또한 '원클릭 옷 벗기'와 같은 불법적이고 비윤리적인 기능을 제공하거나 다른 사람의 생체 특징(예: 음성 및 얼굴)을 허가 없이 복제 또는 편집하는 것은 법에 위배됩니다.

미등록 AI 서비스를 식별하고 규제하는 것은 어려운 일이 되었습니다. 규제 당국은 웹 크롤러와 같은 기술적 수단을 사용하여 서비스가 빅 모델 API 인터페이스(예: 대화 생성, 이미지 합성)를 호출하는지 여부와 그 기술적 특징을 파악하여 다양한 플랫폼을 모니터링할 수 있습니다. 기능 설계 규정 준수의 경우, 현재 비공식 채널 서비스의 규제는 내부 법률 평가 및 앱스토어 감사 외에도 사용자 불만 신고에 더 많이 의존하고 있습니다. 서비스 제공자는 AI 제품이 이중 신고(대형 모델 신고 및 알고리즘 신고)를 완료했는지 자체적으로 확인하고 기능 설계가 사양을 준수하는지 확인해야 합니다.

규정 준수 촉진: 규정을 준수하지 않는 AI 제품 튜토리얼 및 상품 단속하기

이번 특별 조치는 AI 제품의 홍보에도 초점을 맞추고 있습니다. 규정을 준수하지 않는 AI 제품을 사용하여 얼굴을 바꾸는 동영상과 음성을 바꾸는 동영상을 만드는 방법을 알려주는 튜토리얼, '음성 합성기' 및 '얼굴 바꾸기 도구' 등 규정을 준수하지 않는 제품의 판매, 규정을 준수하지 않는 AI 제품의 마케팅 및 홍보가 모두 시정 대상에 포함됩니다. 프로모터는 AI 제품을 홍보하기 전에 해당 제품의 규정 준수 여부를 확인할 책임이 있습니다. 플랫폼은 콘텐츠 감사를 강화하여 콘텐츠 자체의 합법성을 보장할 뿐만 아니라, 예를 들어 시맨틱 모델의 초기 심사를 통해 수동 개입으로 보완하는 등 콘텐츠에서 홍보하는 AI 제품의 규정 준수 여부를 식별하고 감사할 수 있는 역량을 갖춰야 합니다.

코퍼스 규정 준수: 중점 교육 데이터 원본 및 관리

학습 데이터의 규정 준수는 AI 모델 보안의 기초입니다. 임시 조치의 제7조는 서비스 제공자가 합법적인 출처의 데이터와 기본 모델을 사용해야 한다고 강조합니다. 생성형 AI 서비스 안전 기본 요건(이하 기본 요건)은 더욱 세분화되어 말뭉치에 불법적이고 바람직하지 않은 정보가 5% 이상 포함된 경우 해당 소스를 수집해서는 안 된다고 규정하고 있습니다. 동시에 데이터 소스의 다양성, 따라야 할 오픈 소스 프로토콜, 자체 수집한 데이터의 기록, 상업적 데이터 조달에 대한 법적 절차가 모두 명확하게 정의되어 있습니다.

데이터 프라이버시와 기술 기밀로 인해 훈련 말뭉치에 대한 규제는 매우 어렵고 일반적으로 질문과 자료 증명의 형태를 취합니다. 또한 기업은 소스가 복잡하고 품질이 다양한 방대한 양의 학습 데이터를 관리하는 데 큰 어려움을 겪고 있습니다. 기본 요건에서는 기업이 키워드 필터링, 분류 모델 스크리닝, 수동 샘플링을 결합하여 코퍼스에서 불법적이고 바람직하지 않은 정보를 정리할 것을 권장합니다.

메커니즘 준수: 강화된 보안 관리 조치

기업은 비즈니스 규모에 적합한 콘텐츠 감사 및 의도 인식과 같은 보안 메커니즘과 위반 계정에 대한 효과적인 관리 프로세스, 정기적인 보안 자체 평가 시스템을 구축해야 합니다. API 인터페이스를 통해 접근하는 AI 자동 응답과 같은 서비스의 경우 소셜 플랫폼은 더욱 세심하고 엄격한 관리가 필요합니다. 기본 요건 7장에 따르면 서비스 제공자는 사용자의 입력을 모니터링하고 불법 정보를 반복적으로 입력하는 사용자에 대해 서비스 제한 등의 조치를 취해야 합니다. 또한 기업은 콘텐츠 품질과 안전을 개선하기 위해 서비스 규모에 맞는 감독 직원을 두고 정책을 추적하고 불만 사항을 분석하는 업무를 담당해야 합니다. 건전한 리스크 관리 메커니즘은 AI 제품 출시의 전제 조건입니다.

라벨링 규정 준수: AI 생성 콘텐츠에 대한 라벨링 요구 사항 구현

투명성 강화를 위해 인공지능 생성 합성 콘텐츠 표시 조치(이하 표시 조치)는 서비스 제공자가 심층 합성 콘텐츠에 명시적 또는 암시적 표시를 추가하고, 사용자가 파일을 다운로드하거나 복사할 때 명시적 표시가 파일에 포함되고 암시적 표시가 메타데이터에 추가되도록 규정하고 있습니다. 이 접근 방식은 2025년 9월 1일부터 시행되는 국가 표준 '네트워크 보안 기술 인공 지능 생성 합성 콘텐츠 식별 방법'과 함께 제공됩니다. 기업은 이를 기반으로 자체 점검을 실시하고 플랫폼에서 인공지능이 생성한 콘텐츠를 탐지하고 의심되는 콘텐츠에 대한 경고를 제공하는 기술적 수단을 배포해야 합니다. 또한 규제 당국은 AI가 생성한 콘텐츠에 대한 대중의 인식을 개선하기 위해 사용자 교육을 강화할 수 있습니다.

도메인 규정 준수: 주요 산업의 보안 위험에 집중하기

의료, 금융, 미성년자 등 주요 영역에서 Q&A 서비스를 제공하기 위해 신청한 AI 제품은 산업별 보안 감사 및 통제 조치를 마련해야 합니다. 'AI 처방'을 통해 투자를 유도하거나 'AI 환상'을 이용해 사용자를 오도하는 현상을 방지해야 합니다. 이러한 특정 분야의 컴플라이언스 거버넌스는 복잡하고 세분화되어 있어 도메인 전문 지식과 전문화된 컴플라이언스 코퍼스가 필요합니다. 업계 규제 기관과 대표 기업은 표준을 설정하고 보안 조치를 마련하는 데 핵심적인 역할을 합니다. 일반적인 솔루션에는 팬텀 탐지, 주요 작업의 수동 승인 등이 포함되어 AI의 통제력 상실 위험을 방지할 수 있습니다.

2단계: 불법 및 불법 활동에 대한 AI 사용 단속

특별 조치의 두 번째 단계는 AI 기술을 사용하여 루머, 부정확한 정보, 음란물 및 저속한 콘텐츠를 생산하고 유포하는 행위, 타인을 사칭하고 사이버 분대 활동을 하는 행위에 초점을 맞출 것입니다.

루머를 생성하고 퍼뜨리는 AI 사용에 대응하기

시정 범위에는 시사 및 민생과 관련된 루머를 허위로 조작하고, 정책을 악의적으로 해석하고, 긴급 상황을 근거로 세부 사항을 조작하고, 공식적인 정보 발표로 가장하고, AI의 인지 편향을 악용하여 악의적으로 유도하는 행위가 포함됩니다. 중국의 인터넷 루머 공동 대응 플랫폼은 오랫동안 운영되어 왔지만, AI 시대에는 루머 생산 비용이 감소하고 충실도가 높아지면서 새로운 거버넌스 문제가 제기되고 있습니다. 규제는 주로 여론 모니터링과 사용자 신고에 의존하고 있으며, 주요 영역에서 AI 루머에 대한 처벌이 강화될 수 있습니다. 서비스 제공업체는 AI 도구를 사용하여 콘텐츠 정확도를 보정하고, 비정상적인 계정 행동을 모니터링하고, 핫스팟 콘텐츠를 수동으로 확인하는 등 AI가 생성한 루머를 탐지하는 능력을 향상시켜야 합니다.

부정확한 정보를 생산하고 게시하는 AI 사용 정리하기

이러한 행위에는 관련 없는 그래픽과 동영상을 짜깁기 및 편집하여 혼합 정보를 생성하거나, 사실적 요소를 흐리게 하거나 변경하거나, 오래된 뉴스를 다시 해시하거나, 전문 분야와 관련된 과장되거나 사이비 과학적 콘텐츠를 게시하거나, AI 운세와 점술의 도움을 받아 미신을 퍼뜨리는 등의 행위가 포함됩니다. 부정확한 정보는 루머에 비해 덜 주관적이고 악의적일 수 있지만, 그 숨겨진 본질과 잠재적 영향력은 무시할 수 없습니다. 거버넌스는 주로 콘텐츠 플랫폼에 의존하여 생태계 구축을 강화하고 기술적 수단을 통해 저품질 콘텐츠를 식별하며 관련 콘텐츠 및 제작자의 유포를 제한하거나 벌금을 부과하는 조치를 취합니다.

음란물 및 저속한 콘텐츠를 제작하고 배포하는 데 AI를 사용하는 행위 규제

AI를 사용하여 음란하거나 외설적인 이미지 및 동영상을 생성하는 행위(예: AI '원클릭 옷 벗기', AI 그림 그리기)는 물론 소프트 포르노, 2세대 포르노 이미지, 피 묻은 폭력, 기괴하고 괴기스러운 이미지, '작은 노란색 텍스트' 제작도 모두 단속 대상에 해당합니다. AI 기술은 콘텐츠 제작의 효율성을 높여주지만, 이러한 바람직하지 않은 콘텐츠를 만드는 데 악용될 수도 있습니다. 키워드 라이브러리, 시맨틱 모델, 이미지 분류('음란물 식별 모델')와 같은 전통적인 검수 방법은 사용자 제작 콘텐츠(UGC)를 식별하는 데 비교적 성숙해 있습니다. 그러나 AI가 생성한 콘텐츠의 특징 분포는 UGC와 다를 수 있으며, 서비스 제공업체는 식별 정확도를 유지하기 위해 모델 학습 데이터를 업데이트하는 데 주의를 기울여야 합니다.

타인을 사칭하여 침해 행위를 저지르기 위해 AI를 사용하는 것에 대한 조사 및 처리

AI 얼굴 바꾸기, 음성 복제 및 기타 심층적인 위조 기술을 통해 유명인을 사칭하여 속이거나 이익을 취하는 행위, 유명인이나 역사적 인물을 사칭하여 신용을 훼손하는 행위, AI를 사용하여 친구나 친척을 사칭하여 사기를 치는 행위, AI를 부적절하게 사용하여 '죽은 자를 부활'시키거나 사망자의 정보를 오용하는 행위 등이 모두 개선의 초점이 되고 있습니다. 이러한 위험은 개인 개인정보 데이터의 유출과 오용에서 비롯됩니다. 개인정보 보호에 대한 대중의 인식을 제고하고 장기적으로는 데이터 추적 메커니즘을 구축하여 전체 체인에서 데이터 규정 준수를 보장하는 것이 중요합니다.

사이버 용병 활동에 대한 AI 사용 방지

'AI 수군'은 네트워크 수군의 새로운 변종입니다. AI 기술을 사용하여 소셜 계정을 대량으로 등록하고 운영하는 행위, AI 콘텐츠 팜 또는 AI 원고 세척을 사용하여 저품질의 균질화된 콘텐츠를 대량으로 생성하여 흐름을 흐리는 행위, AI 그룹 제어 소프트웨어, 소셜 로봇을 사용하여 제어 및 평가의 양을 늘리는 행위 및 기타 행위는 엄격하게 단속될 것입니다. 거버넌스는 콘텐츠와 계정의 두 가지 차원에서 시작해야 하며, 플랫폼 내에서 저품질 및 AIGC 콘텐츠를 감지하고, AIGC 콘텐츠를 게시하는 계정의 행동 특성을 모니터링하며, 신속한 개입을 자동화하여 수군의 악의 비용을 증가시켜야 합니다.

AI 제품 서비스 및 애플리케이션의 동작 규제하기

위조 및 셸 AI 웹사이트와 애플리케이션의 제작 및 유포, AI 애플리케이션의 비준수 기능 제공(예: 저작 도구를 통한 '핫 검색 및 핫 리스트 확장' 제공), AI 소셜 채팅 소프트웨어의 저속하고 부드러운 음란 대화 서비스 제공, 사용자를 유인하는 비준수 AI 애플리케이션, 서비스 또는 강좌의 판매 및 홍보는 모두 시정 대상에 포함됩니다. 이는 AI 제품 출시 및 보급의 규정 준수를 다시 한 번 강조하고 '셸' 및 비준수 기능의 정의를 보완합니다. 서비스 제공업체는 사람들에게 서비스를 제공한다는 기술의 본래 의도를 준수해야 합니다.

AI로부터 미성년자의 권익 보호

미성년자의 중독을 유도하는 AI 애플리케이션이나 신체 및 정신 건강에 영향을 미치는 콘텐츠가 미성년자 모드에 여전히 존재하는 것도 이번 특별 조치의 또 다른 초점입니다.AI 모델은 확률 통계에 기반하며 생성하는 콘텐츠에 예측 불가능성이 있어 잘못된 값을 출력하고 미성년자의 성장에 잠재적 위험을 초래할 수 있습니다. 따라서 미성년자 교육 시나리오에 AI를 적용하는 경우 시나리오 사용에 대한 각별한 주의와 엄격한 통제가 필요하며, 미성년자의 접촉 빈도가 높은 다른 제품에서는 미성년자 모드를 강화하고 AI 적용 권한을 제한해야 합니다.