EU 인공지능 법안 요약본 [GPAI: General Purpose AI]

 

참고한 자료

High-level summary of the AI Act | EU Artificial Intelligence Act

High-level summary of the AI Act | EU Artificial Intelligence Act

 

---

끄적끄적..

 

최근 회사에서 AI 플랫폼에서 제공하는 API와 기존 서비스의 특정 기능을 연결하는 것을 돕는 서비스를 개발하고 있다.

 

회사 내 서비스에서 사용할 수 있는 AI API 게이트웨이를 만들고 있는 것.

 

내부 서비스를 위한 서비스이지만 운영으로 넘어가게 되면서 보안팀의 점검을 거치게 되었다.

 

점검받아야 할 체크리스트를 받은 후, 건네어야 할 보안 관련 정보들을 수집했다.

 

비슷한 기능을 제공하는 다른 회사들의 개인정보 동의서도 검토해 보고, 플랫폼 회사들(대표적으로 Google, OpenAI)의 프라이버시 규칙이나 서비스의 보안 수준을 검토해 봤다.

 

그 과정에서 요구되는 수준이 GDPR(유럽 연합 일반 데이터 보호 규칙)에 가깝다는 것도 배우게 되었고...

 

생각보다 유럽의 보안 정책 가이드라인이 정말 강력하구나..라는 생각이 들었다.

 

그 과정에서 최근 EU AI Act를 요약한 글을 찾게 되었고 내 기준에서 요점만 요약해 보도록 하겠다.

 

---

 

핵심 요약

1. 인권을 침해하거나 인권을 유린하는 수준의 기능을 제공하는 AI는 강력한 규제 대상이다.

2. 해당 법안은 고위험 AI 시스템에 대한 규제 내용을 다룹니다.

3. 고위험군으로 판단되지 않는 AI 시스템은 AI와 상호작용 한다는 점을 반드시 인지시켜야 합니다.

4. 규제는 AI 플랫폼 제공자뿐만 아니라 AI 플랫폼을 이용해 서비스를 통합하는 AI 개발자가 대상입니다.

5. AI 시스템의 사용자는 AI 시스템의 운영자, 개발자보다 더 적은 의무를 가집니다. 

 

GPAI(General Pupose AI) [플랫폼]

정의

GPAI 모델은 대규모 데이터를 기반으로 자기 지도 학습을 수행하여 훈련하는 AI 모델로, 범용적인 일반성을 보여주며 모델이 시장에 출시되는 방식과 무관하게 광범위한 독립적인 작업을 능숙하게 수행할 수 있는 AI 모델을 의미한다.
다양한 하위 시스템이나 응용 프로그램에 통합될 수 있습니다. 

 

규제

광범위한 일반적 기능을 제공하는 AI 플랫폼은 아래의 가이드라인을 준수해야 합니다.

1. 모델 평가 : 모델이 제대로 잘 동작하며, 예상한 성능을 제공하고 있는지 평가하며, 평가 결과를 문서화합니다.

2. 적대적 테스트: 모델이 악의적인 요청, 공격에 저항력을 가지고 있는지 확인해야 합니다.

3. 모델 사용 중 발생할 수 있는 심각한 사고가 발생한 경우 내용을 공유해야 합니다.

4. 사이버 보안 조치: 사이버 보안 수준을 보장해야 합니다. 해킹이나 데이터 유출 등의 위험으로부터 보호될 수 있어야 합니다.

 

 

GPAI 시스템 [플랫폼 + 플랫폼 이용 서비스]

범용 목적의 AI 모델을 기반으로 하는 AI 시스템을 의미한다.

다양한 목적을 수행하는 역량을 가짐. (직접적으로 사용하거나 다른 AI 시스템에 통합되는 방식으로 이용됨)

 

GPAI 시스템은 고위험 AI 시스템에 사용될 가능성이 존재하며, 필요한 경우 통합될 수 있습니다.

• GPAI 시스템 제공자는 고위험 AI 시스템 제공자가 지켜야 할 가이드라인을 준수해야 합니다.

1. 훈련 데이터, 테스트 과정, 평과 결과에 대한 기술적 문서를 만들어야 한다.
2. 다운 스트림 프로바이더 (의존 서비스들)로 하여금 그들의 AI 시스템에 GPAI 모델이 어떻게 통합되어야 하는지에 대한 정보와 문서를 제공해야 한다.
3. GPAI 모델이 가지는 능력과 한계를 이해하고 정보를 제공할 수 있어야 합니다.
4. 저작권 지침을 준수하기 위한 정책을 수립해야 합니다.
5. GPAI 모델의 훈련에 사용된 콘텐츠에 대한 충분히 상세한 요약을 공개해야 합니다.

 

GPAI 시스템의 기준점(중요한 정보로 판단됨)

훈련에 있어서 10의 25승 이상의 연산이 요구되는 GPAI 모델의 경우 고위험 시스템으로 평가됩니다.

제공자는 2주 안에 위원회에 반드시 해당 AI 모델을 공지해야 합니다.

• 제공자의 경우 해당 이슈에 대해서 논의가 필요할 것으로 판단되지만 해당 기준을 넘어선 모델이 시스템 위험성을 가지는 것은 아니라고 주장할 수 있습니다.

위원회에는 독립 전문가 과학 패널의 자격 있는 경고를 통해 해당 시스템이 높은 영향력을 가지고 있다고 판단하고 있습니다.

이 경우 아래의 4가지 의무를 수행해야 합니다.

• 모델 평가를 수행해야 합니다. (특히 적대적 테스트를 수행하고 결과를 문서화해야 합니다. [적대적 테스트에 대해서 결과를 완화해야 합니다.]
• 평가를 한 후 가능한 시스템 리스크들을 완화할 수 있어야 합니다.
• 위험한 사고로 리포팅된 경우 문서화하고 추적할 수 있어야 합니다. (AI 오피스 쪽에서 교정할 수 있도록 해야 함.)
• 적당한 시간 안에서 해결될 수 있어야 함.
• 사이버 보안에 대한 보호로부터 적정 수준을 만족해야 함.

 

금지된 AI 시스템 목록

• 누군가를 속이거나, 누군가를 조종하거나, 정보에 입각한 결정을 방해하여 심각한 해를 초래하는 잠재적인(subliminal)이거나 조작적, 혹은 기만적인 기술을 사용하는 것.
• 나이, 장애, 사회경제적 상황과 관련된 취약성을 악용하여 행동을 왜곡하여 심각한 해를 끼치는 경우
• 생물학적 분류 시스템으로 민감한 정보를 추론하는 시스템.
  합법적으로 수집된 생체 인식 데이터셋의 라벨링 또는 필터링이거나, 법 집행기관이 생체 데이터를 분류하는 경우는 예외로 한다.
• (경쟁, 정치 견해, 노동조합 가입 여부, 무역, 종교, 철학적 믿음, 성) 등등…
• 사회 점수화
• 개개인의 특성이나 사회적 행동을 기반으로 개인 혹은 그룹을 평가하거나 분류하는 시스템으로 추론한 사람들에게 해로운 영향을 주거나, 비판적인 대우를 하는 시스템
• 개인 범죄 위험성을 프로파일링이나 성격 특성에만 근거하여 평가하는 것은 금지됨.
• 범죄 행위와 직접적으로 연결되는 객관적이고 검증 가능한 사실에 기반한 인간의 판단을 보완하는 수단으로만 사용이 가능하다.
• 인터넷 혹은 CCTV에 남겨진 정보를 통해 얼굴 이미지를 무차별적으로 스크래핑하여 얼굴 인식 데이터베이스를 구축하는 것.
• 작업 공간이나 교육 기관에서 감정을 추론하는 경우. (의료와 안전성은 예외로 둠.)
• 공공장소에서 법 집행 목적으로 실시간 원격 생체 인식(RBI)을 사용하는 것. 즉시 위협이 될 수 있는 상황을 예방하는 상황도 예외이다. [테러로 판단되는 경우, 즉각적인 소규모 테러로 판단할 수 있는 경우]
• 살인, 강간, 무장 강도, 화학 공격(마취), 조직된 범죄, 환경적 범죄 등등의 심각한 범죄를 인식하거나 의심하는 경우
• 실종 인물을 찾거나, 유괴의 희생자, 성적 공격을 받고 있는 대상을 인식하는 것은 예외이다.

---

 

결론: 통합되는 방식으로 AI 시스템을 이용하는 개발자 입장에서...

 

AI Act 법안의 주 대상은 Openai, Google 등과 같은 AI 플랫폼으로 보인다.

[특히 GPAI 기준의 모델 훈련 컴퓨팅 수치가 노골적인 부분...]

 

AI 플랫폼의 API를 사용해 서비스를 제공하는 쪽에서 볼 필요가 있는 부분은 주황색으로 하이라이팅 해봤다.

 

의존 모델이 GPAI의 규제 대상 모델이라는 점.

 

하위 시스템도 규제에서 벗어나지 못한다는 점.

 

저위험군의 경우 AI와 상호작용하고 있음을 반드시 명시해야 한다는 점.

 

사회적 가치를 목표로 두고 있는 대부분의 기업들은 인권을 유린하는 쪽의? 기능과는 거리가 멀어서 해당 글에서 언급한 규제에서는 벗어날 것으로 판단되지만... 통계나 분석에 사용한다는 부분에서는 위험할 수 있을 것 같다.

 

예를 들어 최근 사용자의 구매내역을 LLM에 요청해서 향후 어떤 상품을 구매할 것인가를 마케팅 분석가 페르소나 기반으로 진행한다고 했을 때, 이 결과가 사용자의 구매의향에 대한 점수로 평가될 수 있는데.. 이 부분은 문제가 될까? 되지 않을까는 고민이 되는 부분이다.

 

아직 그런 페르소나 기반 분석 데이터를 만드는 스케줄링 기능은 구현하지 않았으나..

 

몇몇 BtoC 회사에서는 이미 접근했을 가능성이 있다고 보는 편이다.

 

더 구매할 의향이 있는 사용자에게 알림이나 쿠폰 등을 보내는 게 더 일반적이기 때문...

 

법안 관련해서는 계속 계속 관심을 두고 지켜봐야 할 것 같다.