AI 데이터 엔지니어의 새로운 역할

원글 : The Emerging Role of AI Data Engineers - The New Strategic Role for AI-Driven Success

The Emerging Role of AI Data Engineers - The New Strategic Role for AI-Driven Success

 

정리글: GeekNews 

AI 데이터 엔지니어의 새로운 역할 | GeekNews

---

 

GenAI의 기술을 서비스와 연결하는 서버 개발자의 관점에서 재밌게 본 글입니다.

 

이런 역량을 가진 개발자가 곁에 있으면 매일매일이 즐거울 것 같네요.

 

최근 빠르게 발전하고 있는 분야의 핵심에는 "비정형 데이터" 가 자리를 잡고 있습니다.

(자율주행, LLM 등등..)

 

비정형 데이터는 기존 프로그래밍 언어로 다룰 수 있는 범위를 벗어나는 경우가 많습니다.

(수많은 로직적 기술들이 있었지만 특정 수준 이상의 결과를 내주진 못했습니다.)

 

제 작은 지식으로 대규모 언어 모델인 LLM 기술을 정리해본다면

 

비정형 데이터(텍스트)로부터 특정 데이터를 추출하는 모델(임베딩 모델)을 활용해 학습하는 것(전처리 단계).

 

 - 임베딩 모델은 비정형 데이터의 주요 특징을 수치화하는 코어 모델 (AI(사실상 컴퓨터)가 쉽게 처리할 수 있는 정보들).

 

해당 수치를 기반으로 대량의 데이터셋을 AI(신경망 네트워크)로 학습하여 데이터셋 기준으로 적정 수준 인지 수준까지

 

최적화를 진행한 후 테스트 라벨링된 데이터셋을 기준으로 AI가 모르는 데이터로 평가.

 

평가된 점수가 기준선을 넘기면 실용성이 있는 것이고, 넘기지 못하면 개선이 필요한 것.

 

여기서 세분화되는게

 

1. 어떤 비정형 데이터를 다루는가

2. 어떻게 전처리를 할 것인가

3. 어떤 인공진으 모델을 활용할 것인가(어떻게 최적화할 것인가)

 

해당 글에서는 프로페셔널한 역량들을 보면 아래와 같습니다.

 

1. 워크플로우에 대한 거시적 설계 역량

 

2. 세부적 기술적 역량(언어, 프레임워크)

 

3. 통찰적 역량(경험에 기반한 통찰력 + 순간적인 판단력과 문제 해결 역량)

 

4. 프라이버시 및 규제 요건에 대한 윤리적 역량

 

AI 데이터 엔지니어가 보면 좋은 글 같습니다.

 

저 또한 배우는 게 많은 글이었습니다.

 

대부분의 사용자 인터페이스가 비정형 데이터로 처리되는 UI로 이동될 것이라 생각합니다.

 

대표적으로 2가지 분야의 서비스가 생각납니다.

 

편의 서비스 : 음성 혹은 채팅 및 주변 장소 인식(비디오)

게임 서비스 : 실시간 비디오 및 인체 행동 센서(몸의 움직임)

 

이전에는 구조적인 템플릿(UI 화면 & APP)에 사용자가 직접 입력하거나 기획된 화면의 Depth를 자연스럽게 이동하면서 작업을 

처리했는데, 앞으로의 미래에서는 이 자리를 음성과 채팅이 대체하게 되지 않을까 합니다.

 

미래에는 본질적인 서비스는 더 간소화되고 간결하고 더 손쉽게 이해될 수 있어야 하고

 

기술적으로는 사용자의 비정형 데이터 + 기존 고객 데이터 기반으로 의도를 파악해 서비스를 연결할 것이라 기대합니다.