인공지능 데이터 구축 과정 / 원시데이터, 원천데이터, 라벨링데이터

구축 과정

---

임무 정의 → 데이터 획득 → 데이터 정제 → 데이터 라벨링 → 데이터 학습

 

출처 : 인공지능 학습용 데이터 품질관리 가이드라인 1권

 

1. 임무 정의

  - 무엇을 공부할 것인가?

  - 학습용 데이터를 정의하고 설계

 

2. 데이터 획득

  - 학습에 필요한 데이터를 확보하는 단계(원시 데이터)

  - 새롭게 데이터를 구할 경우 개인정보 및 저작권을 고려하여 수집

 

3. 데이터 정제

  - 데이터 형식, 크기 맞춤, 중복제거, 개인정보 비식별처리 등 수행(원천 데이터)

 

4. 데이터 라벨링

  - 기능과 목적에 부합하는 라벨을 원천 데이터에 부착(라벨링 데이터)

 

5. 데이터 학습

  - 학습 데이터셋을 이용하여 학습.

  - 품질 이슈 확인

 

 

 

구분	설명
원시 데이터 (Raw Data)	- 인공지능 학습용 데이터 구축 과정에서 인공지능 기계학습을 목적으로 획득하는 단계에서 수집하거나 생성한 데이터(음성, 이미지, 영상, 텍스트 등) - 정제되지 않았기 때문에 상당한 양의 데이터가 수집됨
원천 데이터 (Source Data)	- 데이터 라벨링을 하기 전에 원시데이터에서 사용하기 어렵거나 형식이 다른 것들을 걸러내는 작업이 완료된 데이터(Unabled Data, 원시 데이터를 라벨링 하기 전 정제된 데이터)
라벨링 데이터 (Labeled Data)	원천데이터에 인공지능이 학습할 수 있도록 정보를 부착한 데이터 원천데이터에 참값, 설명, 주석 등이 포함된 데이터

 

 

 

 

 

 

참조

https://circlezoo.tistory.com/34

https://blog.naver.com/PostView.naver?blogId=hijunggon&logNo=222571580676&parentCategoryNo=&categoryNo=48&viewDate=&isShowPopularPosts=false&from=postView