국립중앙도서관은 이런 고민을 하고 있었어요

‍

국립중앙도서관은 방대한 국가지식정보자원 데이터를 활용하여 디지털 전환을 추진하고자 했습니다. 보유한 데이터를 어떻게 활용할 수 있을지, 이를 기반으로 어떤 AI 모델을 개발할 수 있을지를 고민했습니다. 따라서 AI를 도입하기 전, 데이터 현황 및 AI 활용 가능성을 명확히 파악하는 것이 필요하다고 판단했습니다.

‍

AI 학습 데이터, AI 도입에서 얼마나 중요할까요?

‍

AI 모델의 성능은 데이터 품질에 크게 좌우됩니다. 실제 많은 기업들이 데이터 품질 문제로 인해 AI 프로젝트에서 실패하거나 기대 이하의 성과를 얻곤 합니다. 예를 들어, 데이터가 부족할 경우, AI 모델이 현실의 다양한 상황을 제대로 학습하지 못하게 됩니다. 그 결과 모델이 예상치 못한 상황에 부적절하거나 편향된 답변을 할 수 있습니다. 또한 데이터의 형식이나 라벨링 기준이 일관되지 않는 등 데이터 준비가 미흡한 경우도 있죠. 이 경우 데이터 가공을 위해 추가 비용과 시간이 소요되어 전체 프로젝트 일정이 지연될 수밖에 없습니다.

‍

따라서 프로젝트 초기부터 데이터 품질을 철저히 점검하고, 다양하고 정확한 데이터를 미리 수집하고 정제하는 과정이 필수적이에요. 특히, 실제 환경에서 AI가 마주할 수 있는 다양한 사례와 예외 상황까지 충분히 포함해서 데이터를 준비해야 합니다. 또한 잘 정비된 데이터 관리 체계를 만들면, 프로젝트 진행 중에 발생할 수 있는 데이터 문제를 신속히 파악하고 해결할 수 있습니다. 결국 데이터 준비와 관리 체계 구축은 AI 성과를 결정짓는 가장 중요한 단계로, 이 부분에서부터 철저히 대비하는 것이 AI 도입의 성공적인 첫걸음입니다.

‍

‍

‍

‍

‍

국립중앙도서관의 고민, 이렇게 해결했어요

‍

국립중앙도서관은 에이블 캠퍼스와 함께 현재 보유 중인 데이터를 효과적으로 활용해 AI를 개발할 수 있는 방안을 탐색하고, 데이터를 체계적으로 수집, 가공 및 평가하기 위한 실무 중심의 학습 데이터 교육을 진행했습니다. 특히 데이터 저장 및 관리, 데이터 품질 관리 및 모니터링, 데이터 정제 및 전처리, 데이터 라벨링 및 주석화 등의 주요 관리 프로세스를 학습하며 데이터를 효율적으로 관리하는 방법을 익혔습니다.

‍

에이블캠퍼스의 AI 교육은 이런 점을 고려해 기획되었어요

‍

1) AI 데이터 준비를 위한 체크리스트 공유

‍

국립중앙도서관은 AI 모델의 성능을 높이기 위해서는 학습 데이터를 체계적으로 관리하는 것이 필수라고 판단했습니다. 실제 개발에 들어가기 전 보유 중인 데이터를 정확히 진단하고, 이를 효과적으로 준비 및 관리할 수 있는 내부 역량을 강화하고자 했습니다. 데이터를 중앙 집중적으로 안전하게 보관하기 위한 클라우드 스토리지나 데이터 레이크 등의 최신 기술과 데이터베이스 관리 기법을 공유했습니다.

‍

2) 실제 AI 프로젝트 분석을 통한 실무 노하우 제공

‍

실제 LLM 서비스 구축 사례 분석을 통해 데이터 활용 방법과 필요성을 심도 있게 이해할 수 있도록 했습니다. 또한 벡터 DB를 구축하여 LLM과 상호작용하며 서비스 결과를 최적화하는 방법에 대한 실무적 이해를 돕는 사례 중심 교육을 제공했습니다. 이를 통해 실제 AI 서비스 기획 단계에서 사용자 분석, 데이터 기획, 기술 요구사항 정의, UI/UX 기획 및 윤리적 요소 관리 등 주요 고려사항을 명확히 할 수 있었습니다.

‍

‍

‍

‍

관내 데이터 부서 담당자를 위한 학습 데이터 관리 교육은 이렇게 진행됐어요

‍

1) AI 기술 및 시장 동향

‍

AI 프로젝트를 기획하고 실제 업무에 도입하기 위해서는 AI가 정확히 어떤 일을 할 수 있는지 이해하고 있어야 해요. 업무에서 발생하는 문제들을 해결하기 위한 솔루션 중에는 AI 이외에도 다양한 방법들이 있기 때문이에요. 따라서 AI 모델의 발전 역사와 종류, AI와 RPA의 차이, 향후 생성형 AI 기술의 발전 동향 등 AI에 대한 이해도를 향상시키기 위한 시간을 가졌습니다.

‍

‍

2) 학습 데이터 수집 및 관리 R&R

‍

AI 모델 개발 전반에서 데이터 수집부터 정제, 라벨링, 저장 및 관리로 이어지는 각 프로세스 단계의 중요성을 상세히 이해하는 과정이 필요해요. 프로젝트 매니저, 데이터 엔지니어, 데이터 전처리자 등 각 단계에서 조직 내 필요한 직무와 역할을 명확히 정의하고, 각 역할이 데이터 품질 및 프로젝트 성과에 미치는 영향을 깊이 있게 분석하는 시간을 가졌습니다.

‍

3) LLM 기반 AI 프로젝트 사례 분석

‍

챗봇을 도입하기 전 챗봇의 기반이 되는 LLM에 대한 이해도를 높이기 위해 실제 프로젝트를 기반으로 분석하는 교육 프로그램을 기획했습니다. 기업 데이터를 활용해 챗봇을 개발하기 위해서는 어떤 데이터를 수집해야 하고, 어떻게 가공해야 모델에 활용할 수 있는지 이해하는 데 초점을 맞췄어요.

‍

‍

‍

‍

교육 프로그램 결과

‍

우수한 강사와 강의 자료에 대한 만족

‍

카이스트 AI 대학원 석사 출신의 전문 강사가 직접 제작해 제공하는 전문적인 강의에 만족했어요.

‍