초기 데이터 구축을 위한 데이터 이행 계획 수립, 이행 구축, 이행 절차와 검증

1. 개요

초기 데이터의 구축은 기존에 조직이 보유한 모든 데이터베이스 및 파일과 신규 구축 시스템에서 추가로 필요한 자료를 신규 구축 시스템의 데이터베이스로 변환과 적재를 수행하는 일련의 과정이다. 구축 사업자는 일반적으로 아래와 같은 데이터 분석과 표준화 적용, 데이터 이행 계획과 절차에 의한 작업 수행, 현업과의 협업을 위한 이행 조직을 구성하여 데이터 이행 작업을 추진한다.

성공적인 초기 데이터 구축과 이행을 위한 전략

1.1 철저한 분석과 표준화 수립

• 구축 대상 데이터베이스에 대한 철저한 분석으로 이행 규모 산정과 이행방안 도출
• 표준화 적용으로 데이터 품질보장과 개발 및 검증의 효율성 확보

1.2 전문인력 투입으로 노하우 활용

• 데이터 자료변환 경험을 보유한 전문가가 전반적인 이행 작업 총괄 수행
• 현업 또는 유관기관의 원천 데이터를 보유한 시스템 담당자의 지원

1.3 계획과 체계적인 절차에 의한 작업 수행

• 원천 데이터 보유 시스템 및 데이터에 대한 면밀한 조사와 분석 수행
• 초기 데이터 구축 시나리오를 기반으로 문제점을 조기 발견하고 사전 점검 조치 수행

1.4 협업에 의한 데이터 품질관리체계 구축

• 현업 및 전산 담당자를 구성원으로 포함하여 초기 데이터 구축 팀을 구성하고 팀원의 역할을 규정
• 현업의 적극적 협조체계 확보(업무분석 지원, 데이터 검증)로 신속한 의사결정

2. 데이터 이행 전략 수립

기존 원천 시스템의 데이터는 신규 구축 시스템의 구조에 맞게 전환되어야 하며 데이터의 정확성과 통일성을 유지하기 위해 담당부서와 긴밀한 협조 하에 전환 작업을 수행한다. 방대한 양의 데이터를 정비하고 새로운 데이터베이스로 전환하여 효율적으로 관리하기 위해서는 데이터의 전환 절차와 조직 등을 정의해야 한다. 이때 데이터 수집, 분석, 가공, 입력, 이관을 위한 작업 절차를 마련하고 전환되어야 할 데이터의 양을 정확하게 파악하며 관리항목, 관리 코드 등을 표준화한다. 업무 활용도, 실 데이터, 비정형 데이터 등을 고려한 우선순위 결정, 데이터 이행 전담조직 투입과 전환 주체 등에 대한 선정과 같은 전략을 마련한다.

3. 데이터 이행 조직 및 역할

초기 데이터 구축과 이관을 전담할 조직을 구성하고 역할을 분담하여 데이터 구축과 이관에 필요한 모든 사항을 사전 검토하고 현업 담당자의 협조 체계를 준비한다.

3.1 표준화 담당

• 기준정보 표준화
• 현업 담당자와 협업을 통한 데이터 생성, 검증
• 적절한 입력자 선임 및 자료 내용 검증

3.2 초기 데이터 구축 담당

• 데이터 구축 및 이관 계획 점검과 보완
• 이관 인력 지원 및 진행관리
• 구축 및 이관 계획에 따른 기반 환경 점검 및 조치
• 구축 및 이관 전 점검 및 사후 점검
• 시스템 반영 및 조직 내 승인절차 협의

3.3 업무 시스템 담당

• 업무시스템 분석·설계·개발
• 데이터 구축·이관
• 현업 담당자 사전교육 실시
• 업무별 데이터 이전 담당

3.4 IT 인프라 담당

• 네트워크 장비 설치 및 지원
• 서버 설치 및 지원
• 소프트웨어 설치 및 지원

4. 데이터 이행 구축

데이터 이행 구축의 목적은 기존 데이터를 신규 구축 시스템의 구조와 환경에 맞게 변환하고 초기 자료를 구축하기 위한 것이다. 데이터 이행 구축은 기존 데이터베이스를 보유하고 있는 경우 자료 변환에 의한 방법과 신규 자료 구축이 필요할 경우 수행되는 파싱 및 화면 입력에 의한 방법으로 구분할 수 있다.

4.1 자료변환

• 기존 데이터베이스는 신·구 매핑 정의에 따른 변환 프로그램을 작성하거나 유틸리티 Tool을 사용하여 신규 시스템으로 자료 변환
• 이 기종 시스템이나 파일 형태가 상이한 경우 변환 프로그램을 이용하여 신규 시스템으로 자료 변환 

4.2 파싱 & 화면 입력

• 신규로 자료를 구축하는 경우 파싱 가능한 자료에 대해서 파싱 후 데이터베이스 등록
• 자료 분석 및 입력 양식(Input Sheet) 작성에 따라 신규로 온라인 화면에서 입력

5. 데이터 이행 단계별 절차

5.1 이행계획 수립

• 초기 자료구조 정의
• 전환 관련 기술구조 정의
• 전환 방법, 일정계획 수립

5.2 이행환경 구축 및 개발

• 초기 자료정비
• 기존 자료 검증 및 보완
• 전환 관련 환경 점검(하드웨어, 네트워크)
• 전환 대상 식별
• 전환 대상 매핑 및 변환코드 정의
• 전환용 중간 데이터 설계
• 추가 보완 수작업 자료 수집
• 추출, 전환, 검증시스템 구축
• 전환자료 추출 시스템 구축 및 추출
• 추출 자료 검증(단위 시험)
• 검증 결과 보완

5.3 검증 및 보완 최종 전환

• 전환 리허설 실시(1차 … N차)
• 정합성 검증 시스템 구축 및 수행
• 응용프로그램 검증 시스템 구축 및 수행
• 데이터베이스 튜닝 실시
• 최종 전환 시나리오 작성
• 최종 전환 시 재난복구계획 수립
• 최종 전환 환경 구성
• 시스템 이행

6. 데이터 변환 및 정제

소스 데이터 구조 분석, 표준화 규칙, 변환ㆍ정제 규칙, 타깃 모델 구조 분석으로 소스와 타깃 간 매핑을 정의하고 변환을 설계한다. 각 원천 시스템의 데이터는 표준화 결과를 적용하여 정제ㆍ변환되어 신규 구축 데이터베이스에 적재되며 초기 데이터 적재 프로그램은 이러한 정제ㆍ변환 로직을 구현하여 데이터의 품질을 보정하고 표준화한다. 정제ㆍ변환 과정 중 예외 데이터에 대해서는 예외처리 과정을 통하여 피드백되고 이러한 피드백을 거쳐 데이터의 품질 향상을 도모한다.

• Missing Value : Missing Value에 대한 Default값 정의
• 다기능 항목 : 각 항목을 분리할 수 있는 구분자를 파악하여 분리
• 정합성 오류 : 정합성이 어긋나는 경우는 사전 정비 작업을 통행 정비. 그렇지 못한 경우는 Outer Join을 통해 오류를 추출한 후 처리방안 결정 후 다시 로드
• Data Type, Format 불일치 : 표준 Format을 정의 및 변환 로직 정의
• 입력 오류 : Constraints 기능을 활용해 각 항목별 허용 범위를 정의
• 중복 데이터 : 중복 데이터에 대한 프로파일링 작업을 하고 어느 데이터를 선택할지 결정

7. 데이터 이행 검증 및 데이터 보완

데이터 이행에 대한 검증은 전환 전 과정에 걸쳐 수행된다. 추출 단계의 데이터 누락, 테이블ㆍ칼럼 매핑의 적절성, 변환ㆍ정제 수행 품질, 적재 과정의 중복 및 누락 여부 등을 확인한다. 확인된 데이터에 대한 정제에 관한 부분은 현업의 정책결정이 중요하므로 적극적인 협력이 필요하다.

• 추출 : 추출 단계에서 누락 데이터가 발생하였는지 검증
• 변환·정제 : 정제되기 전의 데이터가 표준화 규칙에 따라 정확하게 변환ㆍ정제되었는지 DB와 비교 확인하고 오류, 예외 데이터 처리는 표준화팀에서 작성된 표준화 지침을 적용하여 정제를 수행
• 적재 : 적재 과정 중 참조 무결성에 의한 적재 에러, 중복에 의한 적재 에러 발생 여부를 확인하고 참조 무결성의 경우 코드를 정비하고 중복에 의한 에러인 경우에는 중복 데이터에 대한 원인 파악과 더불어 선택적 적재를 수행
• 요약 : 원천 시스템에서의 보고서와 신규 구축 시스템에서의 보고서를 비교 검증