모든 데이터 엔지니어가 알아야 하는 데이터 웨어하우스의 상위 4가지 특성

게시 됨: 2020-12-23

조직이 더 중요한 기관과 기업으로 발전함에 따라 지형적으로나 사회적으로나 자신이 다루는 비즈니스 부문 및 고객으로부터 계속 고립됩니다. 예를 들어 디즈니를 보자. 미국 회사이지만 아시아, 유럽 및 오스트랄라시아에서도 상당한 입지와 적절한 운영을 하고 있습니다. 다양한 분야에서 이러한 예가 수천 가지가 넘습니다.

이러한 조직은 이전에 부산물로 보관되었던 엄청난 양의 정보를 생성합니다. 그러나 점점 더 많은 도구를 사용할 수 있게 되면서 운영 및 과학 목적 모두를 위해 더 간단한 형식으로 데이터를 변경하고 관리하는 데 초점을 맞추기 시작했습니다. 이 많은 데이터를 처리하고 저장하려면 데이터 웨어하우스가 필요합니다.

데이터 웨어하우스를 다양한 소스에서 가져올 수 있는 정보의 저장소로 정의할 수 있습니다. 프런트 엔드 애플리케이션은 이 방대한 데이터를 이해하기 위한 첨부 파일로 사용됩니다. 소매업체에서 은행에 이르기까지 모든 조직은 데이터 수집 및 활용의 중요성을 이해하고 있습니다.

다음은 알고 있어야 하는 중요한 데이터 웨어하우스 특성 목록입니다.

  1. 주제 지향적
  2. 시변
  3. 비휘발성
  4. 통합

목차

1. 주제 지향적

데이터 웨어하우스는 일상적인 일을 강조할 필요가 없도록 설계되었습니다. 데이터 웨어하우스에 주어진 주요 작업은 대부분 데이터 모델링과 회사의 일상 업무에 영향을 미치고 장기 계획을 형성할 수 있는 다양한 의사 결정 프로세스에 대해 데이터를 분석하는 것입니다.

또한 단순하지만 효율적인 방식으로 데이터를 제공하여 특정 주제에 대해 직원이 쉽게 의사 결정을 내릴 수 있도록 합니다.

데이터 웨어하우스는 조직의 진행 중인 프로젝트보다는 일반적인 컨텍스트에 관한 데이터를 제공하는 것으로 알려져 있습니다. 따라서 현재의 사건이 아닌 주제 중심의 주제를 다루기 때문에 주제 지향적이라고합니다. 이 경우 테마의 일부 예는 판매, 마케팅, 배포 등이 될 수 있습니다.

학습: 데이터 웨어하우징 및 데이터 마이닝이란?

2. 시변

계속해서 데이터 웨어하우스를 다른 데이터 관리 시스템과 비교할 때 제공하는 기간의 유연성이 두드러집니다. 데이터 웨어하우스에 데이터가 수집될 때마다 관련 시간도 저장되어 과거 데이터 추세를 분석하는 데 도움이 될 뿐만 아니라 과거 이벤트 또는 데이터 지점을 효율적으로 참조할 수 있습니다.

대부분의 경우 데이터 웨어하우스는 레코드 키 구조에 시간대 정보를 저장합니다. 거의 모든 레코드 키에서 시간 범위에 대한 일부 정보에 대한 명시적 또는 암시적 언급을 찾을 수 있습니다. 시간과 관련된 데이터 포인트는 시간, 주, 연도 등의 범위일 수 있습니다. 이 시간 데이터 포인트의 중요한 특징은 일단 생성되고 키와 연결되면 변경하거나 제거할 수 없다는 것입니다.

읽기: 인도의 데이터 과학자 급여

3. 비휘발성

새로운 데이터 포인트가 데이터 웨어하우스에 저장될 때마다 이전 데이터는 제거되거나 영향을 받지 않습니다. 데이터 웨어하우스의 이 속성은 데이터 웨어하우스를 비휘발성으로 만듭니다.

모든 데이터 포인트는 특정 시간 간격으로 새로 고쳐지고 보기 전용 형식으로 표시됩니다. 데이터 웨어하우스의 비휘발성 동작을 통해 과거 데이터에 쉽게 액세스할 수 있고 시간에 따라 변할 수 있습니다. 이는 동시 트랜잭션 관리 또는 실패한 프로세스에 대한 조정 사용을 근절합니다.

이러한 비휘발성 특성으로 인해 일반적으로 다른 아키텍처에 포함되는 삭제, 업데이트 등과 같은 편집 작업이 없습니다. 간단히 말해서 데이터 웨어하우스 시스템 내에는 두 가지 유형의 작업만 있습니다.

  1. 데이터 접근
  2. 데이터 로딩

4. 통합

데이터 웨어하우스 내에는 고유한 세트 및 유형의 데이터베이스로 이어지는 여러 데이터 소스가 있습니다. 그러나 데이터 웨어하우스는 데이터 측정을 위해 일정한 측정 단위를 유지하도록 합니다. 또한 데이터 웨어하우스는 공통 용어와 저장된 모든 데이터의 인코딩을 유지합니다.

필독: 데이터 웨어하우스 아키텍처

결론

이 기사의 정보 가 데이터 웨어하우스 의 특성을 이해하는 데 도움이 되었다고 믿습니다 . 자세한 내용은 upGrad의 전문가에게 문의하십시오.

세계 최고의 대학에서 데이터 과학 과정배우십시오 . 이그 제 큐 티브 PG 프로그램, 고급 인증 프로그램 또는 석사 프로그램을 획득하여 경력을 빠르게 추적하십시오.

데이터 웨어하우징의 기능은 무엇입니까?

데이터 웨어하우스를 사용하면 다차원 보기에서 데이터를 일반화하고 통합할 수 있습니다. 다차원 보기와 함께 데이터의 향상된 분석을 위한 다양하고 효과적인 도구도 제공됩니다. 데이터 웨어하우징의 일부 기능은 다음과 같습니다.
1. 데이터 추출 – 여러 소스에서 데이터를 수집하는 프로세스입니다.
2. 데이터 정리 – 데이터에서 발견된 오류를 찾고 수정합니다.
3. 데이터 변환 – 데이터를 레거시 형식에서 웨어하우스 형식으로 변환하는 프로세스입니다.
4. 데이터 로드 – 여기에서 데이터가 정렬, 통합, 요약되고 무결성이 확인됩니다.
5. 새로 고침 – 이 프로세스에서 데이터 소스에서 웨어하우스로 업데이트가 발생합니다.

데이터 웨어하우징의 장단점은 무엇입니까?

데이터는 전 세계의 모든 비즈니스와 조직에서 가장 중요한 측면이 되었습니다. 데이터의 적절한 수집과 분석이 필요한 작업임이 밝혀졌습니다. 데이터 웨어하우징은 모든 것이 올바르게 구현되어 비즈니스 또는 조직에 실제로 도움이 될 수 있습니다.
장점
1. 경쟁 우위 – 의사 결정자가 서비스를 개선하기 위해 사용 가능한 데이터를 기반으로 요구, 추세 및 고객을 이해하면 막대한 투자 수익이 발생합니다.
2. 의사결정자의 생산성 향상 – 의사결정자는 저장된 데이터를 기반으로 의사결정을 내리기 전에 데이터를 효과적으로 분석할 수 있습니다.
3. 비용 효율성 – 모든 데이터가 한 곳에 있습니다. 모든 것이 조직에서 관리하기 쉬워집니다.
단점
1. 데이터 로딩 자원의 과소평가 – 웨어하우스에 데이터를 정리, 업로드 및 검색하는 데 필요한 시간이 많습니다.
2. 소스 시스템의 숨겨진 문제 – 몇 년 후에 데이터 웨어하우스를 제공하려고 할 때 숨겨진 문제가 종종 발견됩니다.
3. 데이터 균질화 – 유사한 데이터 형식이 다른 소스에서 처리될 때 일부 데이터가 손실됩니다.

데이터 웨어하우징의 단계별 절차는 무엇입니까?

데이터 웨어하우징은 전체 조직에 대한 모든 정보가 한 곳에서 제공되기 때문에 비즈니스 분석가에게 꿈으로 간주됩니다. 이것이 실제로 이루어지도록 전체 데이터 웨어하우스를 구축하려면 단계별 절차를 따라야 합니다.
1. 사업 목표의 결정
2. 정보의 수집 및 분석
3. 핵심 비즈니스 프로세스 식별
4. 개념적 데이터 모델 구축
5. 다양한 데이터 소스 찾기 및 데이터 변환 계획
6. 추적 기간 설정
7. 전략계획의 실행