데이터 웨어하우징의 주요 개념: 개요
게시 됨: 2018-03-20지난 수십 년 동안 클라우드 기반 기술의 혁명이 있었습니다. 이러한 기술을 통해 조직은 고객, 제품 및 직원에 대한 데이터를 원활하게 저장하고 검색할 수 있습니다. 그런 다음 이 데이터를 사용하여 실행 가능한 통찰력을 수집하고 조직을 상위 단계로 끌어올릴 수 있습니다.
빅 데이터 및 분석은 데이터를 검색한 후 수행되는 작업을 처리하는 반면 데이터 웨어하우징의 개념은 해당 데이터가 클라우드에 저장되는 방식에 중점을 둡니다. 많은 글로벌 조직에서 데이터 웨어하우징 개념을 채택하여 전 세계의 운영 센터와 지사에서 스트리밍되는 데이터를 구성하고 있습니다.
빅 데이터 붐이 일어나기 전까지 데이터 웨어하우징의 개념은 존재하지 않았습니다. 그 전에는 모든 조직이 일상적인 활동을 관리, 추적 및 분석하는 데 적합한 OLTP(운영 데이터베이스)를 사용했지만 크기가 테라바이트에 이를 수 있는 과거 데이터 세트를 처리하는 데는 비참하게 실패했습니다. OLTP 시스템은 Entity-Relationship에서 작동하는 관계형 데이터베이스 모델일 뿐입니다. 여전히 사용되는 OLTP는 오늘날 조직의 막대한 양의 데이터로 인해 서서히 사라지고 있습니다.
입력: 데이터 웨어하우스!
목차
데이터 웨어하우스란 무엇입니까?
데이터 웨어하우징의 개념을 통해 조직은 의사 결정 지원 데이터를 수집, 저장 및 전달할 수 있습니다. 데이터 웨어하우징의 개념은 광범위하며 데이터 웨어하우스는 웨어하우징 과정에서 생성되는 아티팩트 중 하나입니다.
"데이터 웨어하우스"라는 용어는 1990년에 William (Bill) H. Inmon에 의해 만들어졌습니다. Inmon에 따르면 데이터 웨어하우스는 경영진의 결정을 지원하기 위한 주제 지향적, 통합, 시변 및 비휘발성 데이터 모음일 뿐입니다. - 만드는 과정.
데이터 과학자, 데이터 분석가 및 데이터 엔지니어는 누구입니까?
앞서 이야기한 OLTP는 자주 변경됩니다(거의 매일). 과거 데이터 부족으로 인해 비즈니스 임원이 이전 제품 피드백이나 불만 사항을 분석하는 것이 불가능할 정도입니다.
반면에 데이터 웨어하우스는 다차원 보기에서 통합된 데이터를 제공합니다. 또한 OLAP(온라인 분석 처리) 도구를 제공합니다. 이 도구는 저장한 데이터를 분석할 때 엄청난 도움이 됩니다. OLTP와 달리 데이터 웨어하우스는 데이터 마이닝, 분류, 클러스터링 및 예측 분석과 같은 작업도 지원합니다. 이러한 모든 이유와 그 이상으로 인해 데이터 웨어하우징의 개념은 모든 조직의 필수적인 부분이 되었습니다.
데이터 웨어하우스가 아닌 것은 무엇입니까?
데이터 웨어하우징 개념에 비교적 새로운 사람들은 종종 "데이터 웨어하우스"를 "데이터베이스"로 혼동합니다. 그러나 더 나아가기 전에 이 점을 명확히 합시다. 데이터 웨어하우스는 단순한 데이터베이스가 아니라 그 이상입니다. 여기에는 여러 데이터 소스에서 수집되고 전략적 의사 결정 중에 유용한 운영 데이터 사본이 포함됩니다.
일부는 또한 데이터 웨어하우스에 과거 데이터만 포함되어 있다고 생각합니다. 그러나 그것은 진실과 거리가 멀다. 데이터 웨어하우스는 과거 데이터와 분석 및 보고 데이터를 포함하도록 만들 수 있습니다. 그러나 데이터 저장소에서 관리되는 트랜잭션 데이터는 웨어하우스에 저장되지 않습니다. Data Warehouse를 사용하는 목적은 과거 데이터를 분석하고 실행 가능한 통찰력을 원활하게 얻는 것입니다.
심슨의 역설은 도대체 무엇인가? 데이터에 어떤 영향을 미칩니까?
데이터 웨어하우징의 중요성
지금까지 우리는 데이터 웨어하우징의 개념과 그 필요성에 대해 같은 페이지에 있으며 데이터 웨어하우스와 OLTP 사이의 중요한 차이점을 보았습니다. 이제 데이터 웨어하우징 개념의 중요성을 살펴보겠습니다.
데이터 일관성 보장
데이터 웨어하우스는 다양한 소스의 데이터를 저장하며 해당 데이터는 여러 형식으로 되어 있습니다. 따라서 데이터가 전체적으로 일관성을 유지하도록 ETL 방법을 적용하도록 프로그래밍되었습니다. 일관성은 데이터 웨어하우징을 기업 의사 결정자가 전 세계 동료들과 데이터 통찰력을 분석하고 공유할 수 있는 완벽한 도구로 만드는 것입니다. 데이터를 표준화하고 형식을 지정하면 데이터 분석 중 오류 위험도 줄어듭니다. 따라서 전반적으로 더 나은 정확도를 제공합니다.
더 나은 결정을 촉진
"먼저 데이터가 오고 그 다음이 이론입니다." 데이터 웨어하우스를 사용하면 조직에서 데이터를 쉽게 저장하고 검색할 수 있으므로 해당 데이터에 대한 더 나은 이론과 전략을 보장할 수 있습니다. 또한 데이터 웨어하우징은 다양한 데이터 세트에 액세스하는 것과 관련하여 훨씬 빠르며 실행 가능한 통찰력을 더 쉽게 도출할 수 있습니다.

수익 개선
데이터 웨어하우스는 이해 관계자가 과거 데이터를 자세히 살펴볼 수 있도록 하여 조직의 전반적인 운영을 개선하는 데 도움이 됩니다. 이를 통해 비즈니스 리더는 조직의 과거 활동을 신속하게 추적하고 성공적인(또는 실패한) 전략을 평가할 수 있습니다. 이를 통해 경영진은 비용 절감, 효율성 극대화, 매출 증대를 위해 접근 방식을 조정할 수 있는 부분을 확인할 수 있습니다.
데이터 웨어하우징 개념과 관련된 몇 가지 중요한 용어:
메타데이터
메타데이터는 본질적으로 데이터에 대한 데이터일 뿐입니다. 예를 들어 책에 대해 이야기하는 경우 해당 색인은 책 내용에 대한 메타데이터 역할을 할 수 있습니다. 즉, 메타데이터는 완전한 데이터에 대한 요약으로 이해될 수 있습니다.
데이터 웨어하우스 측면에서 메타데이터를 다음과 같이 정의할 수 있습니다.
- 데이터 웨어하우스에 대한 로드맵.
- 의사결정 지원 시스템이 데이터 웨어하우스의 내용을 찾는 데 도움이 되는 디렉토리입니다.
데이터 큐브
데이터 큐브는 차원과 사실로 정의되며 둘 이상의 차원에서 데이터를 나타내는 데 도움이 됩니다. 차원은 조직이 기록을 보존하는 것과 관련된 엔터티일 뿐입니다. 주로 보고 목적으로 데이터를 저장하는 데 사용됩니다. 큐브의 각 차원은 데이터베이스의 특정 특성(예: 일별, 월별 또는 연간 판매)을 나타냅니다. 데이터 큐브에 포함된 데이터를 사용하면 거의 모든 고객, 판매 대리점, 제품 등에 대한 거의 모든 수치를 분석할 수 있습니다. 따라서 데이터 큐브는 추세를 설정하고 성능을 분석하는 데 이상적으로 도움이 될 수 있습니다.
세계 최고의 대학에서 데이터 과학 인증 을 획득 하십시오. 귀하의 경력을 빠르게 추적하려면 Executive PG 프로그램, 고급 인증 프로그램 또는 석사 프로그램에 가입하십시오.
데이터마트
데이터 마트는 조직의 특정 섹션에 서비스를 제공하기 위해 구축된 데이터 저장소로 이해할 수 있습니다. 데이터 마트에는 특정 그룹의 사람들에게 중요한 전체 조직 데이터의 하위 집합이 하나 있습니다. 예를 들어 마케팅 팀을 위해 특별히 설계된 데이터 마트에는 품목, 고객 및 판매와 관련된 데이터만 포함될 수 있습니다. 데이터 마트는 해당 주제에 국한됩니다.
중요한 용어 및 기술과 함께 데이터 웨어하우징의 흥미롭다면 데이터 마이닝, 데이터 분석 등의 개념을 만지작거리며 이 주제를 자세히 살펴보는 것이 좋습니다. 여정은 길고 데이터 웨어하우스는 시작점일 뿐입니다.
의문 사항이나 질문이 있으면 아래 의견에 알려주십시오!
기업이 데이터 웨어하우징을 활용해야 하는 이유는 무엇입니까?
최신 데이터 웨어하우징 시스템은 빠르게 변화하는 회사 요구 사항을 충족하기 위해 데이터 웨어하우스를 설계, 구축 및 배포하는 시간 소모적인 작업을 단순화합니다. 그 결과 많은 기업에서 데이터 웨어하우징 솔루션을 사용하여 정보를 수집하고 있습니다. 개선된 데이터 분석, 더 큰 수익, 시장에서 보다 전략적으로 경쟁할 수 있는 능력은 모두 데이터 웨어하우스의 장점입니다. 데이터 웨어하우스 도구는 이러한 이점을 달성하기 위해 정형 및 비정형 데이터, ETL 소프트웨어 및 데이터 마이닝과 같은 다양한 관련 기술을 사용합니다.
데이터 웨어하우스의 몇 가지 주요 이점은 다음과 같습니다.
1. 역사적 통찰력 허용
2. 데이터 품질 및 일관성 향상
3. 생산성 향상
4. 데이터 분석을 더욱 강력하고 빠르게 만들 수 있습니다.
5. 수익 증대
6. 온프레미스 및 클라우드 기반 시스템과 상호작용
사용하기에 가장 좋은 데이터 웨어하우스 도구는 무엇입니까?
오늘날 많은 기업이 데이터 웨어하우징 도구에 의존하고 있습니다. 데이터 웨어하우스를 관리 및 유지하기 위한 올바른 솔루션을 선택하고 비즈니스 목표와 제한 사항에 정확히 맞는 솔루션을 찾는 것은 어려울 수 있습니다.
다음은 기업이 데이터 웨어하우스에서 유용한 데이터를 추출하는 데 사용할 수 있는 일부 데이터 웨어하우징 도구에 대한 개요입니다.
1. Amazon Redshift : Amazon Redshift는 간단한 SQL 쿼리를 사용하여 기존 비즈니스 인텔리전스 도구로 데이터를 검토할 수 있게 해주는 데이터 웨어하우징 도구입니다. 고성능 계산, 병렬 실행, 균일한 쿼리 최적화 및 열 기반 스토리지를 사용하여 정교한 분석 쿼리를 실행합니다. 기본적으로 Amazon Redshift는 저장 데이터를 암호화합니다.
2. Google BigQuery: Google BigQuery는 머신 러닝을 포함하고 비즈니스 인텔리전스 엔진을 활용하는 서버리스의 비용 효율적이며 확장성이 뛰어난 데이터 웨어하우징 도구입니다. ANSI SQL 언어를 사용하여 페타바이트의 데이터를 빠른 속도로 분석하고 유연한 아키텍처를 통해 클라우드 전반의 데이터에서 통찰력과 솔루션을 제공하며 비용 효율적이고 효율적인 방식으로 막대한 데이터 세트를 저장하고 쿼리할 수 있습니다.
3. Microsoft Azure: Microsoft Azure는 200개 이상의 제품과 클라우드 서비스를 결합한 데이터 웨어하우징 도구로, 다양한 클라우드 네트워크에서 확장성이 뛰어난 애플리케이션을 설계, 실행 및 관리하는 데 도움이 됩니다. 다양한 클라우드 및 하이브리드 환경에서 Windows 및 Linux 가상 머신의 배포를 지원합니다.