작은 데이터, 큰 기회
게시 됨: 2022-03-11요약
빅데이터란 무엇인가?
- "빅 데이터"는 너무 커서 일반적인 데이터베이스 소프트웨어 도구로 관리 및 분석할 수 없는 데이터 세트를 설명하는 주관적인 측정입니다.
- 대신 이러한 세트는 특히 인간 행동 및 상호 작용과 관련된 패턴, 추세 및 연관성을 나타내기 위해 계산 방식으로 분석됩니다.
- 빅데이터와 분석은 인터넷, 전자상거래, 소셜 미디어의 출현, 기기의 상호 연결과 함께 주류가 되었으며, 이 모든 것이 빅 데이터가 현실이 되기 위해 필요한 분석 가능한 데이터의 양이 크게 증가하는 데 기여했습니다.
- Gartner와 IBM은 빅 데이터를 4가지 V( 볼륨 , 속도 , 다양성 및 진실성 )로 분해합니다. 각각은 빅 데이터를 수익 창출 가능한 가치로 변환하는 데 필요한 구성 요소입니다.
스몰 데이터란?
- 주관적인 척도이기도 한 작은 데이터는 분석을 위해 복잡한 시스템과 기계를 사용하지 않고도 사람들이 접근 가능하고, 유익하고, 실행 가능하고, 이해할 수 있도록 양과 형식이 충분히 작은 데이터 세트로 정의됩니다.
- 스몰 데이터는 빅데이터가 등장하기 전까지 하나의 독립된 범주로 자리잡지 못했기 때문에 빅데이터의 파생물이다.
- 분석 전략을 고려 중인 소규모 기업은 더 규범적이고 예측적인 분석을 위한 빅 데이터 애플리케이션으로 성숙하기 전에 먼저 소규모 데이터를 사용하여 고객에 대한 실행 가능한 통찰력을 생성하는 데 중점을 두어야 합니다.
데이터 분석을 정의합니다.
- 데이터 분석은 고도로 훈련된 통계학자와 데이터 과학자가 패턴과 추세를 식별하기 위해 정교한 소프트웨어 프로그램을 사용하여 통계적으로 중요한(즉, 대규모) 샘플 세트를 분석하는 오랜 분야입니다. 이 분석은 주로 고객 상호 작용과 관련하여 더 나은 결정을 내리는 데 유용한 통찰력을 제공합니다.
- 최근 몇 년 동안 이 작업을 가능하게 하는 소프트웨어는 더욱 접근 가능하고 강력하며 사용하기 쉬워져 시민 데이터 과학자가 이전에 고도로 훈련된 기술 전문가의 영역이었던 프로젝트를 시작하고 착수할 수 있게 되었습니다.
소개
데이터와 분석은 빠르게 비즈니스 세계의 화두가 되었습니다. 고객 행동에 대한 통찰력을 얻고, 위험 분석을 수행하거나, 인프라를 보다 효율적으로 관리하기 위해 "지능적으로 데이터를 사용하는" 진취적인 회사에 대한 언급 없이는 저널을 읽기가 어려울 것입니다. 데이터가 풍부한 대규모 기업, 특히 규제 대상 기업은 수년 동안 데이터 기반 의사 결정에 참여해 왔으며, Capital One이 고객을 더 잘 이해하기 위한 데이터 분석의 개척자로 가장 잘 예시됩니다. 엄청난 성공으로 이어진 영향력 있는 마케팅 캠페인.
그러나 틈새 시장의 시작에도 불구하고 데이터 활용은 빠르게 주류가 되었습니다. 규모와 인력에 관계없이 특정 기업이 핵심 비즈니스 프로세스/역량으로 분석을 사용하지 않는 데에는 오늘날 믿을 만한 이유가 거의 없습니다. 비용, 자원 및 전문성과 같은 전통적인 반대는 더 이상 겨자씨를 줄여주지 않습니다. 반대로 내부적으로 생성된 데이터는 경쟁력을 유지하고자 하는 경쟁 기업에 의해 빠르게 활용되는 유비쿼터스 전략 자산이 되고 있습니다.
이 기사는 독자들에게 데이터 및 분석의 세계를 간략하게 소개하고 시장 역학, 도구, 플레이어 및 두 가지 고유한 솔루션을 안내한 후 후반부를 소규모 비즈니스를 위한 실습 구현 가이드 및 프레임워크에 할애합니다.
빅 데이터와 스몰 데이터 모두에 대한 일반인 가이드
인터넷의 도래와 함께 전자 상거래, 소셜 미디어 및 장치의 상호 연결로 인해 이를 활용할 도구를 소유한 사람들을 위해 전 세계적으로 사용 가능하고 분석 가능한 데이터의 양이 폭발적으로 증가했습니다. 모든 트윗, 게시물, 좋아요, 왼쪽 스와이프, 오른쪽 스와이프, 두 번 탭, 검토, 텍스트 및 거래는 각각 우리가 누구인지, 어떻게 결정을 내렸는지, 어디서, 왜 그런지를 알려주는 디지털 발자국을 매핑하는 데 사용할 수 있는 데이터입니다. 형식의 방대함, 깊이 및 복잡성 때문에 "빅 데이터"라고 하는 이 데이터는 규범적 및 예측적 분석의 가능성을 열어 우리가 매일 소비하는 수많은 제품의 초개인화를 가능하게 했습니다.
공식적으로 빅 데이터는 패턴, 경향 및 연관성을 밝히기 위해 계산적으로 분석될 수 있는 대규모 데이터 세트를 설명하며, 가장 흔히 인간 행동 및 상호 작용과 관련이 있습니다. 데이터를 "빅"이라고 하려면 집합/뱅크가 데이터에서 가치를 추출하기 위해 고급 데이터 방법과 복잡한 시스템이 필요할 정도로 커야 합니다.
2001년 연구 보고서에서 META 그룹(현재 Gartner)은 빅 데이터를 3V 데이터라고 하는 3차원으로 구성했습니다. Volume (수량), Velocity (생성/전송 속도) 및 Variety (유형 및 소스 범위)입니다. IBM은 이 3가지 V를 4가지 V로 확장하여 가치를 포착하는 데 필요한 최종 차원으로 데이터의 진실성 (품질/무결성)을 포함했습니다.
...하지만 이미 빅 데이터에 대해 들어봤을 것입니다. 반면에 소규모 데이터는 지나치게 복잡한 분석 도구 없이도 사람들이 액세스할 수 있고, 유익하며, 실행할 수 있을 만큼 충분하다고 간주되는 데이터의 하위 분류입니다. 전 McKinsey 컨설턴트인 Allen Bonde는 "빅 데이터는 기계에 관한 것이지만 작은 데이터는 사람에 관한 것입니다"라는 말을 가장 잘 요약했습니다.
SaaS 기반 분석
데이터의 가용성과 유용성의 증가와 함께 독립형 분석 산업이 등장했습니다. 석사 및 박사 수준의 통계학자, 데이터 과학자, 분석가의 전유물이었던 분석은 기능적으로 강력하지만 저렴한 셀프 서비스 SaaS(Software-as-a-Service) 플랫폼 산업으로 진화하여 사용자의 초보자가 데이터에서 가치를 추출합니다. 이전에 이런 종류의 분석을 실행하는 데 필요한 전문 지식이나 예산이 부족한 소규모 회사는 이제 더 나은 자원을 갖춘 회사와 거의 동등한 위치에서 경쟁하고 시장에서 방어할 수 있는 부분을 구축하고 있습니다.
SaaS 모델의 비용 이점 외에도 기술 및 서비스 연구 회사인 Aberdeen Group의 연구에 따르면 SaaS 도구를 채택한 조직에는 본능적으로 데이터를 사용하여 의사 결정을 내리고 ROI 목표를 달성하는 직원이 두 배나 많습니다. 40% 그렇지 않은 사람들보다 더 빠릅니다. 대부분의 회사에서 회계, 마케팅, ERP 및 CRM 시스템에서 내부적으로 생성된 보고서 외에 이메일 마케팅 보고서, Google Analytics 및 기타 타사 웹 기반 분석 도구가 이미 활발히 사용되고 있으며 작은 데이터로 수익을 창출합니다.
이에 더하여 IDC는 정확한 측정이 어려울 수 있는 크고 성장하는 시장이지만 Forrester Research에 따르면 IDC는 전 세계 비즈니스 인텔리전스 및 분석 도구 시장이 2017년 기준 거의 140억 달러로 추산하며 전년 대비 11.7%의 성장률을 기록했습니다. , 글로벌 시장 조사 회사는 2021년까지 15%의 CAGR을 예측합니다.
시장 점유율 데이터
당연히 분석 도구 및 솔루션 시장은 SAP, IBM, Oracle 및 Microsoft와 같은 소프트웨어 회사의 오래된 수호자가 장악하고 있습니다. 2015년 기준으로 SAP는 10%의 시장 점유율과 12억 달러의 분석 및 비즈니스 인텔리전스(BI) 제품 수익으로 시장을 주도했습니다. SAS Institute는 9%의 점유율로 2위를 차지했습니다. IBM은 8%로 3위, Oracle과 Microsoft는 각각 7%와 5%로 4위와 5위를 기록했습니다. 흥미롭게도 Sentiment Strategies, Tableau 및 Teradata와 같은 벤처 캐피탈 지원 신생 기업의 시장 이상 성장으로 인해 5대 벤더의 시장 점유율이 감소하고 있으며, 이는 업계의 미래 성장의 상당 부분이 소규모, 더 빠르고 민첩한 기업.
소규모 회사를 위한 데이터 분석 구현 가이드
가능한 가장 높은 수준에서 데이터 중심 문화는 경영진에게 동일한 버전의 진실, 즉 투명하고 수량화 가능한 진실을 바탕으로 작업하면서 가능한 한 최선의 결정을 자주, 일관되게 내릴 수 있다는 더 큰 확신을 줍니다. 결국, 우리 대부분은 서로 다른 일화적 출처, 사실 패턴 및 해석에 기대어 서로 다른 주장을 내세우고 변호하는 회의를 통해 경쟁하는 경영진이 입력과 출력의 무결성에 신속하게 의문을 제기했습니다. 따라서 데이터 분석의 길을 걷고자 하는 특정 중소기업이 내려야 할 첫 번째 결정은 해당 기업이 진정으로 데이터 기반 조직이 되기를 원하는지 여부입니다.
이러한 하향식 결정이 내려지면 새로운 전략적 우선 순위의 잠재력과 유용성을 최적화하기 위한 프레임워크를 설정해야 합니다. 시작하려면 몇 가지 질문을 해야 합니다. 첫째, 주어진 회사, 프로젝트, 이니셔티브 또는 부서의 장단기 목표는 무엇입니까? 둘째, 그 노력과 결과에 대한 책임은 누구에게 있는가? 셋째, 데이터로 해결하고자 하는 기업, 프로젝트, 이니셔티브 또는 부서의 구체적인 문제는 무엇입니까? 넷째, 이니셔티브를 추진하기 위해 어떤 도구를 사용해야 합니까?
이러한 질문에 대한 답변이 완료되면 다음 단계는 약간의 계획, 조직 구조, 하향식 방향 및 상향식 열정으로 실제적이고 측정 가능한 과거에 비해 더 일관되게 결과를 얻을 수 있습니다. 아래 다이어그램은 간단한 데이터 분석 접근 방식의 다양한 요소를 고려하는 프레임워크를 제공하도록 설계되었습니다.
목표에 대한 질문에
이것은 올바르게 이해하기 위한 첫 번째 중요한 질문입니다. 높은 수준에서 데이터를 활용하려는 모든 회사의 최고 목표는 건전한 비즈니스 결정을 내리기 위한 체계적인 프로세스, 즉 일관되고 반복 가능하며 측정 가능하게 더 나은 결과를 산출하는 프로세스를 개발하는 것입니다. 이 시점에서 건전한 데이터 지향적인 조직이 되는 것은 목적지가 아니라 여정이라는 점을 인식하는 것이 중요합니다. 따라서 상단의 "구매"와 하단의 합의가 중요하다는 것을 증명할 중요한 기본 단계입니다. 대량 채택 및 완전히 활용된 분석 자산. 동의를 얻은 후 시도되고 테스트된 다음 단계는 몇 가지 "빠른 성공"을 전략적으로 준비하여 이 프로세스를 결실로 보는 데 필요한 흥분과 참여를 북돋우는 것입니다. 합의 구축, 동의 및 빠른 승리 달성, 연구와 내 경험 모두 다음 구조, 순서 및 고려 사항을 가정하는 구현 접근 방식을 나타냅니다.

설명 분석으로 시작하십시오. 기존 트랜잭션 데이터를 사용하여 기업 성과를 강조 표시하여 이전에 수량화할 수 없는 데이터 없이는 결정적이지 못한 결론을 도출하는 간단한 시각적 대시보드입니다. 다음으로, 대시보드 내에서 드릴다운 기능을 개발하여 통찰력, 성과 테이크아웃 및 자가 진단 지침을 전략적으로 그리고 적절한 동료/조직 영향력자와 공유하십시오. 이렇게 하면 부하 직원에 대한 배포 프로세스와 여러분이 육성하고자 하는 데이터 의존 문화가 모두 시작될 것입니다.
2단계: 사내 기술 리소스를 사용하거나 타사 제공업체의 도움을 받아 보다 정교한 예측 분석 기능으로 전환합니다. 이러한 예측 기능은 내부 및 외부 데이터 소스를 모두 결합하여 "고객이 이탈할 가능성은 얼마입니까?" 또는 "x를 구매하는 고객은 일반적으로 y도 구매합니다."와 같은 특정 비즈니스 질문에 더 잘 답하고 실제 정보를 제공합니다. 부서 또는 주어진 이니셔티브의 성과에 대한 시간 통찰력. 이 경우 "외부 데이터 소스"에는 소셜 미디어 데이터, 영업 인력 데이터 또는 사용자 경험 데이터가 포함됩니다. 이 데이터는 모두 풍부하고 통계적으로 중요한 통찰력 소스를 제공하며 내부 데이터는 자체적으로 활용하기에는 여전히 너무 제한적입니다.
세 번째 단계는 과거 데이터를 배경으로 소비자, 기업, 경쟁업체, 직원 또는 공급업체의 행동을 안내/선점하기 위한 적절한 조치를 결정하는 데 도움이 되는 고급 처방 분석으로 이동하는 것입니다. 이 단계는 일반적으로 작은 데이터에서 큰 데이터로의 전환을 표시하기 시작한다는 점에 유의해야 합니다. 그러나 의사 결정에서 최고 수준의 입출력 무결성과 일관성을 보장하기 위해 전사적 의사 결정 프로세스에 통합되어야 하는 필수 단계입니다.
다양한 분석 단계에 대한 심층 보기
기술 분석 – 대시보드
측정 대상이 관리된다는 것은 자명한 사실입니다. 따라서 단일 데이터 결정론적 진실을 개발함으로써 조직 내의 리더는 보다 건전하고 통합된 결정을 내릴 수 있습니다. 대시보드는 이러한 분석 여정의 시작점이며 회사의 데이터 결정론적 진실을 시각적으로 보여줍니다. 물론 한 그룹에 관련이 있는 것이 다른 그룹에는 의미가 없을 수 있으므로 주어진 대시보드의 목적이나 주제, 어떤 정보를 포함해야 하는지, 해당 콘텐츠에 대한 관련 수용자는 누구인지, 질문/문제는 해당 그룹이 답변/해결을 모색하고 있다는 것입니다.
잘 디자인된 대시보드는 단순히 과거 정보를 제공하는 것이 아니라 의사 결정을 유도하고 비즈니스의 핵심을 정확하게 설명하면서 추세와 반복 패턴(긍정적이든 부정적이든)에 효과적으로 주의를 집중시킵니다. 보다 정교한 대시보드는 보다 동적인 실시간 보기를 허용하는 주석 및 공유 기능을 통해 리더가 진단된 문제의 근본 원인에 도달할 수 있도록 하는 드릴다운 기능을 제공합니다.
예측 분석 – 데이터 혼합, 탐색 및 쿼리
대시보드 프로세스가 완료되면 야심 찬 데이터 중심 조직이 더 야심차게 시작할 수 있습니다. 이를 위해 일반적인 다음 단계는 "방대하고 다양한 데이터를 사용하여 보다 고급 분석을 수행하고 의사 결정 영역에 추가 차원을 제공하는 것"입니다. Experian, Acxiom 및 D&B와 같은 수직 특정 공급업체에서 Facebook, Twitter 및 Salesforce와 같은 소셜 미디어 또는 판매 데이터 제공업체에 이르기까지 제3자의 데이터와 더 풍부한 회사별 데이터를 혼합함으로써 주어진 회사는 더 큰 규모의 탐색을 할 수 있습니다. 회사의 성과와 고객 행동에 대한 새롭고 더 나은 통찰력을 제공하기 위해 더 광범위하고 다양하며 통계적으로 유의미한 집합입니다.
처방 분석 – 비즈니스 프로세스에 분석 배포
데이터, 고객, 규정 및 특정 비즈니스 문제/문제 측면에서 요구 사항이 다르고 예산 및 내부 기술이 다른 엔터프라이즈급 회사에는 고유한 요구 사항을 해결하는 기술 공급업체가 있을 수 있습니다. 비즈니스 프로세스 및 워크플로에 분석을 운영하는 능력이 더욱 중요해지고 경제적인 규모로 운영됩니다. 종종 이러한 회사는 공정하고 반복 가능한 처리 방법을 갖추고 있음을 입증할 수 있어야 하는 규제 산업에 속합니다.
대출 기관은 성별, 소득 또는 인종에 관계없이 대출 정책에 편견을 나타내지 않습니다.
책임에 대한 질문
특정 행동을 결정하는 것과 그것을 구현하는 것은 별개입니다. 진단, 처방, 결정과 원하는 결과를 책임지는 개인/그룹 사이에 연결이 필요합니다. 여기에서 집행 후원자의 역할이 중요해집니다.
중소기업과 대기업 모두에서 데이터 강화의 지명 챔피언이자 사실상의 최고 데이터 책임자인 임원 후원자는 개인이며 일반적으로 처음에는 CEO, CFO 또는 CMO로, 이미 데이터와 분석에 푹 빠져 있고 데이터로 가장 잘 해결되는 일종의 문제이거나 적어도 데이터 분석의 변형 가능성을 믿는 사람입니다.
이 주인공 외에도 프로세스는 일반적으로 특히 회사가 기술 분석에서 예측 분석으로 전환하기 시작하면 더 많은 실무 챔피언이 필요합니다. 전통적으로 이 사람은 기술 교육을 받은 사내 데이터 과학자였지만 최근에는 시민 데이터 과학자라고 하는 기술에 정통한 애호가의 형태를 취하고 있습니다. 이 개인은 일반적으로 스스로 선택합니다. 즉, 지적 호기심과 손재주가 적절한 균형을 갖춘 자칭 스프레드시트 기수지만 구현 환경에서 기꺼이 살고자 하는 사람입니다. 많은 경우에 이 개인은 공식적인 데이터 분석 프로세스가 회사에 미칠 수 있는 잠재적 영향을 경영진보다 먼저 인식하고 있지만 단순히 비전을 판매하는 데 필요한 지위나 신뢰성이 부족했습니다.
비즈니스 문제의 질문에
모든 성공 및 실패 기업에는 고유한 리소스, 프로세스 및 기능의 적절한 조합을 통해서만 해결할 수 있는 고유한 문제가 있습니다. 즉, 데이터로 해결하는 데 가장 적합한 종류의 비즈니스 과제는 차트 7에 나와 있는 프레임워크를 사용하여 축소, 분류 및 해결할 수 있는 경우가 많습니다.
또한, 몇 가지 일화적인 지침/매개변수가 수년에 걸쳐 고안되었으며, 이를 통해 데이터를 처리할 올바른 종류의 문제를 식별할 가능성뿐만 아니라 성공적으로 해결될 가능성도 최적화할 수 있습니다. 이러한 지침/매개변수는 다음과 같습니다. 첫째, 의미가 크게 중요한 간단하고 명확한 질문을 선택하십시오. 둘째, 데이터로부터 답을 구함에 있어 학문적 답의 완성도보다는 해결책의 실용성을 추구한다. 셋째, 진단 및 솔루션을 제공할 때 수신자 청중의 특성과 지식 기반을 염두에 두십시오. 마지막으로, 동일한 측정으로 추적할 수 있는 이미 존재하는 데이터와 솔루션으로 측정 가능하고 수량화할 수 있는 문제만 선택하십시오.
올바른 도구와 방법에 대한 질문
지속 가능한 데이터 지향 조직 구축과 관련된 원래의 네 가지 프레임워크 질문 중 마지막은 도구, 방법 또는 플랫폼 선택에 관한 것입니다. 이를 위해 데이터 분석 도구가 최근 몇 년 동안 상당히 발전했으며 비즈니스 사용자에게 다양한 장단점이 있음을 먼저 말씀드리겠습니다. 장점은 기능별 도구에서 기능이 겹치는 플랫폼으로 전환함에 따라 이러한 도구 임대와 관련된 비용의 상당한 감소, 기능 목록의 증가 및 사용 가능한 옵션의 복잡성 증가를 포함합니다. 또한 SaaS 공급업체는 볼륨 및 데이터 유형에 대한 제한이 있지만 무료 평가판을 제공합니다. 새로운 고객은 여러 플랫폼을 테스트한 후 정보에 입각한 구매 결정을 내릴 수 있습니다.
이러한 플랫폼의 주요 단점은 공급업체가 서로 경쟁을 유지하기 위해 복잡성에 대해 너무 공격적으로 혁신하여 이제 해당 제품이 일반 비즈니스 사용자의 유용성을 넘어선 기능으로 포화 상태에 도달했다는 것입니다. 불행한 결과는 초심자 사용자가 압도적으로 많아 앞서 논의한 "빠른 성공"을 달성하기 어렵게 만들고 데이터 문화가 주어진 회사에서 자리를 잡을 가능성을 줄입니다.
다행스럽게도 잠재 사용자를 지원하고, 경쟁 비즈니스 인텔리전스 솔루션을 평가 및 비교할 수 있는 리소스가 많이 있지만, 핵심 공통 기능에 대한 일부 지식은 회사의 특정 요구 사항 및 우선 순위에 대해 평가하는 데 유용합니다. 이러한 기능에는 다음이 포함됩니다. 데이터 연결의 수 및 범위, 사전 조립된 대시보드의 가용성, 드릴다운, 게시 및 공유 기능, 데이터 혼합 및 탐색 소프트웨어 기능과의 통합, 확장 가능성(볼륨 및 다양성 매개변수 모두에서), 수 및 모델링 접근 방식의 정확성, 특정 산업별 고객 참조 기반. 요약하면 간단하지만 위의 차트 7은 다양한 범주(기술적, 예측적, 규범적)에서 작동하는 몇 가지 주요 공급업체를 보여줍니다.
작은 데이터, 큰 기회
틈새 시장의 시작에도 불구하고, 데이터 분석과 SaaS 기반 분석 도구 시장이 최근 몇 년 동안 상당히 발전하여 시민 데이터 과학자와 그 회사에 많은 이점이 있음이 분명합니다. 빅 데이터, 스몰 데이터, 셀프 서비스 도구는 이제 기술이 가장 낮은 기업이라도 핵심 역량으로 고려할 만큼 충분히 주류가 되었습니다. 달리 말하면, 매우 유용하고 실행 가능한 데이터가 생성되고 셀프 서비스 도구의 비용이 제공되는 기능 및 기능에 반비례하므로 소규모 기업이라도 일정 용량의 데이터를 활용하지 않을 이유가 거의 없을 것입니다.
이 기사에서는 약간의 계획, 객관적인 설정 및 후원자 선택만 있으면 스타트업이 파괴하려는 업계의 거물과 경쟁 경기장을 평준화하기 시작할 수 있으며 그 과정에서 엄청난 경제적 가치를 얻을 수 있음을 설명해야 합니다. 이해관계자. 시작하기만 하면 됩니다. 그러니 계속하십시오. 시작하십시오!