데이터 엔지니어링
첫 걸음인 데이터의 수집, 특히 온라인 고객 행동데이터 수집을 위한 태깅/SDK적용 부터 많은 기업이 어려움을 겪습니다.
그 배경에는 데이터 수집 과정을 단순작업으로 간과하거나, 데이터의 다양성과 목적을 충분히 살피지 않고 폐쇄형 CDP 또는 단일 플랫폼으로만 접근하여 데이터가 파편화되거나 정합성이 맞지 않는 경우가 많습니다.
데이터 활용을 위한 수집단계부터, 데이터의 Merge 와 Enrichment, 데이터 활용 단계까지 full-stack 경험을 갖춘 컨설팅과 데이터 엔지니어링의 지원을 통해, 불필요한 시행착오를 줄이고 실제 활용가능한 데이터 환경을 구축하십시오.
자주 요구되는 데이터엔지니어링 과제
전형적인 CDP 의 데이터 수집/처리/활용의 단계에서 폭 넓게 데이터 엔지니어링 활동이 요구됩니다만, 현재 국내시장에서 가장 많이 요구되는 것은 아래 5개의 주제 중에서 ‘온라인 고객 행동 데이터의 수집', ‘적재된 데이터에서 요구되는 지표/차원에 따라 쿼리 및 추출, 전송', ‘수집부터 최종 데이터 추출까지의 데이터 정합성 검증' 입니다.
고객 행동(광고/상품 포함) 추적/수집
취합과 변환/적재
통합/단일화
타겟 세그먼트, 요구 데이터의 분석과 추출
광고/마케팅 플랫폼의 연결과 관리- 전체 데이터 흐름과 정합성 검증 이외에 다수의 데이터 엔지니어링 사례를 확인할 수 있습니다.
고객 행동, 광고/상품 데이터의 수집과 활용준비
과거에 비해 웹사이트 및 모바일 앱에서 행동 데이터와 행동의 대상이나 원인이된 상품/콘텐츠, 유입 광고/캠페인에 대한 추적은 다양한 툴의 발전으로 한결 쉬워졌습니다.
그럼에도 불구하고, 많은 기업들이 데이터의 수집을 위한 첫 단계에서 데이터 분석/활용 목적에 따른 데이터 수집 계획을 수립하지 못하거나, 설령 그 계획이 있더라도 그 내용과 실제 프론트엔드에서의 데이터 수집을 위한 작업과의 연계를 커뮤니케이션의 문제, 데이터 수집 환경과 데이터 항목의 요건 이해 부족으로 부실한 데이터 수집 소스를 구성합니다.
가장 큰 원인은, 데이터 수집/적재의 계획을 단순히 픽셀 태깅정도의 수준으로 이해하고, 세부적인 계획없이 데이터 수집을 위한 환경구성과 태깅작업들을 데이터 엔지니어가 아닌 소프트웨어 개발자 또는 초급 엔지니어에게 일임하고, 이후 검증 및 운영관리를 하지 않는 경우입니다.
Growth Platform™ 데이터 엔지니어링 팀은 자체 트래킹 엔진을 개발/운영해온 경험과 Google Analytics 등 범용 데이터소스에 대한 10여년간의 태깅/구축 프로젝트 진행 경험을 바탕으로, 기업의 데이터 활용 목적과 데이터 수집 계획, 이후 데이터 적재/가공/활용 계획을 고려하여 운영관리 가능한 데이터 수집 체계를 구축합니다.
참고 : Google Analytics 4 태깅/구축 서비스
| 구체적 요건 |
|
|
|---|---|---|
| 수행 내용 |
|
|
| 실제 사례 |
|
|
| 단계/주제별 | 목적에 따른 데이터/항목등 설계 |
|
| 데이터수집 |
|
|
| 적재 |
|
|
| 가공 | - | |
| 분석 | - | |
| 리포팅/시각화 | - | |
| 잠재고객 | - | |
| 캠페인 | - | |
개별 비즈니스 특화된 데이터의 가공과 추출
CDP환경 구축은 단순 결과적으로 마케팅자동화, 이메일마케팅, 타겟 푸시발송과 같은 개별적 단위 소프트웨어의 기능 수행만이 목적이 아니며, 고객 데이터의 입체적인 분석을 통한 고객 인사이트 획득과 타겟 오디언스의 추출/활용, 더 나아가 다양한 AI 기술등을 접목하여 고객행동을 예측하고, 캠페인을 정교화 하는데에 있습니다.
고객의 전체 여정에 대한 입체적인 데이터를 보유하고 있는 CDP는 최대한 활용될 수 있어야 합니다. 이러한 까닭에, 기업내 전사적 접근과 활용이 용이하도록 ‘CDP는 데이터웨어하우스’이어야 한다는 의견과 ‘CDP를 단일 패키지형태로 구매할 것인가 자체 구축할 것인가’에 대한 고민에서 공통적으로 강조되는 ‘데이터를 활용 할 수 있는가'에 대한 고려가 중요합니다. CDP를 All-in-One 형태의 패키지로 구성하더라도, 단편적 ‘이메일 마케팅 솔루션'이 아니라 그 도입 목적에 맞게 활용하기 위해서는, 기업의 비즈니스와 마케팅 전략에 맞춰 데이터 항목의 추가와 다양한 애플리케이션/데이터와의 연동은 필수적입니다.
Growth Platform™ 데이터 엔지니어링 팀은 데이터의 커스텀 정의/추출/분석을 위한 지원과 다양한 데이터의 실시간 및 취합/정제 과정을 수행해온 다년간의 경험과 함께 편의를 위한 관리 툴을 자체 개발 및 제공하고 있습니다.
| 구체적 요건 |
|
|
|---|---|---|
| 수행 내용 |
|
|
| 실제 사례 |
|
|
| 단계/주제별 | 목적에 따른 데이터/항목등 설계 |
|
| 데이터수집 | - | |
| 적재 |
|
|
| 가공 |
|
|
| 분석 |
|
|
| 리포팅/시각화 | - | |
| 잠재고객 | - | |
| 캠페인 | - | |
데이터의 정합성 검증과 운영관리
처음 잘 환경이 구성되었더라도, 이후 고객접점 채널의 변경, 웹사이트 부분 업데이트, 마케팅 캠페인의 진행을 위한 추가 데이터 수집 설정등 다양한 원인으로 데이터의 정합성은 위협받게 됩니다. 정합성 검증과 보완 후에 지속적인 운영관리를 위해서는 일종의 데이터거버넌스 정책에 따른 관리가 요구됩니다.
Growth Platform™ 데이터 엔지니어링 팀은 데이터 흐름 관점에서는 데이터 활용계획 수립/인터뷰 부터 최종 데이터의 시각화까지, 데이터의 주제에 대해서는 고객 행동 데이터와 광고 매체/캠페인 데이터, 상품/콘텐츠 데이터, 결제/상담 데이터까지 포괄적으로 그 연결을 확인하며 정합성을 검증 할 수 있는 기술 및 운영/관리 경험을 보유하고 있습니다.
| 구체적 요건 |
|
|
|---|---|---|
| 수행 내용 |
|
|
| 실제 사례 |
|
|
| 단계/주제별 | 목적에 따른 데이터/항목등 설계 | - |
| 데이터수집 | - | |
| 적재 |
|
|
| 가공 | - | |
| 분석 | - | |
| 리포팅/시각화 |
|
|
| 잠재고객 | - | |
| 캠페인 | - | |
더 많은 데이터엔지니어링 수행의 사례 요약
온라인 마케팅에 특화된 CDP 환경에서의 데이터 엔지니어링은 기타 데이터 엔지니어링 이슈와 다르게, 온라인 고객/잠재고객의 행동 데이터 부터 광고/캠페인 데이터, 상품/콘텐츠 데이터를 해당 웹/앱 및 CRM등 환경에 대한 이해와 온라인 마케팅 캠페인의 특성에 대한 이해를 바탕으로 접근해야합니다.
대표적으로 수행해온 주요 사례들을 요약하여 표 형태로 정리하였으며, 주요 목적/수행내용과 단계별 활용한 툴/모델등을 함께 정리하였습니다.
