데이터 엔지니어링

첫 걸음인 데이터의 수집, 특히 온라인 고객 행동데이터 수집을 위한 태깅/SDK적용 부터 많은 기업이 어려움을 겪습니다.
그 배경에는 데이터 수집 과정을 단순작업으로 간과하거나, 데이터의 다양성과 목적을 충분히 살피지 않고 폐쇄형 CDP 또는 단일 플랫폼으로만 접근하여 데이터가 파편화되거나 정합성이 맞지 않는 경우가 많습니다.

데이터 활용을 위한 수집단계부터, 데이터의 Merge 와 Enrichment, 데이터 활용 단계까지 full-stack 경험을 갖춘 컨설팅과 데이터 엔지니어링의 지원을 통해, 불필요한 시행착오를 줄이고 실제 활용가능한 데이터 환경을 구축하십시오.

자주 요구되는 데이터엔지니어링 과제

전형적인 CDP 의 데이터 수집/처리/활용의 단계에서 폭 넓게 데이터 엔지니어링 활동이 요구됩니다만, 현재 국내시장에서 가장 많이 요구되는 것은 아래 5개의 주제 중에서 ‘온라인 고객 행동 데이터의 수집', ‘적재된 데이터에서 요구되는 지표/차원에 따라 쿼리 및 추출, 전송', ‘수집부터 최종 데이터 추출까지의 데이터 정합성 검증' 입니다.

  • 1고객 행동(광고/상품 포함) 추적/수집
  • 2취합과 변환/적재
  • 3통합/단일화
  • 4타겟 세그먼트, 요구 데이터의 분석과 추출
  • 5광고/마케팅 플랫폼의 연결과 관리
  • 전체 데이터 흐름과 정합성 검증 이외에 다수의 데이터 엔지니어링 사례를 확인할 수 있습니다.

고객 행동, 광고/상품 데이터의 수집과 활용준비

과거에 비해 웹사이트 및 모바일 앱에서 행동 데이터와 행동의 대상이나 원인이된 상품/콘텐츠, 유입 광고/캠페인에 대한 추적은 다양한 툴의 발전으로 한결 쉬워졌습니다.
그럼에도 불구하고, 많은 기업들이 데이터의 수집을 위한 첫 단계에서 데이터 분석/활용 목적에 따른 데이터 수집 계획을 수립하지 못하거나, 설령 그 계획이 있더라도 그 내용과 실제 프론트엔드에서의 데이터 수집을 위한 작업과의 연계를 커뮤니케이션의 문제, 데이터 수집 환경과 데이터 항목의 요건 이해 부족으로 부실한 데이터 수집 소스를 구성합니다.

가장 큰 원인은, 데이터 수집/적재의 계획을 단순히 픽셀 태깅정도의 수준으로 이해하고, 세부적인 계획없이 데이터 수집을 위한 환경구성과 태깅작업들을 데이터 엔지니어가 아닌 소프트웨어 개발자 또는 초급 엔지니어에게 일임하고, 이후 검증 및 운영관리를 하지 않는 경우입니다.

Growth Platform™ 데이터 엔지니어링 팀은 자체 트래킹 엔진을 개발/운영해온 경험과 Google Analytics 등 범용 데이터소스에 대한 10여년간의 태깅/구축 프로젝트 진행 경험을 바탕으로, 기업의 데이터 활용 목적과 데이터 수집 계획, 이후 데이터 적재/가공/활용 계획을 고려하여 운영관리 가능한 데이터 수집 체계를 구축합니다.

참고 : Google Analytics 4 태깅/구축 서비스

구체적 요건
  • 향후 CDP 및 마케팅오토메이션을 위한 기반으로서 세부 데이터 항목의 설계와 구축
  • 잠재고객 세그먼트를 이해/분석하고, 향후 활용하기 위한 구체적인 사용자 행동데이터 수집
수행 내용
  • (1) 데이터플랫폼 활용을 위한 각 개별 세부 지표정의와 데이터 적재 기준에 따라, 데이터 수집 항목과 수집 방법을 정의
  • (2) 태그매니저를 기반으로 각 사용자 행동/이벤트를 정규화하고 향후 관리/태깅 가능하도록 환경 구성
  • (3) 웹/하이브리드웹/모바일앱내의 각종 사용자 행동 및 구매전환, 스와이프/클릭등 모든 행동 이벤트/시그널을 트래킹하도록 태깅 및 SDK등 적용
  • (4) 전체 사용자 접근 채널에 대한 행동 이벤트 수집을 위한 개별 태깅 및 수집 데이터의 검증
실제 사례
  • S社의 맞춤형 고객행동 트래킹과 적재
  • BizSpring TAM - B의류社등 다수
  • L社 및 L렌터카社등 GTM기반 수집/분석환경 구축건외 다수
단계/주제별 목적에 따른 데이터/항목등 설계
  • 행동 데이터 분석 모델에 따른 유형/항목별 수집 및 적재방안 설계
  • 수집환경에 따른 데이터 엔지니어링 및 트러블슈팅
데이터수집
  • 행동 데이터 수집용 커스텀 트래커 Logger Script
  • Tag Manager 기반 다수 트래커 병용
  • Google Analytics
  • Raw데이터 제공가능한 App 트래커(Wisetracker, Firebase)
적재
  • Logfile
  • BigQuery
  • 수집 항목과 적재된 데이터간의 목적성에 따른 데이터 정합성 검증
가공 -
분석 -
리포팅/시각화 -
잠재고객 -
캠페인 -

개별 비즈니스 특화된 데이터의 가공과 추출

CDP환경 구축은 단순 결과적으로 마케팅자동화, 이메일마케팅, 타겟 푸시발송과 같은 개별적 단위 소프트웨어의 기능 수행만이 목적이 아니며, 고객 데이터의 입체적인 분석을 통한 고객 인사이트 획득과 타겟 오디언스의 추출/활용, 더 나아가 다양한 AI 기술등을 접목하여 고객행동을 예측하고, 캠페인을 정교화 하는데에 있습니다.

고객의 전체 여정에 대한 입체적인 데이터를 보유하고 있는 CDP는 최대한 활용될 수 있어야 합니다. 이러한 까닭에, 기업내 전사적 접근과 활용이 용이하도록 ‘CDP는 데이터웨어하우스’이어야 한다는 의견 ‘CDP를 단일 패키지형태로 구매할 것인가 자체 구축할 것인가’에 대한 고민에서 공통적으로 강조되는 ‘데이터를 활용 할 수 있는가'에 대한 고려가 중요합니다. CDP를 All-in-One 형태의 패키지로 구성하더라도, 단편적 ‘이메일 마케팅 솔루션'이 아니라 그 도입 목적에 맞게 활용하기 위해서는, 기업의 비즈니스와 마케팅 전략에 맞춰 데이터 항목의 추가와 다양한 애플리케이션/데이터와의 연동은 필수적입니다.

Growth Platform™ 데이터 엔지니어링 팀은 데이터의 커스텀 정의/추출/분석을 위한 지원과 다양한 데이터의 실시간 및 취합/정제 과정을 수행해온 다년간의 경험과 함께 편의를 위한 관리 툴을 자체 개발 및 제공하고 있습니다.

구체적 요건
  • 수집된 고객행동 빅데이터로 부터, 분석 및 리포팅등에 필요한 데이터 항목을 필요 요건에 따라 추출/가공/적재
  • Private DMP, CDP 등 구축을 위한 맞춤형 측정지표의 실시간 수집과 처리
수행 내용
  • (1) 현업/분석팀의 데이터 활용요건 조사 및 정의
  • (2) 요건에 따른 데이터 항목의 형태/범위/구조 설계
  • (3) 세부 데이터 항목 요건별 데이터 추출/쿼리 및 분석 시스템으로 정기적 적재
  • (4) 요건별 데이터 개별 검증 및 솔루션 운영관리
실제 사례
  • S社 분석시스템 기초 데이터 구성/적재
  • L카드社/글로벌L패션社 의 실시간 데이터 취합/전송
  • DMP등 활용을 위한 연관 데이터 전송/적재
단계/주제별 목적에 따른 데이터/항목등 설계
  • (필요시) 맞춤형 측정지표 설계
데이터수집 -
적재
  • 2차 적재 : 요구되는 목적지로 Logstash등 가용한 툴을 이용하여 정기적으로 전송/적재
가공
  • Google BigQuery 등 환경에서의 쿼리 작성과 관리
  • BizSpring Refiner(TM)을 이용한 자동화된 데이터 추출/가공/전송 처리
분석
  • 분석시스템 활용을 위한 데이터 1차 분석자료 형태로 전송 가능
리포팅/시각화 -
잠재고객 -
캠페인 -

데이터의 정합성 검증과 운영관리

처음 잘 환경이 구성되었더라도, 이후 고객접점 채널의 변경, 웹사이트 부분 업데이트, 마케팅 캠페인의 진행을 위한 추가 데이터 수집 설정등 다양한 원인으로 데이터의 정합성은 위협받게 됩니다. 정합성 검증과 보완 후에 지속적인 운영관리를 위해서는 일종의 데이터거버넌스 정책에 따른 관리가 요구됩니다.

Growth Platform™ 데이터 엔지니어링 팀은 데이터 흐름 관점에서는 데이터 활용계획 수립/인터뷰 부터 최종 데이터의 시각화까지, 데이터의 주제에 대해서는 고객 행동 데이터와 광고 매체/캠페인 데이터, 상품/콘텐츠 데이터, 결제/상담 데이터까지 포괄적으로 그 연결을 확인하며 정합성을 검증 할 수 있는 기술 및 운영/관리 경험을 보유하고 있습니다.

구체적 요건
  • 데이터 수집단과 적재된 결과물의 정합성/오류등 검증
수행 내용
  • (1) 데이터 수집 설계안(지표/차원등 항목과 요건 정의)에 따른 태깅/SDK등 적정성 검수
  • (2) 데이터 수집 설정에 따른 적정 데이터 적재항목별 대조/검증
실제 사례
  • S社의 복수 행동수집 트래커간 데이터 검증
  • D종합에이전시社의 캠페인간 데이터 검증
  • 그외 다수 (100건 이상)
단계/주제별 목적에 따른 데이터/항목등 설계 -
데이터수집 -
적재
  • Logfile
  • BigQuery
  • 수집 항목과 적재된 데이터간의 목적성에 따른 데이터 정합성 검증
가공 -
분석 -
리포팅/시각화
  • 요구되는 분석 시스템/서비스 요건에 따라 검증요건 추가 조정 (선택항목)
잠재고객 -
캠페인 -

더 많은 데이터엔지니어링 수행의 사례 요약

온라인 마케팅에 특화된 CDP 환경에서의 데이터 엔지니어링은 기타 데이터 엔지니어링 이슈와 다르게, 온라인 고객/잠재고객의 행동 데이터 부터 광고/캠페인 데이터, 상품/콘텐츠 데이터를 해당 웹/앱 및 CRM등 환경에 대한 이해와 온라인 마케팅 캠페인의 특성에 대한 이해를 바탕으로 접근해야합니다.

대표적으로 수행해온 주요 사례들을 요약하여 표 형태로 정리하였으며, 주요 목적/수행내용과 단계별 활용한 툴/모델등을 함께 정리하였습니다.

목적별 데이터 엔지니어링 상품 및 연관 솔루션

상담 및 데모를 통해 기존 데이터 및 기술 환경을 활용하여 어떻게 유연한 맞춤형 CDP & Growth Marketing 환경으로 전환 할 수 있는지 확인하세요.