[음식배달앱 주문율 개선-EP2] 가설 설정 및 문제 정의(feat.올바른 가설 설정하는 방법)

목차
1. 개요
2. 올바른 가설 세우기(feat.시행착오)
3. 새로운 가설을 설정하고 검증해보자
4. 가설을 채택하고 문제를 정의하기
5. 마무리

1. 개요

EDA 레포트에서는 데이터를 탐색하며 배달앱 주문율과 관련된 다양한 패턴을 파악했다. 이제 본격적으로 주문율 개선을 위한 문제 정의를 시작할 차례다. 잘못된 가설은 데이터 분석 방향을 어긋나게 만들고, 효과적인 해결책을 찾지 못할 수 있기 때문에 문제를 해결하기 위해서는 올바른 가설 설정이 필수적이다.

이번 프로젝트는 'PM을 위한 리터러시 강의'와 '빅쿼리 활용편'에서 제공하는 데이터를 기반으로, 인하우스 데이터 분석가의 시각에서 배달앱 주문율 개선을 고민하는 과정을 담았다.

보다 명확한 진행을 위해 강의를 듣고 나름 재해석한 프로젝트 프로세스를 아래 이미지와 같이 정리했다. 이번 글에서는 2단계 '가설 설정'과 3단계 '가설 검증 및 문제 정의' 에 대해 다룰 예정이다. 

이번 프로젝트의 프로세스

---

2. 올바른 가설 세우기(feat.시행착오)

EDA를 진행하며 사용자 행동에 대한 몇 가지 특징을 추측했다. 특히, 주문 횟수에 따라 사용자를 세그먼트로 나누어 살펴보니, "재방문율이 높은 사용자는 주문율도 높을 것이다"라는 직관적인 가설이 떠올랐다.

그러나 막상 이 가설을 검증하는 과정에서 예상과 다른 결과를 마주하게 되었고, 이를 통해 '올바른 가설 설정'에 필요한 조건과 데이터 정의의 중요성을 다시금 깨닫게 되었다.

1️⃣첫번째 가설 : 재방문율이 높은 사용자는 주문율이 높다

* 가설 설정 배경
- EDA 과정에서 주문 횟수 기준으로 사용자 세그먼트 분류
- 충성도 높은 사용자는 당연히 주문율이 높을 것이라는 직관적인 기대

* 목표
- 재방문율과 주문율 간의 상관관계 분석
- 재방문율이 높은 사용자 집단 vs 낮은 사용자 집단 간의 주문율 비교
- 재방문율 변화에 따른 주문율 변화를 시간 흐름에 따라 분석

* 분석 과정 및 특이사항 
- 동일한 날짜에 방문해서 주문을 2번 이상 진행한 사용자들이 있음(3명)
- 세그먼트 별 특징
일회성 사용자: 재방문 거의 없음 → 주문율 0
초기 사용자: 재방문 여부와 주문율 분포 다양 → 관계 가능성 보임
불규칙 사용자: 주문율 다양, 재방문율 분산 작음 → 관계 약할 듯
충성 고객: 재방문 고정(0 or 1), 주문율은 다양 → 상관관계 계산 불가

* 결과 및 인사이트
- 전체 상관계수: 0.0048 → 거의 0에 수렴 → 상관관계 없음
- 기대와 달리, 재방문율과 주문율 간의 명확한 관계가 존재하지 않음이 드러남

 

👩🏻‍💻이 과정에서 배운점

 

* 가설 설정 전, 지표 정의부터 명확하게!
- 재방문율 : 주별, 월별, 최근 30일등 기간을 명확히 해야함
→ 정의되지 않은 지표는 무의미한 분석으로 이어짐

* 선형적 관계만 생각하지 말 것!
- 비선형 패턴, 군집 특성(Heavy User vs Light User) 고려 필요

 

 분석에 있어 중요한 것은 단순한 숫자가 아니라, 그 숫자가 의미하는 행동과 맥락을 이해하는 것임을 다시 한번 깨달았다. 올바른 가설을 세우기 위해서는 지표의 명확한 정의, 사용자 행동에 대한 이해, 그리고 선형적 관계에 대한 편견을 버리는 것이 필요하다. 다음 단계에서는 이러한 러닝 포인트를 반영해  좀 더 정교한 가설을 설정해보고 검증하는 과정을 거쳤다.

---

3. 새로운 가설을 설정하고 검증해보자

EDA와 초기 분석을 통해 도출된 인사이트를 기반으로, 총 3가지 가설을 설정해 검증했고 그 중 두 번째 가설을 채택했다. 이후 프로젝트는 채택된 가설을 중심으로 문제 정의 및 해결 방향을 설정해 진행할 계획이다.

2️⃣두번째 가설(채택) : 앱 방문 빈도가 높은 사용자일 수록 주문율이 높을 것이다(방문 빈도)
3️⃣세번째 가설 : 최근에 방문한 사용자가 주문을 할 가능성이 높다(방문-주문 시간 간격)
4️⃣네번째 가설 : 규칙적으로 앱을 방문하는 사용자가 주문율이 더 높다(방문 패턴)

✔️채택 가설 : 앱 방문 빈도가 높은 사용자일 수록 주문율이 높을 것이다(방문 빈도 가설)

* 가설 설정 배경
- 첫 번째 가설(재방문율과 주문율 관계)가 유의미하지 않았던 점을 보완
- 보다 구체적으로 방문 빈도(Unique Visit Days)와 주문율(Order Rate) 간 관계에 집중

* 목표
- 방문 빈도와 주문율 간의 관계를 정량적으로 파악
- 방문 빈도에 따른 사용자 세그먼트별 차이 분석

* 분석 과정 및 특이사항 
① 상관관계 분석
- 방문 빈도와 주문율의 상관계수: 0.0041 (거의 0에 수렴), p-value: 0.3580 (통계적으로 유의미하지 않음)
➡️ 즉, 방문 빈도가 높다고 해서 주문율이 선형적으로 증가하지는 않음

② 비선형적 관계 관찰
- 산점도 분석 결과 ,방문 빈도가 너무 낮거나 너무 높은 경우 주문율이 낮아지는 경향 발견
- 최적 방문 빈도 구간 존재 가능성 시사(예: 4~7일, 8~10일 방문자의 주문율이 상대적으로 높음)

③ 사용자 세그먼트별 방문 빈도 & 주문율 분석

사용자 세그먼트	방문 빈도 (unique_visit_days)	주문율 (order_rate)	특징
충성 고객(4회 이상 주문)	높음	높음	핵심 수익 그룹 – 자주 방문 + 반복 주문
불규칙 사용자 (2~3회 주문)	중간	중간	초기 사용자 → 충성 고객 전환 유도 필요
초기 사용자(1회 주문)	낮음	낮음	첫 방문 후 이탈 가능성 높음
일회성 사용자(0회 주문)	매우 낮음	0	첫 방문 후 이탈 – 리텐션 전략 필요

④ 방문 빈도 구간별 주문율

방문 빈도 구간	평균 주문율	특징
0~3일 방문	0.1249	방문 빈도 낮음, 주문율도 낮음 → 이탈 가능성 큼
4-7일 방문	0.1285	방문 빈도 증가, 주문율도 소폭 상승 → 타겟팅 필요
8-10일 방문	0.1371	방문 빈도 가장 높음, 주문율도 가장 높음 → 핵심 사용자층

➡️방문 빈도 증가에 따른 주문율 상승 경향은 있으나, 증가폭은 제한적

* 결과 및 인사이트
- 방문 빈도가 높을수록 주문율이 증가하는 경향은 있으나, 강한 선형적 관계는 아님
- 방문 빈도가 너무 낮거나 너무 높으면 주문율이 낮아지는 비선형적 관계 가능성 시사
- 최적 방문 빈도 구간이 존재할 수 있으며, 이 구간 사용자를 집중적으로 타겟팅하면 주문율 상승 가능성 있음
- 방문 빈도가 높아도 주문율 전환이 보장되지 않음 → 빈도 높은 사용자를 대상으로 주문 유도 전략(예: 쿠폰, 혜택 제공) 필요

산점도(Unique Visit Days vs Order Rate) – 비선형적 관계 가능성 시사

 

방문 빈도 구간별 주문율 – 방문 빈도 증가에 따른 주문율 상승폭은 제한적

✅ 최종 정리

• 방문 빈도가 높을수록 주문율이 증가하는 경향은 있으나, 영향력은 제한적
• 최적 방문 빈도 구간(4~7일 or 8~10일)을 설정해 집중 타겟팅 필요
• 방문 빈도만 늘리는 것보다, 방문 후 ‘주문 전환’을 유도하는 전략 병행 필요

---

4. 가설을 채택하고 문제를 정의하기

가설 설정에서 어려움이 있었고, 그 과정을 거쳐 가설을 정교화한 후 다시 검증하는 단계를 거쳐 최종 가설을 채택하고 문제를 정의하는 과정을 진행했다. 그 과정을 정리하면 다음과 같다.

1️⃣ 가설 검증 과정에서의 어려움

 초기에 설정했던 가설들은 분석 과정에서 몇 가지 어려움에 부딪혔다. 특히 ‘재방문율이 높은 사용자는 주문율이 높을 것이다’라는 첫 번째 가설을 검증하는 과정에서, 두 변수 사이에 뚜렷한 상관관계가 없다는 결과가 나왔다. 이 과정에서 다음과 같은 한계점을 마주했다.

• 사용자 행동은 단순하지 않다
• ‘재방문율’과 같은 지표 정의의 모호함
• 선형적 관계(방문 많이 하면 주문 많이 한다)를 너무 당연하게 전제로 함

이 경험은 가설 설정 단계에서부터 사용자 행동을 고려하고 명확한 지표 정의의 필요성을 배울 수 있었다.

---

2️⃣ 가설 정교화 및 채택 근거

시행착오를 바탕으로, 기존 가설을 다듬어 ‘방문 빈도가 높은 사용자일수록 주문율이 높을 것이다’라는 두 번째 가설을 설정했다. 이 가설은 다음과 같은 점에서 채택할 만한 근거를 갖추었다고 판단했다.

• 방문 빈도가 너무 낮은 사용자 세그먼트에서 주문율이 현저히 낮다는 점이 명확히 드러남
• 방문 빈도가 높을수록 주문율이 소폭 상승하는 경향 존재
• 특히 방문 빈도가 일정 수준(4~7일, 8~10일) 이상인 사용자군에서 주문율이 상대적으로 높음

가설 검증 과정에서 모든 상관관계가 명확하게 드러나지는 않았다.(방문 빈도가 높다고 해서 반드시 주문율이 높아지지않음)
하지만, 방문 빈도가 너무 낮은 사용자 세그먼트에서 주문율이 현저히 낮다는 점은 분명했다.

또한 방문과 주문이 단순히 비례할 것이라고 기대했지만, 데이터는 방문 빈도가 일정 수준 이상일 때 주문율이 조금씩 상승하는 구간이 있다는 점도 보여주었다.(방문 빈도가 낮은 세그먼트(0~3일)에서는 주문율이 뚜렷하게 낮음)

이 점에 주목해, 방문 빈도가 너무 낮은 사용자가 주문율 하락에 핵심적인 영향을 미치고 있다고 판단했다. 즉, 방문이 아예 부족해 첫 주문까지 도달하지 못하는 사용자군이 문제의 중심에 있다는 결론에 이르렀다.

---

3️⃣ 최종 문제 정의

가설 검증 결과를 바탕으로, 다음과 같이 문제를 정의할 수 있었다.

👉문제점
- 주문율이 낮은 세그먼트는 방문이 부족해 앱 사용 경험이 축적되지 못하거나, 방문 이후에도 주문으로 자연스럽게 이어지지 않아 이탈하고 있다.

이 문제 정의는 다음과 같은 핵심 논리를 기반으로 도출되었다.

사용자 세그먼트	방문 빈도	주문율	주요 문제
방문 빈도 上	낮음	낮음	첫 방문 후 이탈 → 주문 경험 부족
방문 빈도 中	중간	상대적으로 높음	방문 유지되면 주문 전환 가능성 ↑
방문 빈도 下	높음	가장 높음	방문 유지되더라도 주문 전환은 별개

➡️ 방문 자체가 부족한 사용자군에 대해서는 방문 유도와 리텐션 강화가 필요
➡️ 방문은 하지 주문으로 이어지지 않는 사용자군에 대해서는 자연스럽게 주문으로 이어질 수 있도록 단계적으로 유도하는 전략 (프로모션, 혜택 등 )이 필요

결국 방문 활성화 → 재방문 유도 → 주문 전환까지 이어지게 만드는 사용자 흐름 설계가 필요하다고 판단했다.

---

5. 마무리

진행 상황 Summary
👉🏻프로젝트 목적 : 주문율 개선
📍평가 지표 : 주문율
📍채택 가설 : 앱 방문 빈도가 높은 사용자일 수록 주문율이 높을 것이다
📍문제점 : 주문율이 낮은 세그먼트는 방문이 부족해 앱 사용 경험이 축적되지 못하거나, 방문 이후에도 주문으로 자연스럽게 이어지지 않아 이탈하고 있다

👍🏻Good

- 모호한 초기 가설을 데이터 기반으로 정교하게 디벨
- 선형 관계가 아니라, 비선형적인 사용자 행동 패턴을 고민하게 된 점

👎🏻Bad

- 초기 가설 설정 시 직관에 의존해 모호하게 접근
- 표(방문)의 정의가 명확하지 않았음
- 사용자 행동 흐름(방문 → 주문 전환)에 대한 집요한 분석이 부족했던 점

---

EDA 과정에서 여러 가설을 자유롭게 설정하는 것과 정교하고 명확한 가설을 도출하는 것은 완전히 다른 단계임을 깨달았다. 막연한 직관에 의한 가설은 데이터 분석의 방향성을 흐릴 수 있다!!!

결국 데이터 분포와 사용자 행동 패턴을 집요하게 파악하고,지표 정의를 명확히 하는 것이 '좋은 가설'로 가는 출발점임을 경험했다.

다음 글에서는 주문율이 저조했던 세그먼트를 어떻게 구분할 것인지, 이들의 방문은 어떤 지표로 측정할 것이고 이들의 전환 성과는 어떻게 측정할 것인지 등 지표와 관련된 글로 작성해보려고 한다.