Unity 애널리틱스 A/B 테스팅

*참고: Unity 리모트 설정은 현재 프리뷰 패키지로 제공됩니다. 리모트 설정은 새로운 바이너리 없이도 게임의 동작과 형상을 변경하도록 해주는 개선된 제품입니다. 기능을 원격으로 활성화하거나 비활성화하고, 특정 플레이어들을 위해 게임의 특정 요소를 변경하거나, 새 콘텐츠 릴리스를 예약하여 특별 이벤트를 진행할 수 있습니다.

A/B 테스트는 여러 플레이어 그룹을 게임의 일부 변수 요소에 노출시키는 통제된 실험입니다. 테스트할 수 있는 게임 요소는 입력 컨트롤 체계 등과 같은 근본적인 부문에서 다양한 컬러 처리 등과 같은 심미적인 부문까지 매우 다양합니다. A/B 테스트를 사용하면 실험 동안 수집한 주요 지표를 비교하여 가장 높은 성과를 내는 배리에이션을 분석할 수 있습니다.

A/B 테스팅의 동작 방식은?

Unity 애널리틱스 A/B 테스팅은 실험에서 정의하는 배리언트에 따라 플레이어를 그룹화합니다. 각 그룹은 해당 배리언트 그룹에 지정한 게임 처리 방식을 보게 됩니다. 처리 방식은 하나 이상의 원격 설정 세트이며, 여기에 각 배리언트 그룹에 대한 고유한 값을 할당합니다. 런타임 시 A/B 테스팅 서비스는 배리언트 할당 백분율에 따라 플레이어를 하나의 그룹에 무작위로 할당합니다. 플레이어는 할당된 그룹에 대한 원격 설정 값을 받습니다. 그러면 애플리케이션은 이 원격 설정을 사용하게 되므로 플레이어는 테스트하려는 게임 요소를 경험하게 됩니다.

A/B 테스트의 주요 요소는 다음과 같습니다.

• Experiment — 다양한 플레이어 그룹에 여러 처리 방식을 보여주는 테스트 실행입니다.

• Variant — 그룹 수와 해당 그룹에 플레이어를 배포하는 방법을 정의합니다. 하나의 배리언트는 항상 대조군입니다.

• Treatment — 실험에 사용할 원격 설정과 각 배리언트에 대한 특정 설정값을 정의합니다.

• Goal — 실험을 통해 향상하고자 하는 애널리틱스 지표입니다. 실험은 여러 배리언트 그룹 간의 목표 지표를 비교하므로 어느 처리 방식이 가장 성과가 좋은지 확인할 수 있습니다.

여러 개의 실험을 동시에 진행할 수도 있지만, 서로 다른 실험들이 서로 영향을 주지 않도록 주의해야 합니다. 한 플레이어가 두 실험 모두의 처리 방식을 볼 수 있기 때문입니다. 예를 들어, 한 실험에서 온보딩 튜토리얼의 단계 지정 방식을 비교하는 테스트를 실행하고, 또 다른 실험에서는 튜토리얼 속도를 실험하는 경우 어느 실험 때문에 결과에 변화가 생겼는지 파악하기 어렵습니다. 이 예는 아주 단순하지만, 관련 없는 게임 요소에 대한 테스트도 서로 영향을 줄 수 있습니다. 테스트하는 게임의 요소가 근본적인 성격이 강할수록 실험 그룹의 크기도 커지고 실험이 서로 영향을 줄 가능성이 커집니다.

Unity 애널리틱스 대시보드에서 A/B 테스트를 생성하여 진행하십시오. 또한 원격 설정 API를 사용하여 애플리케이션에 실험 처리 방식을 구현해야 합니다.

실험 만들기

실험을 만들려면 다음 단계를 따르십시오.

1. 프로젝트의 애널리틱스 대시보드로 이동합니다.

2. A/B Testing 을 클릭하고 A/B 테스팅 페이지를 엽니다.

3. Create Experiment 버튼을 클릭합니다.

   Create Experiment 다이얼로그가 나타납니다.

   

4. 실험의 이름을 입력합니다.

5. Create 를 클릭합니다.

실험을 만든 후에는 목표, 배리언트 및 처리 방식을 정의해야 합니다.

실험 목표 선택

실험 목표는 실험 처리 방식이 영향을 줄 애널리틱스 지표를 정의합니다. 다음 중에서 선택할 수 있습니다.

• Day 1 Retention — 게임을 처음으로 플레이한 후 정확히 1일 후에 게임으로 돌아오는 사용자의 비율입니다.

• Day 7 Retention — 게임을 처음으로 플레이한 후 정확히 7일 후에 게임으로 돌아오는 사용자의 비율입니다.

실험에 대해 생성되는 보고서에는 여러 실험 배리언트 간의 지표 차이가 나와 있습니다. 또한 선택한 목표는 통계적으로 유의미한 데이터를 수집하기 위해 실험을 진행해야 하는 시간에도 영향을 줍니다. 예를 들어, 1일 리텐션보다는 7일 리텐션을 측정하는 실험이 더 오래 걸립니다.

실험 목표를 선택하려면 다음 단계를 따르십시오.

1. Select Experiment Goal 버튼을 클릭합니다.

   

2. 드롭다운 리스트에서 목표를 선택합니다.

   

3. Save 를 클릭합니다.

실험 배리언트 설정

실험의 Variants 섹션에서 A/B 테스트에 대한 플레이어 그룹을 정의하고 테스팅 서비스를 통해 각 그룹에 할당할 플레이어의 백분율을 지정할 수 있습니다.

Control 그룹은 항상 존재합니다. 대조군은 게임의 현재 또는 기본 경험을 수신해야 합니다. 이 그룹은 다른 그룹의 결과를 비교하는 데 사용할 기준을 제공합니다.

배리언트를 추가하려면 섹션 상단의 ADD 버튼을 클릭하고, 그룹의 이름과 할당 백분율을 지정하십시오. 모든 그룹의 할당 백분율의 합은 항상 100%여야 합니다. Estimate 열에는 하루에 각 배리언트에 할당할 플레이어 수가 표시됩니다.

배리언트를 삭제하려면 이름 옆의 휴지통 아이콘을 클릭하십시오.

실험의 예상 완료 시간은 통계적으로 유의미한 샘플 수를 확보하는 데 걸리는 시간에 따라 다릅니다. 애플리케이션의 플레이어(DAU) 수가 많을수록 실험 배리언트에 할당되는 플레이어 수가 더 많아지고 예상 시간은 더 짧아집니다.

원하는 대로 배리언트를 설정했으면 Save 를 클릭하십시오.

실험 처리 방식 설정

Treatments 섹션에서 실험에 사용할 설정을 정의하고 각 그룹에 개별 설정값을 할당하십시오.

ADD 버튼을 클릭하여 실험에 설정을 추가하십시오.

릴리스 설정에서 기존 원격 설정을 사용할 수 있습니다. 단, 해당 설정을 진행 중인 다른 실험에서 사용하지 않아야 합니다. 원격 설정 페이지에는 대조군에 사용되는 기본값만 표시됩니다. 배리언트 설정은 A/B 테스팅 페이지에서만 확인하거나 변경할 수 있습니다.

원격 설정 페이지로 이동하지 않고도 새로운 설정을 만들 수 있습니다. A/B 테스팅에서 생성되는 설정은 원격 설정 페이지에 표시되지 않습니다. 실험이 끝난 후에도 설정을 계속 사용하고 싶은 경우 동일한 이름으로 원격 설정을 만드십시오.

처리 방식을 정의했으면 Save 를 클릭하십시오.

처리 방식 구현

원격 설정 API를 사용하여 런타임 시 실험에 정의된 값에 액세스할 수 있습니다. Treatments 섹션에 표시된 설정 이름을 키로 사용하여 게임의 설정에 액세스하십시오. 코드로 원격 설정을 구현하거나, Remote Settings 컴포넌트를 사용하여 Unity Inspector 창에서 설정값에 액세스하거나 설정값을 적용할 수 있습니다.

실험 관리

최소 하나의 실험을 만들면 A/B 테스팅 페이지에 실험이 리스트로 표시됩니다.

실험을 시작하려면 다음 단계를 따르십시오.

1. Not Started 상태의 실험 이름을 클릭합니다.

2. Start Experiment 버튼을 클릭합니다.

__참고: __ 실험이 시작되면 설정을 변경할 수 없습니다. 설정을 변경하면 테스트 결과가 무효화될 수 있습니다.

실험을 중지하려면 다음 단계를 따르십시오.

1. Running 상태의 실험 이름을 클릭합니다.

2. Stop Experiment 버튼을 클릭합니다.

참고: 실험은 다시 시작할 수 없습니다.

보고서를 보려면 다음 단계를 따르십시오.

1. Ended 상태의 실험 이름을 클릭합니다.

2. Reporting 섹션에 실험 결과가 표시됩니다.

보고서

실험이 끝나면 Reports 섹션에서 실험 결과를 검토할 수 있습니다.

보고서에는 배리언트 그룹, 실험 목표에 대해 기록된 지표, 각 배리언트와 대조군의 차이 등이 나와 있습니다. (중요도 등급은 표준 통계 중요도 수준인 5%를 사용합니다.)

• 2018–08–01 페이지 게시됨
  • 2018–08–01 - 이 날짜를 기준으로 서비스가 Unity 5.5 이상 버전과 호환되지만, 버전 호환성은 변경될 수 있습니다.
  • Unity 2018.1의 새로운 기능