Recommended Cleaner
A/B Testing
tl;dr
Problema
Una primer A/B test mostró que recomendar ciertos limpiadores no ayudaba a generar confianza en los hosts. Sin razones claras detrás de la recomendación, muchos de los limpiadores eran irgnorados
Objetivo
Generar confianza en los hosts para aumentar la conversión y empoderar a los limpiadores, utilizando datos para resaltar sus skills de una manera que se sienta clara y creíble
Impacto
Como comenzó
El plan original
Todo arranco como una gran idea crear un programa de suscripción de limpiadores preferido dondepudieran obtener beneficios como insignias especiales, o primer lugar en el SEO de las búsquedas cuando los hosts los estában buscando.
Creíamos que esto recompensaría a los limpiadores con grandes trabajos, a los hosts más confianza al elegir las ofertas de los limpiadores y, aumentaría la conversión de los hosts y el compromiso de los limpiadores en la plataforma.
Enfrentando desafíos
Al mapear el programa, nos dimos cuenta de que sería bastante complejo y afectaría a muchas áreas al mismo tiempo:
Cambiando el enfoque
En una de nuestras primeras presentaciones, el CEO hizo enfasis en el scope y esfuerzo del projecto, y dijo:
Esto podría cambiar todo el proyecto. Estábamos cerca de estar meses construyendo un programa sin saber si nuestra interacción clave, un host eligiendo un limpiador con una insignia de Preferido, podría siquiera tener impacto.
En vez de hacer el programa completo, decidimos validar la suposición de que la insignia de Preferido aumentaría la conversión de los hosts.
1er A/B Test
Realizamos un A/B test aplicando la insignia de Preferido a solo 1 limpiador por búsqueda, y colocándo a este al principio de la lista.
Objetivos establecidos
Aumentar las chances de que un limpiador sea aceptado por el hosts al tener la insignia de Preferido
Aumentar la conversión del hosts cuando eligen limpiadores con la insignia de Preferido
Los resultados
Vimos que los limpiadores con la insignia estaban siendo elegidos con más frecuencia, pero la conversión cayó casi un 1% al observar los proyectos completados.
Control
7.32%
Ofertas aceptadas
21.84%
Conversion
Variant
8.67%
Ofertas aceptadas
20.88%
Conversion
La insignida de Preferido no estaba relacionada con el rendimiento real del limpiador para completar proyectos.
Aprendizajes
Dependimos mucho del algoritmo para destacar a los limpiadores, y al final perjudicamos la confianza de los hosts
El mejor limpiador no siempre podía ser el primero en ofertar, lo que significaba que otro limpiador con un rendimiento inferior podría ser destacado en su lugar
Necesitábamos poner el foco en los hosts valoran y les importa
Los hosts no estaban viendo el valor de la insignia, ya fuese real o percibido
Cambiando la estrategia
A pesar de que la conversión cayó, vimos que la insignia de Preferido ayudaba a los hosts a tomar decisiones y, a aceptar más ofertas de limpiadores.
Esto nos dio la idea de que si pudiéramos cambiar la forma en que "recomendamos" los limpiadores, podríamos mantener la confianza de los hosts. Solo necesitaríamos saber cómo mostrar el valor real de los limpiadores recomendados.
Reuniendo info para el v2
Colaboré con los equipos de Data, Research y Ventas para saber cómo los hosts tomaban decisiones al aceptar ofertas y definir cómo resaltar y recomendar a un limpiador.
Research
Research nos ayudó a recopilar información mediante una encuesta para conocer los factores clave de los hosts al aceptar las ofertas de los limpiadores.
Data
Con el equipo de Data, exploramos qué datos existentes podrían ayudarnos a mostrar el valor de los limpiadores, sin necesidad de crear nuevos eventos para trackear. Esto es lo que encontramos que podría ser útil:
Ahora el tema era cómo incorporar esta información en el diseño de una manera que fuese atractiva y que los hosts pudieran percibirla como valor real del limpiador.
Benchmark
Comparamos cómo otras apps estaban resaltando otros elementos específicos de la UI para generar confianza y ayudar a los usuarios a tomar decisiones:
Todas estas apps respaldan sus recomendaciones con data y contexto.
2do A/B Test
Reimaginando la “Recomendación”
Probamos un nuevo enfoque para visualizar el valor del limpiador introduciendo nuevas cards basadas en datos:
Lideré los diseños de cómo aparecerían estas cards en el producto. Esto incluyó:
Escribir copy que fueran rápidos de entender pero aún creíbles
Crear las cards visuales que se integraran en la interfaz de usuario sin parecer ads y/o promociones
Resultados e impacto
Un segundo A/B test tuvo un mejor desempeño en cada métrica clave:
Control
7.32%
Ofertas aceptadas
21.52%
Conversion
Variant
11.67%
Ofertas aceptadas
26.88%
Conversion
Los hosts confiaban en lo que podían entender. Se sentían empoderados y ahora se podían elegir a los limpiadores porque tendrían un valor real comprobado.
Reflexiones finales
Más que solo visuales
Mi rol como diseñador consistió en traducir datos en algo en lo que los usuarios pudieran confiar. Tambien trabajé con otros departamentos para asegurar que la información que mostramos se sintiera comprensible para los hosts y empoderadora para los limpiadores.
No tenerle miedo al cambio
Pusimos muchi esfuerzo para mapear el programa de limpiadores Preferidos, pero a veces otras personas traen una nueva perspectiva. Creo que cuanto antes encontremos los constrains del proyecto, mejores decisiones podremos tomar
Otros Proyectos
Feature Onboarding
Una nueva experiencia de onboarding para reducir el abandono temprano de usuarios, aumentando en casi un 9% las búsquedas de limpiadores creadas.
Quality Center
Un dashboard para ayudar a los hosts a mejorar su calificación de limpieza en Airbnb, generando 3x más integraciones mensuales.