¿Por qué falla el análisis de sentimiento?
Un renovado "me gusta" en Facebook
07/03/2011
La evolución es social no tecnológica
22/03/2011

¿Por qué falla el análisis de sentimiento?

Os propongo un sencillo experimento. Voy a coger las últimas menciones a @Vodafone_es en Twitter y voy a clasificarlas en positivas, negativas o neutras según el contenido de los propios tweets como podría hacer una herramienta tipo. Podéis pinchar en la imagen de la derecha para ampliarla y ver mejor el resultado.

¿Qué problemas tiene este análisis de sentimiento?

  1. Lo más probable es que cada lector tenga una clasificación diferente para esta lista de 11 tweets ¿Imaginaos lo que pasa cuando analizamos miles de menciones?
  2. La gran mayoría de tweets son neutros porque o bien son preguntas o bien necesitaríamos tener más información sobre la conversación.
  3. Sólo encontraríamos un comentario que puede ser considerado positivo:
Yo espero que @vodafone_es me resuelvan mi servicio Blackberry tan rapido como me contesto el comunity manager! 🙂 Hay esperanzas!

Desde hace menos de un año algunas empresas de telecomunicaciones están ofreciendo servicio técnico a sus clientes a través de las redes sociales. En esta lista de menciones encontramos muchas que son el resultado lógico de este servicio a los clientes, sin embargo, aparecen como menciones negativas en un análisis semántico de sentimiento ¿Cómo es posible que muchas veces nuestras publicaciones o las dinámicas propias de la atención al cliente sean consideradas como negativas en el análisis semántico?

Muchos son los expertos que han advertido de los problemas del análisis de sentimiento y principalmente del análisis semántico realizados mediante software. Avinash Kaushik, quizás el autor más relevante del mundo en analítica web, ya nos advierte en Social Media Analytics: Twitter: Quantitative & Qualitative Metrics que es preferible no utilizar herramientas de análisis lingüístico porque los resultados no son fiables. Tambien Darrell Jursa explica que este tipo de análisis deben realizarlo personas y el riesgo que conlleva dar como buenos datos erróneos.

El análisis de sentimiento nace con el objetivo de medir la reputación en los medios sociales pero ya son muchos los directivos que se han dado cuenta de que este análisis es insuficiente y muchas veces contraproducente. En Concepto05 no hemos parado hasta desarrollar una metodología innovadora que permita analizar la reputación sin cometer estos errores. El análisis de sentimiento falla porque se basa en unas ideas previas que no son válidas para hacer una investigación o un análisis.

Nuestra solución: El análisis por objetivos.

En el análisis de Concepto05 nos basamos en los objetivos de la propia estrategia de comunicación y vemos si los estamos logrando o no. Utilizamos herramientas para la monitorización, pero el análisis es realizado por analistas de carne y hueso, profesionales con la formación y experiencia necesaria para desempeñar esta labor.

De esta forma conseguimos:

  • Reducir el margen de error en la categorización a menos de un 5% (algunos software de análisis de sentimiento hablan del 40% de error)
  • Ofrecer datos que facilitan la toma decisiones para mejorar la comunicación.
  • Aumentar la calidad de los resultados diferenciando entre la reputación para los diferentes grupos de interés o públicos (clientes, vecinos, accionistas, etc.)
  • Desaparece la clasificación de «neutros».

Si en el análisis semántico de sentimiento vemos que, de estos 11 tweets, sólo 1 es positivo, 7 son neutros y 3 negativos, en un análisis de tipologías que tenga en cuenta la estrategia de comunicación estos números cambian. Si la estrategia indica que vamos a resolver incidencias a través de Twitter resulta que la gran mayoría de los 7 mensajes que para el análisis de sentimiento son neutros o negativos, para el análisis por tipologías son una muestra de que sí existe una comunicación con los clientes orientada a la resolución de problemas. Por lo tanto se está cumpliendo el escenario previsto para una estrategia de este tipo. El caso que veíamos como positivo en el análisis de sentimiento sí que encajaría dentro del objetivo de generar notoriedad positiva mediante la resolución de incidencias porque indica claramente el buen hacer del community manager de @vodafone_es

Conclusiones

Toda investigación debe estar basada en unos objetivos. De lo contrario se comporta como un girasol ciego y, por muchos números que nos ofrezca, no tendrá validez para tomar decisiones. Además el significado y la lógica que está detrás de las opiniones (el por qué) no podemos encontrarlas en los propios comentarios o en las palabras que utiliza, sino en el contexto y en la trayectoria de las personas que emiten esos comentarios.

Analizar la estrategia de la atención al cliente a través de Twitter necesita un análisis más exhaustivo pero, en principio, parece positivo que los usuarios hablen con las marcas aunque sólo sea para contarles los problemas porque muestra interés y refuerza la confianza. Es cierto que no todos los usuarios comentan la resolución positiva de las incidencias, pero sí parece evidente que, cuando se les resuelve el problema, quedan satisfechas, se les fideliza, se crea una cierta notoriedad positiva y cabe esperar que aumenten las recomendaciones a la marca en el futuro.

En cualquier caso para avivar un poco el debate cabe plantearse la siguiente pregunta: ¿Para qué realizamos el servicio técnico a través de Twitter?, ¿para generar notoriedad positiva o para mejorar el servicio a los clientes? En el primer caso, ¿vale la pena el esfuerzo? En el segundo, ¿es Twitter el mejor canal para dar servicio técnico? Analizar esto exigiría más datos pero, ¿tú qué crees?

[author-box-2]

7 Comments

  1. THE ROOM dice:

    ¡Interesantísimo!

    ¿Pensáis que los analistas cualitativos ‘de toda la vida’ podemos aportar algo a este campo?. Nosotros llevamos un tiempo pensando en esto y nuestras reflexiones coinciden totalmente con lo que exponéis en este artículo: que se pueden hacer análisis cualitativos más serios y profundos de esta información, analizando el discurso en base a los objetivos y la segmentación del estudio.

    Así que, vuestro «Análisis por Objetivos» nos parece muy interesante. Enhorabuena!

  2. Seguro!!
    Precisamente la mitad de nuestra experiencia también proviene del estudio de mercado de «toda la vida» y tenemos claro que el análisis de las redes sociales tiene un potencial que pocos son capaces de ver todavía. De ahí que publiquemos este tipo de artículos 😉
    Pero poco a poco las empresas se dan cuenta de que les hace más falta un Social Media Analyst que una herramienta.
    Muchas gracias por vuestros comentarios!

  3. Jordi dice:

    Hola Marcos, interesante tu post. Entiendo que sea procesado por un Social Media Analyst y no un software estamos hablando de la observación en línea. ¿Qué me dices acerca de hacer encuestas? Una manera prodría ser lanzar preguntas al timeline y seguir las menciones tipo respuestas hechas por los usuarios. Otra sería ofrecer un detalle a cambio de participar en la entrevista… como el acceso a un ebook en pdf, descuentos, obsequios,…

    Gracias
    @jordimkt

  4. Hola Jordi,

    Yo soy partidario de aprovechar al máximo las posibilidades de la investigación 2.0 y la netnografía. Si los usuarios todos los días publican su opinión lo primero es leerlas y analizar esta información, no? La ventaja es que no tenemos que pedir que nos contesten a las encuestas, se reducen los costes y, además, no intervenimos en el proceso y, por lo tanto, el investigador no afecta a los resultados.

    En lo que afecta a hacer encuestas, hay que tener en cuenta que es una técnica cuantitativa muy madura en las ciencias sociales y las investigaciones de mercado. Obviamente da muchos datos de valor, pero debemos tener mucho cuidado con cómo hacerlas para no cometer errores de metodología. Entiendo que quizás no todas las empresas pueden pagar a un profesional, pero realizarlas sin tener en cuenta aspectos básicos nos dará problemas. Es como, por ejemplo, comunicar en redes sociales sin un profesional. En este sentido utilizar Twitter para realizar encuestas me parece imposible. Excepto para aspectos muy puntuales y me temo que sin validez científica.

    Lo mismo pasa con las entrevistas, es una técnica cualitativa muy interesante pero hay que saber utilizarla para no caer en errores. Desde luego es una práctica habitual ofrecer cheques regalo y obsequios por participar en este tipo de dinámicas como tú sugieres.

    Muchas gracias por tu comentario y espero que te sea útil 😉

  5. Hola Marcos,

    Muy interesante tu post. Me gustaría aprovechar para preguntarte si existe algún diccionario de sentimientos en español. Ciertamente lo ignoro. Gracias.

  6. Buen post, Marcos.
    En mi opinión un aspecto muy interesante del análisis de sentimiento en medios sociales es que captura las opiniones en ese preciso instante en que el usuario está involucrado emocionalmente y por tanto aporta una mayor espontaneidad e inmediatez.
    Por otra parte, el tratamiento automático nos permite manejar con una precisión suficiente los problemas derivados de las 3 Vs de los medio sociales: Variedad, Volumen, Velocidad.
    Más info:
    http://blog.daedalus.es/2012/05/12/analisis-de-sentimiento-capturando-la-emocion/
    Saludos

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *