Evaluación de desempeño

Proyecto Terminal IIIMDI Nora Morales Zaragoza

UAM Cuajimalpa2015

El (CRI)Communication Research Institute. David Sless lleva 20 años desarrollando estudios de desempeño en documentos, con el propósito de medir la calidad de comunicación con el público de instituciones gubernamentales y el sector público en Australia y otras partes del mundo.

www.communication.org.au/htlm/papers_t0_read.php-

- Sistemas de voz- Formas de trámites - Documentos legales- Recibos de pago- Etiquetado de medicamentos- Instructivos- Sitios web- Estados de cuenta- Información nutricional (empaques)

Tipos de documentos o piezas de comunicación

Servicio financiero, Gobierno, Industria Alimenticia, bienes de consumo.

Recibo de Luz y Fuerza del Centro México 2010

“How to measure anything”

Recibo de Luz y Fuerza del Centro México 2010

Estudian y evalúan el desempeño de “artefactos” de comunicación en la vida cotidiana, utilizados por el gobierno y las empresas para proporcionar información a las personas, como parte de un servicio.

Con el propósito de ayudar a las organizaciones a mejorar la comunicación con su público.

¿Que hacen?

Evaluación de desempeño / características

La mayoría se realizan en el contexto

Esta prueba generalmente ocurre en cierta etapa del proceso de comunicación donde lo que se pretende es detectar las fallas e identificarlas en el proceso de diagnóstico antes de la nueva propuesta de comunicación o diseño

Pieza actual diagnóstico re-diseño

Investigación Análisis de los factores del problema: usuarios producto contexto competencia evaluación comparativa (análisis funcional) etc.

Identificación de enfoque?

Generación de alternativas

Síntesis

Evaluación de alternativas

Evaluación procesos y resultados

Documentación, especi-ficación producción

Identificación de la necesidad/demanda

Identif. requerimientos y perímetros

Conceptualizacióny visualización

Proceso de diseño

Evaluación de desempeño / características

Cada sesión cuantifica el número de fallas en el diseño y mide que tan alejadas están dentro de los niveles de eficiencia* acordados.

Al mismo tiempo estos estudios arrojan información cualitativa, es decir la causa de la falla del diseño

* Requisitos de desempeño (Performance requirements)

Evaluación de desempeño / características

Esta prueba provee datos que permiten al diseñador encontrar las fallas del documento y corregir o rectificar rápidamente antes del re-diseño.

Prueba de diagnóstico

Estas pruebas se pueden comparar a las de un diagnóstico clínico.

http://www.flickr.com/photos/komal_soin/3593021593/sizes/l/

Doctor

herramientas de diagnostico

contexto clínico

tratamiento apropiado

síntomasde unapatología

paciente

Como se realiza una Prueba de diagnóstico*

La técnica se realiza en sesiones que constan de un investigador y un participante en una conversación alrededor de una documento en particular.

1.-El investigador explica al participante que la prueba tiene como propósito encontrar las fallas en el documento y no a él.

Como se realiza una Prueba de diagnóstico

2.- después le pide que realice un número determinado de tareas “grabando” o documentando todo lo que él dice y hace.

Se le pide al participante que verbalice lo que esta haciendo y destaque los problemas con los que se encuentra para terminar la tarea

Como se realiza una Prueba de diagnóstico

3.- Mientras se realiza la prueba el investigador tiene que registrar 3 tipos de observaciones cuantitativas para cada tarea:

a) Puede encontrar la informaciónsi no

b) Tiene dificultad de encontrarsi no

c) Usa la información adecuadamente (denota entendimiento)

si no

Como se realiza una Prueba de diagnóstico

4.- Ademas del registro anterior el investigador describe detalladamente el tipo de dificultad que experimentó el participante y sus comentarios durante la sesión de diagnóstico

¿cuantos usuarios es lo común?6 a 8 participantes encuentran las mismas fallas en el documento

Requisitos de desempeño y protocolo.

Los requisitos de desempeño se definen con las primeras pruebas de lo que ya existe.

Se enfoca a los síntomas o patología de la pieza de comunicación al ocasionarusos inapropiados o fracasos parte del participante

El error es pensar que podemos medir “todo”antes de cualquier prueba hay que tener muy claro lo que queremos medir.

Es por eso que es importante definir los “Requisitos de desempeño”, de otra manera quedaríamos en la incertidumbre.

Atención

* “How to measure anything” Finding the value of intangibles in bussines. Douglas W. Hubbard

Requisitos de desempeño

Es MUY IMPORTANTE acordar los requisitos mínimos de los que pretendemos lograr con la pieza partiendo del tipo de documento que se diseña.

Principalmente 2 puntos

• Lista de tareas que creemos que la gente debe ser capaz de efectuar con la pieza de comunicación o documento

• Definir un nivel de eficiencia aceptable al que esperamos alcanzar.

Eficaz: Que logra hacer efectiva un intento o propósito (completa la tarea o acción).

Eficiente: Que consigue un propósito empleando los medios idóneos (completa la tarea o acción, de la forma mas fácil, rápida, amigable, o satisfactoria).

Eficacia y eficiencia

Diccionario de la Lengua Española España-Calpe ® 2005

Requisitos de desempeño

Decidir o acordar el “paquete” de requisitos envuelve una extensiva consulta con los “stakeholders” involucrados en el proyecto. (grupos de interés).

¿Qué es importante para la empresa, o institución”¿Qué es importante para el usuario?¿Que es importante para los expertos? o patrocinadores

Si el tiempo y la presión del proyecto no lo permite, debemos confiar en nuestra experiencia previa en documentos similares.

Análisis funcional

Una manera de disectar el documento para considerar lo importante de cada grupo de interes.

Requisitos de desempeño

Identificar “a priori”

•Tipo de documento de interacción

•Quién es el proveedor de la información

•A quién le habla, “se dirige a mi”

Tareas básicas

•Encontrar un dato y explicar

•Encontrar y explicar un concepto

•Encontrar y explicar aspectos de la pieza de com.

Tareas interactivas

•Encontrar y explicar ciertas acciones

•Encontrar y explicar como...

•Identificar conceptos específicos de la pieza de com.

Ejemplo de Requisitos de desempeño

Ejemplos de Requisitos de desempeño

Protocolo

Los RD sirven de guía para elaborar el protocolo de la sesión de diagnóstico

Es recomendable hacer una “Prueba piloto” antes de la prueba inicial.

Protocolo prueba de diagnóstico CEAD © 2005

Ejemplo de protocolo

Ejemplo de protocolo

Protocolo prueba de diagnóstico CEAD © 2005

Resultados

El nivel de eficiencia definido que ha funcionado en otros contextos de documentos de diseño de información de basa en:

La información del documento debe permitir al participante “alfabeta”:• Encontrar los datos que se le piden por lo

menos un 90% de las veces.• Usar apropiadamente la información que

encontró el 90%.

Concluyendo con un objetivo del 81%

Ejemplo de reporte de resultados

Estudio de estados de cuenta de tarjetas CRI 2008

Ejemplo de reporte de resultados

Instrucciones: una página de un folleto de instruccionespara un medicamento utilizado para tratar el hiv(cria, 1995).

Piezas de comunicación que usaron la técnica

Bibliografía

“Writing about medicines for people. Communication research instutute of Australia. Communication Research Institute Australia. (CRIA).

Sless, David and Wiseman Rob; “Professional Guidelines Guidelines for Evaluating Community CrimePrevention Projects.” ( CRIA), Commonwealth Australia. 2003Tolleson, Steve; “Soak, Spin, Wash, Rinse.” Princeton Architectu

“How to measure anything” Finding the value of intangibles in business. Douglas W. Hubbard

Sitios web.Credit Card Statements: Communication Benchmarkshttp://communication.org.au/publications/communication-be