2.1 Paridad humano-máquina y traducción automática neuronal

La traducción automática neuronal es el tipo de traducción que se basa en el uso de redes neuronales artificiales que representan de forma numérica las palabras y las frases a través de vectores, empleando así técnicas de aprendizaje profundo (Sánchez Ramos/Rico Pérez 2020:15). A pesar de existir desde hace unos nueve años, este tipo de traducción automática ha desplazado a los sistemas de TA basados en estadística y en ejemplos por la alta calidad de los resultados que ofrece, de tal suerte que, cada vez más voces del ámbito de la Informática, en particular provenientes de las Conferences on Machine Translation (WMT), consideran que el nivel de precisión se asemeja al de traductores humanos. El estudio concreto de Hassan et al. (2018:21) llega más lejos al defender en el WMT18 que, a la hora de traducir noticias de chino a inglés, el traductor automático de Microsoft alcanzó el nivel de calidad de traducción humana, es decir, logró paridad humano-máquina. Es más, como apunta Gilbert (2023:90ff.), las reivindicaciones de paridad humano-máquina en las WMT se defendieron durante tres años seguidos (WMT18, WMT19 y WMT20).

Ante estas afirmaciones, no son pocos los estudios, realizados sobre todo desde la perspectiva de los Estudios de Traducción, que ponen en tela de juicio esta paridad humano-máquina, como es el caso de Poibeau (2022:6019), que incluso cuestiona el propio término en sí. Toral et al. (2018:121) hallaron que esta paridad únicamente se alcanzó en evaluación automática, no en evaluación humana. Por su parte, Läubli et al. (2018:4794) concretaron que, al replicar el estudio de Hassan et al. (2018), los resultados variaban si se evaluaban los textos al completo en lugar de oraciones aisladas. En un estudio posterior, Läubli et al. (2020:668) detectaron que la calidad en la traducción dependía principalmente de los evaluadores, la disponibilidad del contexto y la creación de traducciones de referencia, con lo que esa supuesta paridad quedaba sin confirmar. Un aspecto clave que defienden Fischer y Läubli (2020:218ff.) y que apenas se ha investigado en la literatura reciente es la comparación de la paridad humano-máquina con traductores profesionales. Aún se ha de concretar cómo se pueden beneficiar los traductores de esta supuesta paridad y, para ello, se precisan estudios que se realicen desde el ámbito de los Estudios de Traducción, tal y como es el caso del proyecto en el que se enmarca nuestro estudio, NEUROTRAD.

2.2 Revisión y posedición

A pesar de que, tanto en el aula como en el mundo profesional de la traducción, poseditar traducción automática y revisar textos traducidos se han considerado tradicionalmente procesos distintos con modelos de competencias divergentes (cf. Mossop 2020; Robert et al. 2022), en la actualidad, dada la cada vez mayor calidad de la traducción automática neuronal, la línea que distingue la posedición y la revisión es cada vez más delgada. Do Carmo/Moorkens (2021:48) argumentan que la posedición incluye labores de revisión, pero también de edición y de traducción, por lo que constituye una tarea más compleja, aunque, con frecuencia, los límites se difuminan.

Dos estudios previos al nuestro son de vital importancia. En primer lugar, el trabajo de Daems/Macken (2021:69f.), en el cual se preguntan la necesidad de continuar con la distinción entre revisión y posedición por dos motivos principales: por un lado, la evidencia previa es contradictoria en si conviene conocer el hecho de que la traducción a la que se enfrenta el poseditor es humana o automática; por otro lado, se encuentra el hecho de que, en el uso de sistemas interactivos y adaptativos de traducción asistida, la distinción entre memoria de traducción y traducción automática no es siempre clara. En segundo lugar, en el estudio de Fischer/Läubli (2020:222ff.), en el que traductores profesionales evaluaron y poseditaron tanto traducción automática como traducción humana, se determinó que los traductores poseditaron traducción humana al mismo nivel que traducción automática y tienden a evaluar los dos tipos de traducción de la misma forma.

Si bien el flujo de la traducción automática neuronal + posedición sí se ha comparado con la traducción humana + revisión en varios estudios, desconocemos, sin embargo, trabajos en los que se haya incluido, además, la traducción automática ya poseditada unida a la revisión como parte del estudio. A pesar de que, como ya apuntábamos anteriormente, la revisión de posedición se trata de una realidad en el mercado profesional español (González Pastor 2023:17), la revisión y la posedición aún cabalgan separadas en el mundo académico.

2.3 Percepción y esfuerzo de posedición

Desde la irrupción de la posedición en el mundo académico y profesional, son numerosos los estudios que se han centrado en analizar el esfuerzo de posedición (cf. Daems et al. 2017). Como estableció Krings (2001:178), el esfuerzo de posedición incluye tres dimensiones: la temporal, la técnica y la cognitiva. La primera dimensión, la temporal, se ha estudiado ampliamente en la literatura previa con el objetivo de comprobar si el tiempo de poseditar es menor al tiempo de traducir (cf. Jia et al. 2019).

La segunda dimensión es la técnica y guarda relación con las ediciones que se llevan a cabo durante la posedición de traducción automática, como son las inserciones, eliminaciones, sustituciones, movimientos, etc. (cf. Koponen 2016; Nitzke/Oster 2016). La tercera dimensión es la cognitiva, la más complicada de medir, ya que incluye todos los procesos mentales que tienen lugar mientras se está poseditando (cf. Cumbreño/Aranberri 2021). Se han propuesto diversos procedimientos para su medición como, entre otros, los Think-Aloud Protocol (Krings 2001:132), el eye tracking o seguimiento ocular (Moorkens 2018:55) y las pausas (Lacruz 2017:386ff.).

Otra forma de investigar el esfuerzo cognitivo consiste en preguntar al participante que valore la dificultad o el esfuerzo de la tarea (Koponen 2012:181ff.), lo cual se suele denominar evaluación manual o percepción de esfuerzo. Si bien son varios los autores que inciden en que esta percepción no se correlaciona correctamente con otras métricas (cf. Moorkens et al. 2015; Vieira 2016; Cumbreño/Aranberri 2021), la emplearemos en nuestro estudio basándonos, en parte, en Gilbert (2022:5ff.). De esta forma, los participantes determinarán su percepción de la tarea de posedición en cuanto al tiempo y el esfuerzo en sí. Añadimos, además, en nuestro estudio, la percepción de la calidad de la traducción, ya que, como hemos señalado anteriormente, llevamos a cabo nuestro experimento desde la perspectiva de la paridad humano-máquina en traducción automática neuronal.

3.1 Diseño y organización del experimento

En este apartado daremos cuenta del diseño del experimento, la selección textual y la preparación del entorno del experimento. Comenzamos el experimento seleccionando tres noticias de la Agencia Europea del Medicamento (EMA, por sus siglas en inglés), de aproximadamente la misma extensión (300 palabras): el texto 1 abordaba una reunión de alto nivel de la International Coalition of Medicines Regulatory Authorities (ICMRA)^[1], el segundo sobre la evaluación de la dosis de refuerzo de la vacuna Janssen contra la covid-19^[2] y el tercero sobre el Día Europeo para el Uso Prudente de los Antibióticos^[3]. Los tres textos comparten una extensión similar (en torno a 270 palabras cada uno) y se publicaron en la página de la EMA entre noviembre y diciembre de 2021.

Una vez seleccionados los textos, el siguiente paso era traducirlos, por un lado, de forma automática y, por otro, por un/a traductor/a profesional. En cuanto a la traducción profesional, se optó por una traductora autónoma con más de diez años de experiencia a la que se indicó expresamente que no usara ni traducción automática ni posedición para los tres textos. Esta traductora autónoma no colaboró en el proyecto en ninguna otra tarea posteriormente.

Respecto a la traducción automática, dos anotadores del proyecto NEUROTRAD, tomando la traducción humana como referencia y empleando una taxonomía propia a partir de la métrica DQF-MQM^[4], evaluaron la traducción de las tres noticias ofrecida por tres motores: DeepL^[5] en su versión gratuita, Traductor de Google^[6] y un motor de traducción automática neuronal entrenado en la Universitat Oberta de Catalunya^[7]. Finalmente, se eligió el traductor automático DeepL por ofrecer un menor número de errores, en concreto 41 en total, que los otros dos traductores automáticos con los que se comparó, ya que el motor entrenado arrojó 58 errores y Traductor de Google, 47. Tras la traducción automática de los tres textos con DeepL, se solicitó a una poseditora profesional con más de cinco años de experiencia en el sector que poseditase la traducción automática. Esta poseditora no colaboró en el proyecto en ninguna otra tarea posteriormente.

Una vez que los tres textos estaban traducidos de forma profesional, traducidos de forma automática con DeepL y traducidos de forma automática con DeepL y poseditados, se procedió a organizar los textos del experimento. Se pretendía que, de forma aleatoria, todos los participantes trabajasen con un texto traducido de forma automática, un texto traducido de forma automática y poseditado y un texto traducido de forma profesional. Para ello, se organizaron los textos siguiendo el orden presentado en la tabla 1, donde TA es traducción automática, TH, traducción humana y TA PE, traducción automática poseditada. A cada participante le fue asignando una combinación de textos de forma aleatoria, por riguroso orden de participación en el experimento.

3.2 Materiales y procedimiento

En cuanto a los materiales empleados, cabe apuntar que, siguiendo la estela de otros experimentos desarrollados en el Center for Research and Innovation in Translation and Translation Technology (CRITT)^[8] de la Universidad de Kent (Estados Unidos), centro con el cual colaboramos para el proyecto NEUROTRAD, se usaron principalmente cuatro materiales: Trados Studio 2019^[9], el plug-in Qualitivity^[10], el software para acceso remoto TeamViewer^[11] y los dos cuestionarios detallados en este artículo (véanse apartado 3.3. y Anexos A y B). Tanto Trados Studio 2019 como el plug-in de Qualitivity se instalaron en el ordenador del experimento y a los participantes se les facilitó el acceso remoto al escritorio de dicho ordenador mediante TeamViewer.

Los experimentos se desarrollaron entre diciembre de 2022 y abril de 2023 y el orden de los pasos que realizaron todos los participantes del experimento fue el siguiente:

1. Aceptaban participar firmando el consentimiento informado (detallado en Anexo A) y se concretaba un día y una hora concretos para la realización del experimento a través de la herramienta de calendario en línea Doodle. El experimento se desarrolló de forma individual y con franjas individuales concretas para cada participante.

2. Antes de participar en el experimento, los participantes completaban el cuestionario preexperimental (Anexo A), disponible en Google Forms, y se les facilitó las instrucciones del experimento tanto en forma de vídeo como por escrito. En dichas instrucciones se especificaba que los textos poseditados tenían que alcanzar una calidad que los convirtiese en publicables, es decir, en noticias en español que la EMA pudiese publicar en su página sin ninguna modificación posterior.

3. En el día y hora señalados para el experimento, los participantes se conectaban al ordenador del experimento de forma remota empleando TeamViewer. Una vez dentro de Trados Studio 2019 y con el plug-in de Qualitivity activado, se les pedía a los participantes que poseditasen las tres traducciones presentadas. Al tratarse de un estudio ciego, no se les indicó a los participantes en ningún momento que estaban trabajando con diversos tipos de traducciones. Los participantes podían consultar todos los recursos necesarios en Internet y no contaban con restricciones de tiempo.

4. Cuando finalizaban el experimento, los participantes completaban el cuestionario posexperimental (Anexo B), disponible también en Google Forms.

5. Por último, mediante presentación de factura, se abonaba la gratificación contemplada para cada participante.

Quisiéramos mencionar en este punto que el hecho de haber llevado a cabo un estudio ciego en el que no se mencionó a los participantes con qué tipo de traducción estaban trabajando (automática, humana y traducción automática poseditada) puede suponer una limitación del estudio o un aspecto debatible. Defendemos la postura tomada en nuestro estudio basándonos en: 1) estudios previos que han realizado un procedimiento similar (Daems/Macken 2021:52ff.; Fischer/Läubli 2020:215ff.) y 2) en encuestas previas (Cadwell et al. 2018:301ff.) donde se ha demostrado que los traductores profesionales tienden a tener percepciones negativas sobre traducción automática. Nuestra manipulación experimental y la organización del estudio ciego se basa en intentar dar el mismo rigor de posedición a los tres tipos de traducciones. Somos conscientes de que, al dar la instrucción a los participantes de que «tienen que poseditar para alcanzar una calidad de texto publicable», las personas que poseditan consideran que están trabajando en los tres textos con traducción automática neuronal y que, por tanto, realizan el experimento con el sesgo de la traducción automática.

3.3 Cuestionarios

Como se ha señalado anteriormente, se administraron a los 36 participantes dos tipos de cuestionarios: uno preexperimental, centrado en determinar tanto información personal y lingüística como información académica y profesional, y otro posexperimental en el que se les pedía que determinasen su percepción sobre esfuerzo de posedición, tiempo de posedición y calidad de la traducción automática para los tres textos. En el Anexo A se detallan las 28 preguntas del cuestionario preexperimental y en el Anexo B, las 16 del cuestionario posexperimental. En este artículo nos centraremos concretamente en analizar las respuestas a las preguntas 3, 4, 5, 6, 12, 13, 14, 15, 17, 18, 20, 21 del cuestionario preexperimental y a las preguntas de la 1 al 11 del cuestionario posexperimental.

3.4 Participantes

En el experimento participaron 36 traductores pertenecientes todos ellos a la Asociación Española de Traductores, Correctores e Intérpretes (Asetrad). Se les contactó mediante correos electrónicos y diversas convocatorias privadas. Es necesario mencionar que, a la hora de seleccionar los participantes, 1) no se tuvo en cuenta la especialización de los mismos, ya que los textos, al tratarse de noticias de la EMA, son divulgativos; 2) no se requería experiencia previa profesional en posedición, aunque era deseable y 3) se exigía que los participantes conocieran Trados Studio, dado que se trata de un programa de traducción asistida complejo que se ha de conocer para que el experimento tenga éxito y no suponga una dificultad añadida.

Apuntamos a continuación información sobre la muestra de participantes a partir de los datos arrojados por el cuestionario preexperimental. La muestra se compone mayoritariamente de mujeres, suponiendo estas más de tres cuartos del total (77,8 %) frente a solo un 19,4 % de hombres. Existe un único caso de persona que se identifica como no binaria. Esto indica un sesgo en el estudio en términos de sexo, que, en principio, no debería afectar al análisis, ya que no es una de las variables de interés.

Los 36 participantes son de nacionalidad española, y, de ellos, 35 (97,2 %) ejercen su labor profesional en España frente a una única persona que la ejerce en Reino Unido. La lengua materna mayoritaria es el español, hablada por los 36 participantes. Además, seis de ellos (16,7 %) hablan catalán, uno valenciano (2,8 %) y otro gallego (2,8 %). Observamos que la lengua extranjera 1 (LE1) más común es el inglés, hablado por 32 participantes (88,9 %), seguida del francés (8,3 %) y, finalmente, el alemán (2,8 %).

En lo que respecta a la formación de grado o licenciatura, 28 participantes ostentan una Licenciatura o Grado en Traducción e Interpretación (77,8 %), mientras que seis alegan tener una Licenciatura o Grado en Estudios Ingleses o Filología Inglesa (16,9 %), uno un Grado en Lenguas Modernas y sus Literaturas (2,78 %) y uno un Grado en Lengua y Literatura españolas (2,78 %). Respecto de la formación de posgrado, 17 de ellos han cursado un Máster en Traducción e Interpretación (47,22 %), uno un Máster en Interpretación de conferencias (2,78 %), uno un Máster en Lingüística Aplicada (2,78 %), uno un Máster en Edición y Comercialización del libro (2,78 %) y uno un Máster en Enseñanza de español para extranjeros (2,78 %). Destaca también en formación de posgrado que dos participantes (5,56 %) hayan cursado un Doctorado en Traducción e Interpretación.

En cuanto a su experiencia profesional, todos han ejercido como traductores autónomos, si bien 13 también han desempeñado funciones como becario/a en prácticas (36,1 %), 11 como traductor/a en plantilla en una empresa/agencia de traducción (30,6 %), seis como actividad complementaria u ocasional (16,7 %), dos han tenido otro puesto en proveedores de servicios lingüísticos (5,6 %), dos como traductor/a en una institución u organismo (5,6 %) y dos como docente en cursos de traducción literaria y jurídica (5,6 %). Respecto al volumen de trabajo, nos centraremos en los datos relacionados con la posedición. 13 participantes poseditan más de 30 000 palabras al año (36,1 %), ocho poseditan más de 100 000 palabras (22,2 %), cuatro menos de 200.000 palabras (11,1 %), cuatro menos de 50 000 palabras (11,1 %), tres menos de 30 000 palabras (8,3 %), dos más de 200 000 palabras (5,6 %) y dos 0 palabras (5,6 %). Por tanto, solo dos participantes no han poseditado de forma profesional (5,5 %), frente a 34 que sí lo han hecho (94,4 %). Decidimos mantener a estos dos participantes sin experiencia por tres motivos principales: ambos sí tenían experiencia en posedición no profesional, contaban con formación en posedición y sus datos podrían ser de interés en futuras réplicas o líneas de investigación del estudio.

3.5 Análisis de los datos

En este apartado detallaremos cómo se ha llevado a cabo el análisis de los datos. En primer lugar, se ha realizado un análisis descriptivo de las variables de ambas encuestas. Para las variables cuantitativas, este análisis incluye las medidas de centralidad (media y mediana), dispersión (desviación estándar, rango e IQR o rango intercuartílico) y los resultados de las pruebas de normalidad. Para las variables cualitativas, se presentan las frecuencias absolutas y relativas de cada categoría.

A la hora de estructurar el análisis, se han reorganizado las respuestas de percepción de esfuerzo, tiempo y calidad de los tres textos para formar nuevas variables que representen la percepción de esfuerzo, tiempo y calidad de los tres tipos de posedición: traducción humana (TH), traducción automática (TA) y traducción automática con posedición (TA PE).

En lo que respecta a la pregunta de investigación 1 (PI1), se ha comparado la percepción de esfuerzo, tiempo y calidad de los tres tipos de posedición. Para ello se han empleado pruebas de Friedman de muestras pareadas (no paramétricas). En lo que atañe a la pregunta de investigación 2 (PI2), se ha evaluado la relación entre los años de experiencia profesional y la percepción de las traducciones automáticas analizando las correlaciones entre variables mediante coeficientes de correlación Rho de Spearman (no paramétricos). En todas estas pruebas estadísticas inferenciales, se considera significación cuando p < 0,05 (n. c. 5 % habitual) y alta significación cuando p < 0,01 (n. c. 1 %). Se puede considerar casi significación, o tendencia hacia ella, cuando p<0,10 (<10 %).

Por último, cabe mencionar que el análisis estadístico se ha efectuado con el programa IBM-SPSS Statistics versión 25.

4.1 Resultados y discusión de la PI1: Percepción de esfuerzo de posedición, tiempo de posedición y calidad de la traducción

Comenzamos este apartado con la estadística descriptiva, que tiene dos partes: una primera parte de análisis descriptivo de las variables cualitativas y una segunda parte en la que presentamos el análisis descriptivo de las variables cuantitativas y aquellas a las que se le puede dar un tratamiento cuantitativo. Seguidamente, mediante la prueba de Friedman, llevaremos a cabo tres contrastes de hipótesis para medidas pareadas correspondientes a las variables de esfuerzo, tiempo y calidad. Finalizaremos el apartado discutiendo los resultados para responder a la PI1.

En cuanto al análisis descriptivo de las variables cualitativas, en la tabla 2 se muestra la percepción de esfuerzo de posedición de las tres modalidades (TH para traducción humana, TA para traducción automática y TA PE para traducción automática poseditada). Tal y como podemos apreciar, no existen grandes diferencias entre las tres, ya que las frecuencias son prácticamente idénticas. Esto apuntaría a que la percepción del esfuerzo necesario para llevar a cabo la posedición es comparable en los tres tipos de traducción. La mitad de los participantes aproximadamente considera que la posedición conllevó «un poco de esfuerzo», en concreto, el 55,6 % tanto para la TH como para la TA PE y un 61,1 % para la TA. Por lo tanto, poseditar la TA les ha supuesto un esfuerzo algo mayor que las otras dos, pero no constituye una diferencia significativa. La explicación más plausible a este comportamiento es que los participantes tienden a valorar que poseditar supone poco esfuerzo, independientemente del esfuerzo real realizado.

Tal y como recoge la tabla 3, tampoco se observan grandes diferencias en el tiempo necesario para la posedición. En los tres casos, la mayoría de los participantes consideró que el ejercicio llevó «poco tiempo», en concreto, un 66,7 % para la TH, 72,2 % para TA y 61,1 % para TA PE. De nuevo, esto apunta a que la labor de posedición es similar en términos de percepción de tiempo invertido independientemente de la modalidad de traducción y también independientemente del tiempo real invertido.

Sin embargo, son peculiares los datos sobre el tiempo de la TH, ya que siete participantes (19,4 %) han considerado que poseditar esta traducción supone «bastante tiempo», una cifra superior a los cuatro participantes (11,1 %) que han considerado que suponía la misma percepción de esfuerzo para poseditar TA y TA PE.

Encontramos un escenario similar al analizar la calidad de las traducciones. No se aprecian diferencias entre las tres modalidades y, de nuevo, en los tres casos, la mayoría de los participantes valoró el texto como «traducción con algunos errores y algunos aciertos». Específicamente, el 61,1 % para la calidad de la TH, 52,8 % para TA y 63,9 % para TA PE. Además, arroja cifras prácticamente iguales el número de participantes que ha clasificado como «traducción sin apenas errores y muchos aciertos»: 13 (36,1 %) para TH y 12 (33,3 %) tanto para TA como TA PE. Sí se constata que son más los participantes que han catalogado como «traducción con bastantes errores y algunos aciertos» la TA; en concreto, cinco de ellos (13,9 %), mientras que solo uno (2,8 %) para TH y TA PE.

A continuación, pasamos a mostrar el análisis descriptivo de las variables cuantitativas y aquellas a las que se le puede dar un tratamiento cuantitativo. En la tabla 5 se muestran las variables analizadas y se comprueba que todas ellas presentan desvíos significativos dentro de la normalidad. Como ya se vio en el análisis cualitativo, las valoraciones de esfuerzo, tiempo y calidad de los textos son prácticamente idénticas entre los tres tipos de traducción. En este caso, observamos una gran similaridad de las medidas de centralidad (media y mediana) que nos estaría indicando que la modalidad de posedición no influye en el esfuerzo, tiempo o calidad percibidos.

Finalizamos con tres contrastes de hipótesis para medidas pareadas: uno para el esfuerzo, otro para el tiempo y otro para la calidad. Dado que las variables se desvían de la normalidad, se emplea la prueba de Friedman (no paramétrica). Tal y como esperábamos y como se recoge en la tabla 6, no se encuentran diferencias estadísticamente significativas entre los tres tipos de posedición, ni en esfuerzo (p < 0,953), ni en tiempo (p < 0,439) ni en calidad (p < 0,390). Por tanto, podemos concluir (al menos con los datos de los que disponemos) que las tres modalidades ofrecen resultados comparables.

Tras presentar los resultados, iniciaremos la discusión tratando de responder a la PI1, que era la siguiente: ¿el tipo de traducción que se posedita (automática, humana y poseditada) influye en la percepción del esfuerzo de posedición, del tiempo de posedición y de la calidad de la traducción de la persona que posedita?

A la luz de los resultados obtenidos, los datos indican que el tipo de traducción que se posedita (automática, humana y poseditada) no influye en las tres variables analizadas, es decir, percepción del esfuerzo de posedición, del tiempo de posedición y de la calidad de la traducción. El análisis cualitativo ha dejado patente que las valoraciones de esfuerzo, tiempo y calidad de los textos son prácticamente idénticas entre los tres tipos de traducción. El análisis cuantitativo, a su vez, ha demostrado una gran similaridad de las medidas de centralidad (media y mediana) que nos indica que la modalidad de posedición no influye en el esfuerzo, tiempo o calidad percibidos. Y, por último, la prueba de Friedman ha resuelto que no se encuentran diferencias estadísticamente significativas entre los tres tipos de posedición, ni en esfuerzo, ni en tiempo ni en calidad.

A tenor de lo que arrojan nuestros datos, podemos afirmar que los tres tipos de traducción empleadas (TA, TA PE y TH) han obtenido datos muy similares en las tres percepciones analizadas (esfuerzo de posedición, tiempo de posedición y calidad de la traducción) por lo que, en las condiciones de nuestro estudio y desde el punto de vista exclusivamente de la percepción de los participantes, podemos afirmar que existe paridad humano-máquina en cuanto a calidad de la traducción, tiempo de posedición y esfuerzo de posedición entre TA, TA PE y TH. Sin embargo, este dato habría que confirmarlo con el análisis de los textos poseditados resultantes del experimento y correlacionarlo con las otras dos dimensiones del esfuerzo de Krings (2001), a saber, esfuerzo temporal y esfuerzo técnico.

4.2 Resultados y discusión de la PI2: Correlación de la experiencia con percepción de esfuerzo de posedición, tiempo de posedición y calidad de la traducción

Para determinar si existe una relación estadística entre los años de experiencia profesional y la percepción de la traducción automática, se ha llevado a cabo un análisis de correlaciones. Dado que las variables en estudio presentan desvíos significativos de la normalidad, se ha optado por emplear coeficientes de correlación Rho de Spearman (no paramétricos). Dichos coeficientes se muestran en la tabla 7, junto a su correspondiente valor de p y la interpretación del resultado.

Tal y como se esperaba, la experiencia correlaciona de manera inversa y altamente significativa con el esfuerzo (p < 0,007) y tiempo de posedición (p < 0,030) de los tres textos. Evidentemente, la práctica continuada del trabajo de posedición hace que la tarea sea más rápida y llevadera.

Al analizar los textos por separado, comprobamos que la experiencia correlaciona de manera inversa con el tiempo de posedición del texto 1 (p < 0,037), el esfuerzo de posedición del texto 2 (p < 0,006), la percepción de la calidad del texto 2 (p < 0,035) y el esfuerzo de posedición del texto 3 (p < 0,015). No obstante, los resultados más interesantes para el estudio son los de percepción de esfuerzo, tiempo y calidad según el tipo de traducción poseditada, y no según el texto. En este aspecto, constatamos que una mayor experiencia se relaciona con un menor esfuerzo de posedición de los textos de TH (p < 0,008) y TA (p< 0,047), mientras que no apreciamos esta relación con el esfuerzo de posedición de los de TA PE (p < 0,094). Es decir, los textos TA PE equiparan a los traductores más experimentados con aquellos que carecen de tanto bagaje profesional.

En cuanto al tiempo, comprobamos que correlaciona inversamente con la experiencia en los textos de TA (p < 0,022), es decir, cuando aumenta la experiencia, disminuye el tiempo de posedición de TA, pero este fenómeno no se produce con la posedición de TH (p < 0,259) y TA PE (p < 0,187).

La calidad percibida en los textos TH (p < 0,193) y TA (p < 0,296) no parece depender de la experiencia. Sin embargo, sí encontramos una relación inversa en los textos TA PE (p < 0,10). Esto indica que los traductores experimentados perciben que los textos de TA PE tienen menos calidad que los textos que corresponden a TH y a TA.

Tras presentar los resultados sobre la correlación de la experiencia, estamos en disposición de responder a la PI2, que era la siguiente: ¿La experiencia de la persona que posedita se correlaciona con su percepción del esfuerzo de posedición, del tiempo de posedición y de la calidad de la traducción? Los datos nos indican que:

1. Una mayor experiencia se relaciona con un menor esfuerzo de posedición de los textos de la TH y TA, pero no de la TA PE. A pesar de que, a priori, una traducción poseditada debería requerir menos esfuerzo de posedición que una traducción automática para un traductor con experiencia, no ha sido así en nuestro experimento. Por intentar explicar este fenómeno, convendría evaluar la calidad de la traducción y el número de errores de la TA PE respecto a la TH y la TA y comprobar si han podido repercutir en la percepción del esfuerzo de posedición.

2. El tiempo de posedición se correlaciona inversamente con la experiencia únicamente en la posedición de TA, pero no en la posedición de TH y TA PE. En nuestro experimento, los traductores más experimentados han poseditado en menos tiempo únicamente la TA, pero no la TH ni la TA PE. Sorprenden estos datos porque, en principio, lo esperable sería, justamente, que tanto la TH como la TA PE se poseditasen en menos tiempo que la TA. La explicación a este hecho puede deberse a que los traductores, ante una traducción con menos errores como es el caso de la TH y la TA PE, han invertido más tiempo en buscar posibles errores que fuese necesario poseditar. La traducción automática neuronal ofrece errores que, a veces, pueden pasar desapercibidos y los traductores han podido centrarse en buscar errores de forma más concienzuda.

3. Existe una relación inversa en la calidad percibida de la TA PE, pero no de la TA y TH. Los traductores con más experiencia consideran que la calidad de la TA PE es inferior a la calidad de la TA y la TH. De nuevo, convendría evaluar la calidad de la TA PE y comprobar si esta calidad ha podido repercutir en la percepción del esfuerzo de posedición.

Consideramos relevante señalar que, de los tres tipos de traducción analizados, es la TA PE la que obtiene resultados negativos en las tres variables analizadas (percepción del esfuerzo de posedición, del tiempo de posedición y de la calidad de la traducción). De nuevo, en aras de tratar de hallar una explicación para tal fenómeno, convendría correlacionar estos datos de la TA PE con las otras dos dimensiones del esfuerzo de Krings (2001), a saber, esfuerzo temporal y esfuerzo técnico.