Catalan to Spanish translations

Print Friendly, PDF & Email

By analyzing translations of the poem below, we are able to determine that Google Translate  uses a direct translation model from Catalan to Spanish, rather than passing through English. The relevant comparison is column 2 versus column 4. It is evident that the two outputs in Spanish are substantially different. This shows that Google does not go first from Catalan to English and then from English to Spanish. This is one of a few language pairs where we know that English is not used as a pivot.

Columns 2 and 8 compare the Google translation with that of the poet himself. Column 9 shows the BLEU score for each line, calculated with the Tilde interactive BLEU score evaluator.  The overall BLEU score is a remarkably high 76.46 . 10 of the 27 lines are identical. A few of the lower-scoring lines do have errors, including  the choice of “por” instead of “a” in line 4 that transforms the meaning, and a singular that should be plural in line 27. The high score suggests one of two possibilities:

  1. This well-known poem, readily discoverable when performing a web crawl for Catalan, was part of the training data in the parallel corpora that Google used between Catalan and Spanish, which would render the following point inoperative, or
  2. Direct MT between two very closely related, well-resourced languages, with highly similar vocabulary and grammatical structure, has achieved Bard quality in Google Translate between Catalan and Spanish.

The poem was also tested on two competing services. Line-by-line comparisons are not shown because they would make the table too busy, but the results are appended below for people who wish to examine them. Apertium scored 61.96. No conclusive statements are possible about GT versus Apertium based on this one short sample – both scores are high, and BLEU has notorious issues as a fine-grained evaluation tool. The substantially lower Bing score of 41.99 is significant, however. Further testing shows that Bing pivots from Catalan to Spanish via English. This is a convincing demonstration that conversion quality deteriorates markedly when a pivot language is used.

Comparing Columns 3 and 5 shows the fatal hazards in using GT to translate poetry between most language pairs. Column 3 is the GT rendering of the original poem. Many of the words are right, but the reader has no way to tell how closely the text adheres to the poet’s intent. For example, lines 3 and 26 miss the negation, which reverses the meaning 180°.  Line 4, “We fiercely loved ourselves in the morning at night” arranges correct vocabulary on the screen, but in no way captures the idea of the line as rendered by a thoughtful translation, “We loved ferociously, from morn ’til night”. Column 5 shows the translation to English using the natural intelligence of a person fluent in both languages. Column 7 shows the BLEU score for each line; the overall BLEU score is 26.23. (Note that translating the same text at different times generated different translations – a translation from a date several months after the one shown yielded a lower BLEU of 22.78, in contradiction to the notion that GT is constantly improving.)

Llibre de les meravelles by VICENT ANDRÉS ESTELLÉS (1924-1993)

https://lletra.uoc.edu/especials/folch/estelles.htm#amants

1. Original Catalan: 2. Catalan (column 1) to Google Spanish (direct) 3. Catalan (column 1) to Google English 4. Google English (column 3) to Google Spanish 5. Catalan (column 1) to Human English 6. Human English (column 5) to Google Spanish 7. Google English BLEU score 8. Catalan (column 1) to Human Spanish 9. Google Spanish BLEU score
(Translation by Jack H. Smith, Professor Emeritus at the University at Albany, NY) (Traducción de Jack H. Smith, profesor emérito de la Universidad de Albany, Nueva York) (Traducción del propio Vicent Andrés Estellés)
1 ELS AMANTS LOS AMANTES THE LOVES LOS AMORES LOVERS AMANTES 50 Los Amantes 100
2 La carn vol carn (Ausiàs March) La carne quiere carne (Ausiàs March) The meat wants meat (Ausiàs March) La carne quiere carne (Ausiàs March) Flesh craves flesh (Ausias March) La carne anhela la carne (Ausias March) 22.59 La carne quiere carne (Ausiàs March) 100
3 No hi havia a València dos amants com nosaltres. No había en Valencia dos amantes como nosotros. There were two lovers like us in Valencia. Había dos amantes como nosotros en Valencia. Never were there in València two lovers like us. Nunca hubo en València dos amantes como nosotros. 31.76 No había en Valencia dos amantes como nosotros. 100
4 Feroçment ens amàvem del matí a la nit. Ferozmente nos amábamos de la mañana por la noche. We fiercely loved ourselves in the morning at night. Nos amamos ferozmente en la mañana en la noche. We loved ferociously, from morn ’til night. Nos encantó ferozmente, desde la mañana hasta la noche. 9.98 Ferozmente nos amábamos desde la mañana a la noche. 29.85
5 Tot ho recorde mentre vas estenent la roba. Todo lo recuerdo mientras vas tendiendo la ropa. I remember everything as long as you are spreading clothes. Recuerdo todo siempre y cuando estés extendiendo la ropa. I recall everything, as you hang out the clothes. Recuerdo todo, mientras cuelgas la ropa. 11.73 Todo lo recuerdo mientras vas tendiendo la ropa. 100
6 Han passat anys, molt anys; han passat moltes coses. Han pasado años, muchos años; han pasado muchas cosas. Years have passed, many years: many things have happened. Han pasado los años, muchos años; Muchas cosas han sucedido Years have passed, many years: many things have happened. Han pasado años, muchos años: muchas cosas han sucedido. 100 Han pasado años, muchos años; han pasado muchas cosas. 100
7 De sobte encara em pren aquell vent o l’amor De repente todavía me toma aquel viento o el amor Suddenly I still take that wind or love De repente todavía tomo ese viento o amor Suddenly that wind, or love, seizes me still De repente, ese viento, o amor, me atrapa aún 13.46 De pronto aún me coge aquel viento o el amor 42.73
8 i rodolem per terra entre abraços i besos. y rodamos por tierra entre abrazos y besos. and roll over the floor between hugs and kisses. y rodar por el piso entre abrazos y besos. And we roll on the ground amidst embraces and kisses. Y rodamos por el suelo en medio de abrazos y besos. 24.38 y rodamos por tierra entre abrazos y besos. 100
9 No comprenem l’amor com un costum amable, No comprendemos el amor como una costumbre amable, We do not understand love as a kind habit, No entendemos el amor como un hábito amable, We do not know love as a loving custom, No conocemos el amor como una costumbre amorosa, 27.30 No comprendemos el amor como una costumbre amable, 100
10 com un costum pacífic de compliment i teles como una costumbre pacífica de cumplimiento y telas as a peaceful habit of fulfillment and fabrics como un hábito pacífico de cumplimiento y telas As a quiet custom of politeness and finery Como una tranquila costumbre de cortesía y galas 13.13 como una costumbre pacífica de cumplimiento y telas 100
11 (i que ens perdone el cast senyor López-Picó). (Y que nos perdone el casto señor López-Picó). ((and forgive us the cast Mr. López-Picó). (y perdónanos el reparto Sr. López-Picó). (and may the chaste López-Picó pardon us). (y que el casta López-Picó nos perdone). 12.19 (y que nos perdone el casto señor López Picó). 67.75
12 Es desperta, de sobte, com un vell huracà, Se despierta, de repente, como un viejo huracán, He awakens, suddenly, like an old hurricane, Se despierta, de repente, como un viejo huracán, Love, It awakens suddenly, like an old hurricane, Amor, se despierta de repente, como un viejo huracán, 61.56 Se despierta, de pronto, como un viejo huracán 58.77
13 i ens tomba en terra els dos, ens ajunta, ens empeny. y nos tumba en tierra los dos, nos junta, nos empuja. and we both land on the ground, join us, push us. y ambos aterrizamos en el suelo, únete a nosotros, empújanos. it throws us to the ground, it joins us together, squeezing us tightly. nos arroja al suelo, nos une, apretándonos fuertemente. 11.33 y nos tumba en tierra a los dos, nos junta, nos empuja. 80.52
14 Jo desitjava, a voltes, un amor educat Yo deseaba, a veces, un amor educado I sometimes wanted an educated love A veces quería un amor educado Sometimes I desired a courteous love, A veces deseaba un amor cortés, 9.04 Yo deseaba, a veces, un amor educado 100
15 i en marxa el tocadiscos, negligentment besant-te, y en marcha el tocadiscos, negligentemente besándose té, and the turntable is running, negligently kissing you, y el plato giratorio está corriendo, besándote negligentemente, With the gramophone on, kissing you idly, Con el gramófono encendido, besándote ociosamente, 10.55 y en marcha el tocadiscos, negligentemente besándote 63.89
16 ara un muscle i després el peço d’una orella. ahora un hombro y después el lóbulo de una oreja. Now a muscle and then the ear piece. Ahora un músculo y luego el auricular. Now a shoulder, next an ear lobe. Ahora un hombro, luego un lóbulo de la oreja. 11.34 ahora un hombro, y después el pezón de una oreja. 39.59
17 El nostre amor es un amor brusc i salvatge Nuestro amor es un amor brusco y salvaje Our love is an abrupt and wild love Nuestro amor es un amor abrupto y salvaje Our love is a brusque and savage love Nuestro amor es un amor brusco y salvaje 23.36 Nuestro amor es un amor brusco y salvaje, 88.25
18 i tenim l’enyorança amarga de la terra, y tenemos la añoranza amarga de la tierra, and we have the bitter condolence of the earth, y tenemos la amarga condolencia de la tierra, And we feel a bitter yearning for the earth, Y sentimos un amargo anhelo por la tierra, 20.56 y tenemos la nostalgia amarga de la tierra, 59.69
19 d’anar a rebolcons entre besos i arraps. ir a revolcones entre besos y arañazos. to go to rebolcons between kisses and clasps. ir a rebolcons entre besos y cierres. Of rolling upside down amidst kisses and clutches. De rodar boca abajo en medio de besos y garras. 10.55 de ir a revolcones entre besos y arañazos. 88.25
20 Què voleu que hi faça! Elemental, ja ho sé. ¿Qué desea que haga! Elemental, ya lo sé. What do you want me to do! Elemental, I know. ¡Que quieres que haga! Elemental, lo sé. I’ll say it clear. Primal, … I know it. Lo diré claro. Primal, … lo sé. 6.82 ¡Qué queréis que haga! Elemental, ya lo sé. 75.98
21 Ignorem el Petrarca i ignorem moltes coses. Ignoramos el Petrarca y ignoramos muchas cosas. We ignore the Petrarch and ignore many things. Ignoramos al Petrarca e ignoramos muchas cosas. We ignore Petrarch’s work, we ignore many things. Ignoramos el trabajo de Petrarca, ignoramos muchas cosas. 31.76 Ignoramos el Petrarca e ignoramos muchas cosas. 50.00
22 Les Estances de Riba i les Rimas de Bécquer. Las Estancias de Riba y las Rimas de Bécquer. Las Estancias de Riba and the Rhymes of Bécquer. Las Estancias de Riba y las Rimas de Bécquer. The stanzas of Riba, the rhymes of Bécquer. Las estrofas de Riba, las rimas de Bécquer. 41.11 Las Estances de Riba y las Rimas de Bécquer. 78.25
23 Després, tombats en terra de qualsevol manera, Después, tumbados en el suelo de cualquier manera, Then, lying on the ground in any way, Entonces, tirado en el suelo de cualquier manera, Afterwards, lying somehow on the ground, Después, mintiendo de alguna manera en el suelo, 20.56 Después, tumbados en tierra de cualquier manera, 52.54
24 comprenem que som bàrbars, i que aixòno deu ser, comprendemos que somos bárbaros, y que aixòno debe ser, We understand that we are barbarians, and that this should not be, Entendemos que somos bárbaros, y que esto no debería ser, We realise that we are barbarous, that this may not be, Nos damos cuenta de que somos bárbaros, que esto puede no ser, 21.36 comprendemos que somos bárbaros, y que eso no debe ser. 57.67
25 que no estem en l’edat, i tot això i allò. que no estamos en la edad, y todo esto y aquello. We are not in the age, and all that and that. No estamos en la edad, y todo eso y eso. we are not in the right age, and this and that. no estamos en la edad adecuada, y esto y lo otro. 47.59 Que no estamos en la edad, y todo esto y lo otro. 78.00
26 No hi havia a València dos amants com nosaltres, No había en Valencia dos amantes como nosotros, There were two lovers like us in Valencia, Había dos amantes como nosotros en Valencia, Never were there in València two lovers like us, Nunca hubo en València dos amantes como nosotros, 31.76 No había en Valencia dos amantes como nosotros, 100
27 car d’amants com nosaltres en son parits ben pocs. caro de amantes como nosotros son parido muy pocos. Lovers like us are very few. Los amantes como nosotros son muy pocos. Lovers like us are just not born ! Los amantes como nosotros simplemente no nacen! 35.64 porque amantes como nosotros son paridos bien pocos. 31.24

 

Direct translation from Catalan to Spanish by Apertium:

LOS AMANTES.
La carne quiere carne, Ausiàs March.
No había en València dos amantes como nosotros.
Ferozmente ente amàvem de la mañana por la noche.
Todo lo recuerdo mientras vas extendiendo la ropa.
Han pasado años, mucho años; han pasado muchas cosas.
De repente todavía me toma aquel viento o el amor
y rodolem por tierra entre abraços y besos.
No comprendemos el amor como una costumbre amable,
como una costumbre pacífica de cumplimiento y teles
(y que nos perdono el casto señor López-Picó).
Se despierta, de repente, como un viejo huracán,
y nos tumba en tierra los dos, nos junta, nos empuja.
Yo deseaba, a veces, un amor educado
y en marcha lo tocadiscos, negligentemente besándote,
ahora un hombro y después lo peço de una oreja.
Nuestro amor se un amor brusco y salvaje
y tenemos la añoranza amarga de la tierra,
de ir a rebolcons entre besos y rasguños.
Qué queréis que haga! Elemental, ya lo sé.
Ignoramos el Petrarca e ignoramos muchas cosas.
Los Aposentos de Orilla y las Rimas de Bécquer.
Después, tumbados en tierra de cualquier manera,
comprendemos que somos bárbaros, y que aixòno debe de ser,
que no estamos en la edad, y todo esto y aquello.
No había en València dos amantes como nosotros,
puesto que de amantes como nosotros en sueño paridos muy pocos.

Translation from Catalan to Spanish by Bing, which testing shows to pivot through English:

LOVERS.
The meat wants meat, Ausiàs March.
There were two lovers like us in Valencia.
We were fiercely missed from morning to night.
Everything is remembered while you are extending the clothes.
Years have passed, many years; Many things have happened.
Suddenly it still takes me that wind or love
And we cross the ground between huts and kisses.
We do not understand love as a friendly habit,
As a peaceful custom-fulfillment and fabrics
(And that we miss Mr. López-Picó cast).
He wakes up, suddenly, like an old hurricane,
And we grave on the ground both, we board, it pushes us.
I wished, sometimes, an educated love
And in progress, the record player, negligently
Now a muscle and then the paste of an ear.
Our love is a sudden and wild love
And we have the bitter nostalgia of the land,
To go to waters between kisses and arraps.
What you want it to do! Elementary, I know.
We ignore the Petrarch and ignore many things.
The Riba rooms and the Rimas de Bécquer.
Then, lying on the ground in any way,
Understand that we are barbarians, and that it should be
That we are not in the age, and all this and that.
There were two lovers in Valencia, like us,
As we are very fond of lovers like us.

Loading

Spelling error report

The following text will be sent to our editors:

Hello, cookie lover! We use cookies. Yummy, yummy cookies. To enjoy this site, please accept the use of cookies. Privacy Policy

The cookie settings on this website are set to "allow cookies" to give you the best browsing experience possible. If you continue to use this website without changing your cookie settings or you click "Accept" below then you are consenting to this.

Close