ChatGPT-vertaling vergeleken met vertaling BlacKKite

Logo ChatGPT

Veel mensen lopen weg met ChatGPT als virtuele assistent. Niet zo verwonderlijk, want voor veel toepassingen is ChatGPT's taalverwerkende vermogen ronduit indrukwekkend. Maar is het taalmodel ook geschikt voor het vertalen van teksten? En hoe verhouden die vertalingen zich tot die van professionele vertalers en vertaalmachines?

In dit artikel vergelijk ik de vertalingen van ChatGPT met die van vertaalspecialist BlacKKite en vertaaldienst DeepL.



Direct naar:
In de gele kaders hieronder staan achtereenvolgens steeds de Engelse bronzin van Philips, de op zinsniveau vertaalde Nederlandse machinevertaling van ChatGPT en de vertaling van BlacKKite. Onder de kaders analyseer ik de verschillen tussen de vertalingen en vermeld ik de opmerkelijkste verschillen met de ChatGPT-vertaling op alineaniveau en die met de vertaling van DeepL.



Taalmodel ChatGPT vs. BlacKKite vertalingen

Bronmateriaal voor deze vertaalvergelijking is een casestudy met teksten uit onder andere de gebruiksaanwijzing, folder, servicehandleiding en catalogus van de Philips CD100 cd-speler. Op 3 januari 2024 heb ik GPT 3.5 dit materiaal per zin en per alinea aangeboden met het volgende eenvoudige prompt: Vertaal de volgende zin/alinea in het Nederlands voor Nederland.

Let wel, met een ander prompt (en/of gepersonaliseerde custom instructions) kan ChatGPT andere resultaten serveren. Ook door een zin meerdere keren te laten vertalen, kunnen de resultaten licht verschillen. In tests maakte het taalmodel dan alternatieve keuzes voor synoniemen. Voor deze vertaalvergelijking is echter steeds het eerst gegenereerde resultaat gebruikt.


Zin 1/2

Zelfde zinsconstructie als bronzin

Philips-logo Woorden: 31 | Tekens: 152

The Compact Disc system is silent and offers untold benefits in sound quality, convenience and durability. The music signal is read by a laserbeam, which imposes no wear on the disc.


ChatGPT-logo Woorden: 31 | Tekens: 189

Het Compact Disc-systeem is stil en biedt ontelbare voordelen op het gebied van geluidskwaliteit, gemak en duurzaamheid. Het muzieksignaal wordt gelezen door een laserstraal, die geen slijtage veroorzaakt aan de schijf.

  • identiek
  • verschil in notatie
  • verwante betekenis
  • afwijkend

Black Kite-logo Woorden: 28 | Tekens: 165

Het cd-systeem is stil en biedt ontelbare voordelen op het gebied van geluidskwaliteit gemak en duurzaamheid. Een laserstraal leest het muzieksignaal zonder slijtage te veroorzaken aan de cd.

ChatGPT neemt in zin 2 plichtsgetrouw de zinsconstructie uit de Engelse tekst een-op-een over. Hoewel de bedrijvende vorm veel dynamischer en bondiger is, heeft het algoritme met dit prompt niet de vrije hand om dit soort zinnen in een actieve vorm te gieten.

Verder valt op dat ChatGPT de beginkapitalen van het woord Compact Disc overneemt uit het Engels. Als je dit woord al voluit gebruikt, dan toch helemaal in onderkast.

Zin 3

Aanspreekvorm in ChatGPT-vertaling

Philips-logo Woorden: 29 | Tekens: 123

We have kept the instructions as short and concise as possible as we know how anxious you are to hear your Compact Disc player for the very first time.


ChatGPT-logo Woorden: 27 | Tekens: 139

We hebben de instructies zo kort en beknopt mogelijk gehouden, omdat we begrijpen hoe verlangend je bent om je Compact Disc-speler voor de allereerste keer te horen.

  • identiek
  • verschil in notatie
  • verwante betekenis
  • afwijkend

Black Kite-logo Woorden: 23 | Tekens: 112

We hebben de instructies zo beknopt mogelijk gehouden, omdat we weten dat u staat te trappelen om te gaan luisteren naar uw cd-speler.

ChatGPT gebruikt op zinsniveau een informele aanspreekvorm en gaat over op een formele vorm als ik meer context geef. De gekozen aanspreekvorm past ChatGPT consequent toe.

'Verlangend zijn' om een cd te horen mag dan qua emotie wellicht de juiste richting opgaan, de vertaling van DeepL met 'hoe graag' klinkt toch een stuk idiomatischer.

Zin 4

Hoofd- en bijzin in ChatGPT-vertaling

Philips-logo Woorden: 31 | Tekens: 132

With your hand open, and thumb and fingers extended, take the Compact Disc out of its holder and fit it, label side up, on to the spindle in the disc compartment.


ChatGPT-logo Woorden: 32 | Tekens: 143

Met je hand open en duim en vingers uitgestrekt, haal je de Compact Disc uit zijn houder en plaats je deze, met het label naar boven, op de spindel in het schijfcompartiment.

  • identiek
  • verschil in notatie
  • verwante betekenis
  • afwijkend

Black Kite-logo Woorden: 25 | Tekens: 95

Haal de cd tussen duim en vingers uit het hoesje. Plaats de cd met de bedrukte zijde naar boven op de as in het cd-vak.

De vertaling van zin 4 illustreert goed de achilleshiel van ChatGPT als vertaalassistent. Het taalmodel behoudt de Engelse zinsconstructie en dat leidt regelmatig tot vertalinees. DeepL weet hoofd- en bijzin natuurlijker te combineren.

Zin 5

Notatie bedieningselementen

Philips-logo Woorden: 34 | Tekens: 150

Do not allow more than 5 seconds to elapse between releasing the STORE button and pressing the SELECT button to make the next selection, otherwise the TRACK Display LED will go out.


ChatGPT-logo Woorden: 32 | Tekens: 156

Laat niet meer dan 5 seconden verstrijken tussen het loslaten van de STORE-knop en het indrukken van de SELECT-knop om de volgende selectie te maken, anders gaat de TRACK Display LED uit.

  • identiek
  • verschil in notatie
  • verwante betekenis
  • afwijkend

Black Kite-logo Woorden: 31 | Tekens: 152

Nadat u op de knop STORE (opslaan) hebt gedrukt, moet u binnen 5 seconden met de knop SELECT (selecteren) de volgende track selecteren, anders dooft de led voor de betreffende track.

ChatGPT kiest voor de functiebeschrijvingen van uitlees- en bedieningselementen op zinsniveau voor een halfslachtige vertaling (STORE-knop) en op alineaniveau voor een letterlijke vertaling (BEWAAR-knop).

Zin 6

Lengte ChatGPT-vertaling

Philips-logo Woorden: 33 | Tekens: 159

You will have no problems in playing such discs on your Compact Disc player, but the operation of the PROGR Display, the functions of the player and the programming will be slightly affected.


ChatGPT-logo Woorden: 34 | Tekens: 189

Je zult geen problemen ondervinden bij het afspelen van dergelijke schijven op je Compact Disc-speler, maar de werking van het PROGR Display, de functies van de speler en de programmering zullen enigszins beïnvloed worden.

  • identiek
  • verschil in notatie
  • verwante betekenis
  • afwijkend

Black Kite-logo Woorden: 26 | Tekens: 145

U zult dit soort cd's probleemloos kunnen afspelen, maar de werking van het PROGR-display en de functies voor afspelen en programmeren worden er enigszins door beïnvloed.

De ChatGPT-vertaling zit met gemiddeld bijna 20 tekens meer dan het origineel zelfs nog boven het tekenaantal van DeepL, terwijl de vertaling van BlacKKite net iets onder het tekenaantal van de originele handleiding uitkomt.

Staafgrafiek gemiddeld tekenaantal in vertaalvergelijking ChatGPT


De verschillen tussen de vertalingen van ChatGPT op zinsniveau en alineaniveau zijn aanzienlijk en groter dan bij de vertalingen van DeepL (zie cirkeldiagrammen). ChatGPT kent klaarblijkelijk nog meer waarde toe aan de context van de tekst.

Cirkeldiagram met verschil in woordaantal tussen zins- & alineaniveau ChatGPT    Cirkeldiagram met verschil in woordaantal tussen zins- & alineaniveau DeepL

Legenda cirkeldiagram


Zin 7

Weet ChatGPT wat PCB betekent?

Philips-logo Woorden: 29 | Tekens: 126

When the decoder PCB is placed in one of the two service positions (see fig below) measurement can be performed on both the servo PCB and the decoder PCB.


ChatGPT-logo Woorden: 28 | Tekens: 149

Wanneer het decoder PCB in een van de twee serviceposities wordt geplaatst (zie figuur hieronder), kunnen metingen worden uitgevoerd op zowel het servo PCB als het decoder PCB.

  • identiek
  • verschil in notatie
  • verwante betekenis
  • afwijkend

Black Kite-logo Woorden: 24 | Tekens: 120

Door de decoderprint in een van de twee servicestanden te plaatsen (zie afb. hierna), kunt u zowel aan de servoprint als de decoderprint meten.

ChatGPT kent de betekenis en Nederlandse vertaling van het initiaalwoord PCB als ik er expliciet naar vraag. Gek genoeg weigert het taalmodel PCB in zin 7 te vertalen. Het kan zijn dat dit komt doordat het daar deel uitmaakt van een samenstelling.

Zin 8

De ChatGPT-vertaling van 'clear'

Philips-logo Woorden: 15 | Tekens: 87

The error correction test disc was cleared with all tests being replayed without audible degradation.


ChatGPT-logo Woorden: 13 | Tekens: 106

De foutcorrectie-testschijf werd goedgekeurd, waarbij alle tests opnieuw werden afgespeeld zonder hoorbare degradatie.

  • identiek
  • verschil in notatie
  • verwante betekenis
  • afwijkend

Black Kite-logo Woorden: 13 | Tekens: 97

De cd-speler speelde alle tests van de foutcorrectie-testschijf zonder dat de geluidskwaliteit verslechterde.

Het werkwoord cleared uit deze zin vormt voor zowel ChatGPT als DeepL een uitdaging. De recensent bedoelt dat de speler alle tests doorstaat en dat komt in geen van de machinevertalingen tot uiting. Als ik meer context geef, herstelt ChatGPT zich met: 'De foutcorrectietestschijf werd probleemloos afgerond (…)'.

Zin 9

ChatGPT corrigeert spelfout

Philips-logo Woorden: 30 | Tekens: 159

The player excelled with the Concertgebouw Shotakovich symphony capturing the size and character of the hall acoustic and placing the power of the instruments in depth in the stereo image.


ChatGPT-logo Woorden: 32 | Tekens: 189

De speler excelleerde met de Concertgebouw Shostakovich-symfonie, waarbij de omvang en het karakter van de zaalakoestiek werden vastgelegd en de kracht van de instrumenten in de diepte van het stereobeeld werd geplaatst.

  • identiek
  • verschil in notatie
  • verwante betekenis
  • afwijkend

Black Kite-logo Woorden: 29 | Tekens: 185

De speler laat bij beluistering van de Sjostakovitsj-symfonie overtuigend het formaat en akoestisch karakter van Het Concertgebouw horen en plaatst de power van de instrumenten driedimensionaal in het stereobeeld.

ChatGPT behoudt de Engelse spelling van de naam van de componist, maar corrigeert wel netjes de spelfout uit de originele recensie (in tegenstelling tot DeepL).

De onderlinge relatie tussen locatie en componist is in deze zin het grootste struikelblok. In de vertaling op alineaniveau vermeldt ChatGPT eerst de componist en dan pas de concertzaal: (…) met de Shotakovich-symfonie van het Concertgebouw (…).

Zin 10

Letterlijke vertaling door ChatGPT

Philips-logo Woorden: 4 | Tekens: 18

“All else is gaslight.”


ChatGPT-logo Woorden: 5 | Tekens: 22

“Al het andere is gaslicht.”

  • identiek
  • verschil in notatie
  • verwante betekenis
  • afwijkend

Black Kite-logo Woorden: 5 | Tekens: 34

“Alle andere geluidsdragers zijn passé.”

Met deze letterlijke vertaling van ChatGPT verdwijnt de betekenis volkomen. Net als DeepL weet ChatGPT zich geen raad met figuurlijk taalgebruik. We zullen zien of dit in de komende tijd beter wordt.

Kan ChatGPT vertalen?

ChatGPT scoort in deze test punten met de correctie van de (in de originele recensie) verkeerd gespelde naam van de componist uit zin 9. Toch vertaalt ChatGPT over het geheel genomen net iets minder goed en idiomatisch dan DeepL.

De belangrijkste verschillen met de vertaling van DeepL bestaan uit:

Net als bij DeepL blijven de serieuze fouten uit zin 8, 9 en 10 aanwezig.

Kies de juiste vertaalmethode

Als u snel en goedkoop een tekst wilt vertalen en 'goed' vindt volstaan, dan raad ik u aan om te kiezen voor DeepL in plaats van ChatGPT. Vergeet niet om de machinevertaling voor publicatie altijd te laten redigeren!

Voor een afgewogen oordeel over de vertaalmethode die het best bij u past, zou u de verschillende methoden naast kwaliteit moeten vergelijken op privacy, onderscheidend vermogen, tekstlengte en levertijd.

bekijk algehele vergelijking



Auteursprofiel

Vertaler Engels-Nederlands Erwin van Wouw

Erwin van Wouw (1973) woont in Utrecht en werkt al ruim 16 jaar als gediplomeerd en gecertificeerd technisch vertaler Engels-Nederlands. Hij helpt organisaties bij het vertalen van hun Engelstalige documenten naar correct en goedlopend Nederlands.