What If We Used Poetry to Teach Computers to Speak Better?

Released: 17-Nov-2010 11:00 PM EST
Source Newsroom: McGill University
Contact Information

Available for logged-in reporters only

Citations Cognition (2-117)

McGill linguist’s findings show how languages differ in their use of emphasis

Newswise — A better understanding of how we use acoustic cues to stress new information and put old information in the background may help computer programmers produce more realistic-sounding speech. Dr. Michael Wagner, a researcher in McGill’s Department of Linguistics, has compared the way French- and English-speakers evaluate poetry, as a way of finding evidence for a systematic difference in how the two languages use these cues. “Voice synthesis has become quite impressive in terms of the pronunciation of individual words,” Wagner explained. “But when a computer ‘speaks,’ whole sentences still sound artificial because of the complicated way we put emphasis on parts of them, depending on context and what we want to get across.”

A first step to understanding this complexity is to gain better knowledge of how we decide where to put emphasis. This is where poetry comes into play. Wagner has looked at prosody, which means the rhythm, stress and intonation of speech. Poetry relies heavily on prosody, and by making a comparison between languages, he is able to uncover how prosody functions differently in English and French.

Working with Katherine McCurdy at Harvard University, Wagner recently published research that examined the use of identical rhymes in each language. “These are rhymes in which the stressed syllables do not just rhyme, but are identical, such as write/right or attire/retire,” Wagner explained. “It is commonly used in French poetry, while in English poetry it is considered to be unconventional and even unacceptable.” Wagner gave the following example from a book by John Hollander:

The weakest way in which two words can chime
Is with the most expected kind of rhyme —
(If it’s the only rhyme that you can write,
A homophone will never sound quite right.)

The study shows that identical rhymes fit into a general pattern that also applies outside of poetry: even when repeated words differ in meaning and merely sound the same, the repeated information should be acoustically reduced, otherwise it sounds distinctly odd. “It’s sort of a bug of the way English uses prosody,” Wagner said, “but one that hardly ever creates a problem, because it occurs so rarely in natural speech.” Wagner is now working on a model that makes better predictions about where emphasis should fall in a sentence given the discourse context. His findings were published in the journal Cognition and received funding Quebec’s Fonds de recherche sur la société et la culture and a Canada Research Chair in Speech and Language Processing grant.

For more information:
McGill’s Department of Linguistics http://www.mcgill.ca/linguistics/

French:
Et si nous utilisions la poésie pour enseigner
aux ordinateurs comment mieux s'exprimer?
Les découvertes d'un linguiste mcgillois montrent comment les langages diffèrent lorsqu'il est question d'accentuer une syllabe ou un mot

Une meilleure compréhension de la manière dont nous utilisons les signaux acoustiques pour attirer l'attention sur de nouveaux renseignements et mettre de côté les anciens pourrait aider les programmeurs informatiques à produire une voix plus réaliste. Le professeur Michael Wagner, chercheur au Département de linguistique de McGill, a comparé la manière dont les francophones et les anglophones évaluent la poésie, pour prouver qu'il existe une différence systématique dans la façon dont les deux langues utilisent ces signaux. « La voix synthétique est aujourd’hui assez impressionnante en termes de prononciation de mots individuels », a expliqué monsieur Wagner. « Mais lorsqu'un ordinateur “ parle “, les phrases complètes semblent encore artificielles en raison de la manière complexe dont nous en accentuons certaines parties, selon le contexte et le message que nous voulons transmettre. »

Une première étape vers la compréhension de cette complexité consiste à perfectionner nos connaissances sur la manière dont nous décidons où mettre l’accent dans une phrase. Et c'est là qu'entre en jeu la poésie. Le professeur Wagner a examiné la prosodie, c'est-à-dire le rythme, l'accent et l'intonation de la voix. La poésie dépend lourdement de la prosodie, et en comparant l'anglais et le français, il a pu découvrir comment celle-ci fonctionne différemment dans ces deux langues.

En travaillant avec Katherine McCurdy à l'Université Harvard, Michael Wagner a récemment publié le résultat d'une recherche qui se penche sur l'utilisation des rimes identiques dans chaque langue. « Ce sont des rimes dans lesquelles les syllabes accentuées ne font pas que rimer; elles sont identiques, comme écrire/rire ou attire/retire », a-t-il expliqué. « C'est courant en poésie française, alors qu'en anglais, on considère cette pratique comme non conventionnelle, voire inacceptable. » Le professeur Wagner a donné l'exemple suivant, tiré d'un ouvrage de John Hollander :

The weakest way in which two words can chime
Is with the most expected kind of rhyme —
(If it’s the only rhyme that you can write,
A homophone will never sound quite right.)

L’étude indique que les rimes identiques s’insèrent dans un modèle général qui s’applique également à l’extérieur de la poésie. Même lorsque des mots répétés diffèrent en signification et se prononcent pratiquement de la même façon, l’information répétée devrait être réduite acoustiquement, sans quoi elle semblera vraiment étrange. « L'anglais utilise la prosodie d'une manière un peu embêtante », dit-il, « mais qui ne constitue que rarement un problème, parce que cela se produit peu fréquemment dans le discours naturel ». À l'heure actuelle, le professeur Wagner travaille à un modèle qui effectue de meilleures prédictions sur l'endroit où mettre l’accent dans une phrase, en fonction du contexte. Financées par le Fonds de recherche sur la société et la culture du Québec et une subvention de la Chaire de recherche du Canada en traitement de la voix et du langage, ses découvertes ont été publiées dans le journal Cognition.

Pour plus de renseignements :
Département de linguistique de l'Université McGill : http://www.mcgill.ca/linguistics/


Comment/Share