@inproceedings{baneras-roux-etal-2023-hats,
title = "{HATS} : Un jeu de donn{\'e}es int{\'e}grant la perception humaine appliqu{\'e}e {\`a} l{'}{\'e}valuation des m{\'e}triques de transcription de la parole",
author = "Ba{\~n}eras-Roux, Thibault and
Wottawa, Jane and
Rouvier, Mickael and
Merlin, Teva and
Dufour, Richard",
editor = "Servan, Christophe and
Vilnat, Anne",
booktitle = "Actes de CORIA-TALN 2023. Actes de la 30e Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles (TALN), volume 4 : articles d{\'e}j{\`a} soumis ou accept{\'e}s en conf{\'e}rence internationale",
month = "6",
year = "2023",
address = "Paris, France",
publisher = "ATALA",
url = "https://aclanthology.org/2023.jeptalnrecital-international.2",
pages = "10--18",
abstract = "Traditionnellement, les syst{\`e}mes de reconnaissance automatique de la parole (RAP) sont {\'e}valu{\'e}s sur leur capacit{\'e} {\`a} reconna{\^\i}tre correctement chaque mot contenu dans un signal vocal. Dans ce contexte, la mesure du taux d{'}erreur-mot est la r{\'e}f{\'e}rence pour {\'e}valuer les transcriptions vocales. Plusieurs {\'e}tudes ont montr{\'e} que cette mesure est trop limit{\'e}e pour {\'e}valuer correctement un syst{\`e}me de RAP, ce qui a conduit {\`a} la proposition d{'}autres variantes et d{'}autres m{\'e}triques. Cependant, toutes ces m{\'e}triques restent orient{\'e}es {``}syst{\`e}me{''} alors m{\^e}me que les transcriptions sont destin{\'e}es {\`a} des humains. Dans cet article, nous proposons un jeu de donn{\'e}es original annot{\'e} manuellement en termes de perception humaine des erreurs de transcription produites par divers syst{\`e}mes de RAP. Plus de 120 humains ont {\'e}t{\'e} invit{\'e}s {\`a} choisir la meilleure transcription automatique entre deux hypoth{\`e}ses. Nous {\'e}tudions la relation entre les pr{\'e}f{\'e}rences humaines et diverses mesures d{'}{\'e}valuation pour les syst{\`e}mes de RAP, y compris les mesures lexicales et celles fond{\'e}es sur les plongements de mots.",
language = "French",
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="baneras-roux-etal-2023-hats">
<titleInfo>
<title>HATS : Un jeu de données intégrant la perception humaine appliquée à l’évaluation des métriques de transcription de la parole</title>
</titleInfo>
<name type="personal">
<namePart type="given">Thibault</namePart>
<namePart type="family">Bañeras-Roux</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Jane</namePart>
<namePart type="family">Wottawa</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Mickael</namePart>
<namePart type="family">Rouvier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Teva</namePart>
<namePart type="family">Merlin</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Richard</namePart>
<namePart type="family">Dufour</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2023-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">French</languageTerm>
<languageTerm type="code" authority="iso639-2b">fre</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 4 : articles déjà soumis ou acceptés en conférence internationale</title>
</titleInfo>
<name type="personal">
<namePart type="given">Christophe</namePart>
<namePart type="family">Servan</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Anne</namePart>
<namePart type="family">Vilnat</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA</publisher>
<place>
<placeTerm type="text">Paris, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Traditionnellement, les systèmes de reconnaissance automatique de la parole (RAP) sont évalués sur leur capacité à reconnaître correctement chaque mot contenu dans un signal vocal. Dans ce contexte, la mesure du taux d’erreur-mot est la référence pour évaluer les transcriptions vocales. Plusieurs études ont montré que cette mesure est trop limitée pour évaluer correctement un système de RAP, ce qui a conduit à la proposition d’autres variantes et d’autres métriques. Cependant, toutes ces métriques restent orientées “système” alors même que les transcriptions sont destinées à des humains. Dans cet article, nous proposons un jeu de données original annoté manuellement en termes de perception humaine des erreurs de transcription produites par divers systèmes de RAP. Plus de 120 humains ont été invités à choisir la meilleure transcription automatique entre deux hypothèses. Nous étudions la relation entre les préférences humaines et diverses mesures d’évaluation pour les systèmes de RAP, y compris les mesures lexicales et celles fondées sur les plongements de mots.</abstract>
<identifier type="citekey">baneras-roux-etal-2023-hats</identifier>
<location>
<url>https://aclanthology.org/2023.jeptalnrecital-international.2</url>
</location>
<part>
<date>2023-6</date>
<extent unit="page">
<start>10</start>
<end>18</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T HATS : Un jeu de données intégrant la perception humaine appliquée à l’évaluation des métriques de transcription de la parole
%A Bañeras-Roux, Thibault
%A Wottawa, Jane
%A Rouvier, Mickael
%A Merlin, Teva
%A Dufour, Richard
%Y Servan, Christophe
%Y Vilnat, Anne
%S Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 4 : articles déjà soumis ou acceptés en conférence internationale
%D 2023
%8 June
%I ATALA
%C Paris, France
%G French
%F baneras-roux-etal-2023-hats
%X Traditionnellement, les systèmes de reconnaissance automatique de la parole (RAP) sont évalués sur leur capacité à reconnaître correctement chaque mot contenu dans un signal vocal. Dans ce contexte, la mesure du taux d’erreur-mot est la référence pour évaluer les transcriptions vocales. Plusieurs études ont montré que cette mesure est trop limitée pour évaluer correctement un système de RAP, ce qui a conduit à la proposition d’autres variantes et d’autres métriques. Cependant, toutes ces métriques restent orientées “système” alors même que les transcriptions sont destinées à des humains. Dans cet article, nous proposons un jeu de données original annoté manuellement en termes de perception humaine des erreurs de transcription produites par divers systèmes de RAP. Plus de 120 humains ont été invités à choisir la meilleure transcription automatique entre deux hypothèses. Nous étudions la relation entre les préférences humaines et diverses mesures d’évaluation pour les systèmes de RAP, y compris les mesures lexicales et celles fondées sur les plongements de mots.
%U https://aclanthology.org/2023.jeptalnrecital-international.2
%P 10-18
Markdown (Informal)
[HATS : Un jeu de données intégrant la perception humaine appliquée à l’évaluation des métriques de transcription de la parole](https://aclanthology.org/2023.jeptalnrecital-international.2) (Bañeras-Roux et al., JEP/TALN/RECITAL 2023)
ACL