Empirical Comparison of Evaluation Methods for Unsupervised Learning of Morphology

Unsupervised and semi-supervised learning of morphology provide practical solutions for processing morphologically rich languages with less human labor than the traditional rule-based analyzers. Direct evaluation of the learning methods using linguistic reference analyses is important for their development, as evaluation through the final applications is often time consuming. However, even linguistic evaluation is not straightforward for full morphological analysis, because the morpheme labels generated by the learning method can be arbitrary. We review the previous evaluation methods for the learning tasks and propose new variations. In order to compare the methods, we perform an extensive meta-evaluation using the large collection of results from the Morpho Challenge competitions. RÉSUMÉ. L’apprentissage non supervisé et semi-supervisé de la morphologie fournit des solutions pratiques pour le traitement des langues morphologiquement riches et requiert une intervention humaine réduite comparée aux analyseurs traditionnels basés sur des règles. L’évaluation directe des méthodes d’apprentissage utilisant des analyses de référence linguistique est importante pour leur développement, puisque l’évaluation par les applications finales prend généralement beaucoup de temps. Cependant, même l’évaluation linguistique n’est pas simple pour l’analyse morphologique complète, car les identifiants de morphèmes générés par la méthode d’apprentissage peuvent se révéler arbitraires. Nous passons en revue les méthodes d’évaluation existantes pour les tâches d’apprentissage et proposons de nouvelles variations. Afin de comparer les méthodes, nous effectuons une vaste méta-évaluation à l’aide de l’importante base de résultats provenant des compétitions Morpho Challenge.