Using a co-similarity approach on a large scale text categorization task

This paper presents a framework we developed for the second Large Scale Hierarchical Text Categorization challenge LSHTC2 . The main idea is to propose a method allowing to deal with the terms variability among the categories in order to be able to find similarities between collections of documents belonging to the same category but having few common terms. Thus, we used a co-similarity based approach, named χ-Sim, that we introduced in previous work. Nevertheless, as this co-similarity methods are not highly scalable, we need to implement a “divide and conquer” approach to split the categories into a set of clusters containing semantically related documents. This lead to a two-stage strategy for the document categorization: first, we decide in which cluster the test document belongs, and then inside the elected cluster, we perform the final categorization that is based on our co-similarity approach. RÉSUMÉ. Ce papier présente une architecture développée pour participer au second défi LSHTC de classification de textes à grande échelle. L’idée est de proposer une méthode permettant de traiter la variabilité terminologique des documents afin de trouver des similarités entre des collections appartenant à la même catégorie sémantique, mais n’ayant que peu de termes en communs. Nous avons utilisé une approche basée sur la co-similarité, nommé χ-Sim, présentée dans de précédents travaux. Néanmoins, cette méthode de calcul de co-similarité passant difficilement à l’échelle, nous avons défini une approche de type « diviser pour régner » pour découper les catégories en groupes (clusters) contenant des documents sémantiquement proches. Ceci nous conduit à une stratégie à deux étapes pour la tâche de classification des documents : premièrement, nous affectons chaque document à un cluster, puis à l’intérieur de celui-ci, nous réalisons la classification finale basée sur notre approche de calcul de co-similarité.