Accurate Computation of the Relative Entropy Between Stochastic Regular Grammars

Works dealing with grammatical inference of stochastic grammars often evaluate the relative entropy between the model and the true grammar by means of large test sets generated with the true distribution. In this paper, an iterative procedure to compute the relative entropy between two stochastic deterministic regular grammars is proposed. Resumé Les travails sur l’inférence de grammaires stochastiques évaluent l’entropie relative entre le modèle et la vraie grammaire en utilisant grands ensembles de test générés avec la distribution correcte. Dans cet article, on propose une procédure itérative pour calculer l’entropie relative entre deux grammaires.