UniWiki: A Reliable and Scalable Peer-to-Peer System for Distributing Wiki Applications

The ever growing request for digital information raises the need for content distribution architectures providing high storage capacity, data availability and good performance. While many simple solutions for scalable distribution of quasi-static content exist, there are still no approaches that can ensure both scalability and consistency for the case of highly dynamic content, such as the data managed inside wikis. In this paper, we propose a peer to peer solution for distributing and managing dynamic content, that combines two widely studied technologies: distributed hash tables (DHT) and optimistic replication. In our “universal wiki” engine architecture (UniWiki), on top of a reliable, inexpensive and consistent DHT-based storage, any number of front-ends can be added, ensuring both read and write scalability. The implementation is based on a Distributed Interception Middleware, thus separating distribution, replication, and consistency responsibilities, and also making our system usable by third party wiki engines in a transparent way. UniWiki has been proved viable and fairly efficient in large-scale scenarios. Key-words: Collaborative editing, Optimistic replication, Peer-to-peer, Distributed Interception ∗ Project-Team ECOO, LORIA, INRIA Nancy Grand Est, Nancy-Universié, {oster,molli}@loria.fr † XWiki SAS, Nancy-Universié, [email protected] ‡ Universitat Rovira i Virgili, Spain, [email protected] in ria -0 03 64 46 2, v er si on 1 26 F eb 2 00 9 UniWiki: Une architecture fiable et supportant le passage à l’échelle pour la distribution d’applications orientées wiki Résumé : L’utilisation grandissante des documents numériques soulève un besoin en de nouvelles architectures proposant une immense capacité de stockage tout en garantissant une haute disponibilité des données stockées. Bien que de nombreuses propositions aient été réalisées pour répondre à cette demande pour la distribution de données quasi-immuables, il n’existe pas ou peu de proposition qui s’intéresse à ce problème pour des données hautement dynamiques telles que les données gérées par les serveurs wiki. Dans cet article, nous proposons une architecture pair-à-pair pour la distribution et la gestion de contenu hautement dynamique. Cette solution repose sur une table de hachage distribuée combinée avec un mécanisme de réplication optimiste. Afin de valider cette proposition, nous présentons une implémentation réalisée en utilisant un canevas d’interception distribué qui permet d’une part de séparer les responsabilités de distribution, de réplication et de maintien de la cohérence, et également, d’intégrer notre approche de manière transparente aux serveurs d’applications wiki existants. Cette implémentation s’est montrée viable et efficace dans des scénarios d’expérimentation à large échelle. Mots-clés : Édition collaborative, Réplication optimiste, Réseaux pair-à-pair, Interception distribuée in ria -0 03 64 46 2, v er si on 1 26 F eb 2 00 9 UniWiki: A Reliable and Scalable Peer-to-Peer System for Distributing Wiki Applications 3