Tree traversals with task-memory affinities

We study the complexity of traversing tree-shaped workflows whose tasks require large I/O files. We target a heterogeneous architecture with two resource types, each with a different memory, such as a multicore node equipped with a dedicated accelerator (FPGA or GPU). The tasks in the workflow are colored according to their type and can be processed if all their input and output files can be stored in the corresponding memory. The amount of used memory of each type at a given execution step strongly depends upon the ordering in which the tasks are executed, and upon when communications between both memories are scheduled. The objective is to determine an efficient traversal that minimizes the maximum amount of memory of each type needed to traverse the whole tree. In this paper, we establish the complexity of this two-memory scheduling problem, and provide inapproximability results. In addition, we design several heuristics, based on both post-order and general traversals, and we evaluate them on a comprehensive set of tree graphs, including random trees as well as assembly trees arising in the context of sparse matrix factorizations. Key-words: Scheduling, Memory-aware, Sparse matrix factorization, Multifrontal method, Tree traversal, Bi-objective optimization ∗ Ecole Normale Supérieure de Lyon, CNRS & INRIA, France † University of Tennessee Knoxville, USA ha l-0 07 87 75 3, v er si on 1 22 M ar 2 01 3 Ordonnancement d’arbres de tâches avec affinité mémoire Résumé : Dans ce rapport, nous nous intéressons à la complexité du traitement d’arbres de tâches utilisant de gros fichiers d’entrée et de sortie. Nous nous focalisons sur une architecture hétérogène avec deux types de ressources, utilisant chacune une mémoire spécifique, comme par exemple un noeud multicore équipé d’un accélérateur (FPGA ou GPU). Les tâches de l’arbre sont colorées suivant leur type et peuvent être exécutées si tous leurs fichiers d’entrée et de sortie peuvent être stockés dans la mémoire correspondante. La quantité de mémoire de chaque type utilisée à une étape donnée de l’exécution dépend fortement de l’ordre dans lequel les tâches sont exécutées et du moment où sont effectuées les communications entre les deux mémoires. L’objectif est de déterminer un ordonnancement efficace qui minimise la quantité de mémoire de chaque type nécessaire pour traiter l’arbre entier. Dans ce rapport, nous établissons la complexité de ce problème d’ordonnancement à deux mémoires et nous fournissons des résultats d’inapproximabilité. De plus, nous proposons plusieurs heuristiques, fondées à la fois sur des traversées d’arbres en profondeur et des traversées générales, que nous évaluons sur un ensemble complet d’arbres, comprenant des arbres aléatoires ainsi que des arbres rencontrés dans le domaine de la factorisation de matrices creuses. Mots-clés : Ordonnancement, Contrainte Mémoire, Factorisation de matrices creuses, Méthode multifrontale, Traversée d’arbres, Optimisation bi-critère ha l-0 07 87 75 3, v er si on 1 22 M ar 2 01 3 Tree traversals with task-memory affinities 3