|
Le calcul parallèle et le calcul distribué visent tous deux un traitement efficace des tâches, mais leur approche diffère considérablement :
Calcul parallèle :
* Concentration : Effectuer plusieurs calculs *simultanément* au sein d'un seul système informatique. Cela exploite plusieurs unités de traitement (cœurs, threads, etc.) au sein de la même machine.
* Communication : La communication entre les unités de traitement est relativement rapide et efficace car elles partagent le même espace mémoire (ou au moins disposent d'une interconnexion à haut débit). Le partage de données est souvent simple.
* Modèle de programmation : Implique souvent l’utilisation de techniques telles que le multithreading, le multiprocessing ou les instructions SIMD (Single Instruction, Multiple Data). Des bibliothèques comme OpenMP, MPI (bien que également utilisées en distribution) et CUDA sont couramment utilisées.
* Évolutivité : Limité par les ressources physiques (nombre de cœurs, mémoire, bande passante E/S) d'une seule machine. Pour ajouter plus de puissance de traitement, il faut se procurer une machine plus puissante.
* Exemple : Exécution d'une simulation complexe utilisant plusieurs cœurs sur un seul poste de travail haut de gamme.
Informatique distribué :
* Concentration : Effectuer plusieurs calculs *simultanément* sur plusieurs ordinateurs indépendants (nœuds) connectés par un réseau.
* Communication : La communication entre les nœuds repose sur un réseau (par exemple Ethernet, Infiniband), qui est intrinsèquement plus lent et plus complexe que la communication interne au sein d'une seule machine. Le partage de données nécessite des mécanismes de communication explicites. La latence du réseau et la bande passante deviennent des facteurs critiques.
* Modèle de programmation : Implique souvent l'utilisation de techniques de transmission de messages (par exemple, MPI) ou d'architectures sans partage (par exemple, utilisation de bases de données). La coordination entre les nœuds est plus difficile.
* Évolutivité : Peut s'adapter à des problèmes très importants en ajoutant davantage d'ordinateurs au réseau. La limite théorique est bien supérieure au calcul parallèle sur une seule machine.
* Exemple : Un moteur de recherche Web à grande échelle, dans lequel de nombreux serveurs travaillent ensemble pour indexer et récupérer des pages Web. Le cloud computing est un exemple frappant d'informatique distribuée.
Résumé des principales différences :
| Fonctionnalité | Calcul parallèle | Informatique distribuée |
|-----------------|-----------------------------|--------------------------------------------|
| Matériel | Une seule machine, plusieurs processeurs | Plusieurs machines indépendantes |
| Communication | Mémoire rapide et partagée (souvent) | Plus lent, basé sur le réseau |
| Évolutivité | Limité par les ressources d'une seule machine | Hautement évolutif |
| Complexité | Relativement plus simple à programmer | Beaucoup plus complexe à programmer |
| Partage de données | Plus facile, souvent implicite | Communication plus complexe et explicite |
Dans certains cas, vous pouvez combiner les deux approches, en utilisant un cluster d'ordinateurs (informatique distribuée) où chaque ordinateur effectue lui-même des calculs parallèles. Cela offre le meilleur des deux mondes :une évolutivité élevée et une utilisation efficace des ressources de chaque machine.
|
