Epines dorsales
L'un des problèmes posés par les architectures d'ordinateurs massivement parallèles (où fonctionnent un grand nombre de processeurs) est la communication entre les unités de traitement. En effet, il ne suffit pas de décomposer un problème en une multitude de parties exécutées en parallèle pour accélérer d'autant le calcul si certaines d'entre elles doivent partir de résultats obtenus par les autres.
Une solution classique comme un bus (une voie commune à laquelle sont connectés tous les processeurs et qu'ils se partagent) montre très vite ses limites car il n'est pas possible que 2 éléments y fassent passer simultanément des informations. L'interconnexion totale des unités 2 à 2 par des canaux séparés pose bien sûr des problèmes matériels quand le nombre de celles-ci augmente beaucoup, sans parler des questions de fiabilité que cela peut soulever. Une interconnexion limitée, en étant plus viable techniquement, peut, si elle est figée, être bien adaptée à certains calculs à réaliser et pas du tout à d'autres selon les configurations choisies.
D'un autre coté, les fibres optiques permettent de transmettre des données à un débit bien supérieur à celui obtenu sur des fils électriques. Il est même possible d'utiliser simultanément plusieurs longueurs d'onde de lumière, ce qui multiplie d'autant leurs capacités. La technique du multiplexage, quant à elle, consiste à utiliser un seul canal pour envoyer des suites d'informations qui n'ont rien à voir entre elles en le "découpant en tranches" (temporelles) et en effectuant un roulement. Ainsi, une seule fibre optique peut remplacer un grand nombre de liaisons électrique, surtout si le débit de chacune d'elles n'est pas constant (il est possible de jongler en les fermant et les rouvrant à tout moment).
L'architecture d'un ordinateur massivement parallèle pourrait être conçue selon des niveaux successifs : des unités de traitement regroupées sur une puce, des puces regroupées selon un nombre viable, des groupes reliés entre eux par des fibres optiques en passant par des circuits concentrateurs recevant les branchements des puces. Comme chaque concentrateur pourrait avoir plus d'une connexion optique pour n électriques, on obtiendrait même peut-être ainsi une interconnexion plus dense que ce qui serait envisageable par des moyens classiques. Il suffit de déterminer la limite "d'encombrement" acceptable pour la quasi-totalité des calculs pour savoir combien de liaisons peuvent transiter par une fibre et si un deuxième niveau de concentrateurs est souhaitable (à cause de limites de taille de l'électronique employée).