Lightelligence Colibri bas

Aug 13, 2023

Lors du Hot Chips 2023, Lightelligence a présenté son moteur de connexion optique à faible latence Hummingbird. Nous avons réussi à en trouver un à l’extérieur de l’auditorium pour prendre un instantané pour une image de couverture.

Néanmoins, ceci est écrit en temps réel, alors veuillez excuser les fautes de frappe.

Il s’agit d’un autre tableau indiquant que la demande de calcul de l’IA dépasse de loin la mise à l’échelle des transistors.

Lightelligence se concentre sur l’augmentation de l’optique dans le calcul. Aujourd’hui, l’entreprise parle de l’Optical NOC. Cela utilise une puce et une carte de test que nous avons vues à l'extérieur, mais qui ne représentent qu'une partie du portefeuille de l'entreprise.

La société affirme que la création d'architectures spécifiques à un domaine pour traiter des formats numériques, des mathématiques et du parallélisme spécifiques constitue un domaine d'amélioration des performances.

Un autre domaine permettant d'augmenter les performances consiste à ajouter davantage de silicium aux boîtiers.

Les interconnexions utilisant des signaux électriques sont considérées comme inefficaces.

Ici, Lightelligence parle d'un réseau optique sur puce ou oNOC. L'idée est d'utiliser la lumière au lieu de la signalisation électrique sur un emballage pour augmenter l'efficacité.

Cela permet également différents types de topologies puisque les guides d’ondes optiques peuvent couvrir de plus longues distances.

Cela permet une meilleure mise à l’échelle à mesure que la distance entre les chiplets augmente. Ceci est important car les chipsets peuvent être moins coûteux à fabriquer, mais ils doivent ensuite être connectés sur des boîtiers.

Hummingbird est l'exemple d'utilisation de l'oNOC. Il dispose d'un FPGA, d'un laser externe et d'un SiP tiers emballé sur une carte. Cet oNOC permet des choses comme la diffusion tout-à-tout.

Hummingbird se concentre sur la mise en place d'une connectivité optique sur un boîtier utilisant un circuit intégré photonique ou PIC ainsi que des puces électroniques en silicium.

L'interposeur alimente les puces. Le PIC du bas est le composant optique. L'EIC est à nouveau au sommet. Ce SiP est une architecture SIMD avec un ISA personnalisé avec des clusters de huit cœurs.

La grande différence réside dans le réseau de diffusion optique avec une structure en forme de U. Grâce à cela, chaque cœur peut mettre à jour tous les autres cœurs et ne pas avoir de croisement de guides d'ondes dans le PIC.

Voici la microarchitecture du noyau. Il s'agit d'un noyau d'inférence AI DSA. Chaque autre cœur peut envoyer ses données via la réception oNOC et chaque cœur peut également recevoir des données via la quantification et la transmission oNOC.

Voici les métriques sur le Colibri.

Voici un système avec Hummingbird dans un châssis GPU PCIe.

Voici les mesures de performances.

Lightelligence indique qu'il peut coudre des puces de différentes tailles. Il semble qu'il se concentre sur la construction de quelque chose au-delà d'une puce rectile limitée comme la NVIDIA H100.

Voici à nouveau les solutions :

L’utilisation d’un packaging 3D rendra cette technologie plus intéressante. La question suivante, bien sûr, est de savoir si d’autres entreprises rechercheront cela pour la communication entre puces, ou si d’autres types de technologies prendront le relais. Il s’agit d’une technologie intéressante, mais de nombreux grands fournisseurs s’intéressent également aux technologies optiques.

Espérons que nous obtiendrons une mise à jour lors d’un prochain Hot Chips.