Les IA et les supercalculateurs

Sans supercalculateurs, pas d'IA. Sans carburant, la Ferrari reste au garage. 
Connaissez-vous le Top 500 ? 
 
Pour comprendre les enjeux des IA, il faut comprendre l'importance du temps machine et de la puissance de calcul dans le développement des modèles d'IA. 
 
Les modèles d'IA sont pour la plupart issus de la recherche fondamentale, à la croisée de plusieurs disciplines: science humaines, informatique, mathématique, physique, ... 
 
Un modèle, c'est l'ensemble des relations conceptuelles et théoriques qui lient des variables et des paramètres. 
 
Par exemple, si tu marches sur une peau de banane, tu tombes ! Derrière ce modèle, il y a une théorie: la gravité. 
 
Mais ces modèles sont purement conceptuels. Pour qu'ils deviennent utilisables, ils doivent être codés, et exécutés sur des machines très puissantes. 
 
Et c'est là qu'apparaît un écueil majeur. 
 
Concevoir un modèle d'IA, cela peut se faire dans un petit laboratoire, à 5 ou 6 chercheurs, avec quelques ordinateurs. 
 
Un modèle peut tenir en format texte sur un document de quelques centaines de pages. 
 
Sauf que les modèles d'IA contiennent des milliards de variables et de paramètres. 
 
Donc concevoir un modèle d'IA peut se faire sur des ordinateurs communs, mais exécuter le modèle nécessite des superordinateurs. 
 
Et c'est là que l'on parle du Top 500 ! 
 
Le Top 500, c'est le classement des 500 supercalculateurs les plus puissants du monde. 
 
Sur les 10 plus puissants supercalculateurs au monde, 5 sont aux USA, 2 en Chine (officiellement), 2 en Europe et 1 au Japon. 
 
Soyons clair: il est peu probable de parvenir à développer, déployer et faire adopter une IA sans un accès privilégié à un supercalculateur. 
 
Le supercalculateur, c'est LA ressources clé. 
 
Il y a une corrélation de 1 entre accès à du temps machine et vitesse de développement des modèles d'IA. 
 
Pour résumer: un accès à un supercalculateur peut faire gagner plusieurs années à une équipe. Le temps machine, c'est le fuel de l'IA. 
 
En l'espèce, les USA disposent donc d'un avantage concurrentiel considérable, tout comme la Chine. 
 
La puissance de calcul, c'est l'épine dorsale de l'IA. 
 
Et voilà pourquoi la croissance d'Open AI avec Chat GPT repose en grande partie sur le partenariat avec Microsoft. En effet, Open AI a élaboré des modèles très sophistiqués et Microsoft a apporté du cash, mais aussi et surtout du temps machine: un accès privilégié aux serveurs et au temps de calcul. Azure ! 
 
Donc Open AI a construit une superbe voiture, performante et confortable, et Microsoft fourni le carburant. 
 
Sans le carburant, la Ferrari reste au garage. 
 
D'où la puissance du partenariat OpenAI-Microsoft 
 
Mais attention, tout n'est pas perdu. Et nous pouvons espérer beaucoup du projet KyuteAI qui commence à dévoiler de belles choses !