Cet exemple était assez marquant pour moi, parce que des operations NAND et XOR avec 8 inputs se font en quelques portes logiques. C'est typiquement le genre d'opérations pour lesquels la logique binaire fonctionne hyper bien, y compris avec des inputs qui ne sont pas des niveaux logiques 1/0, l'inverseur va amplifier et inverser le signal pour convertir un niveau de tension en entrée en 0 ou 1 pour le prochain étage.
Pour émuler ça avec un réseau de neurones on a besoin de calcul floating point avec un hardware beaucoup plus compliqué et séquentiel en particulier en utilisant des FPUs de CPU standard. Je suis d'accord que c'est le prix de la flexibilité du "réseau de neurones" en hardware pour modéliser tout type de problème, pas juste NAND et XOR.
Le genre d'opération à implémenter:
output = max(input0*coeff0 + input1*coeff1 + input2*coeff2 [...] + inputn*coeffn + constante,0)
C'est sans doute possible d'avoir une efficacité matérielle par trop mauvaise avec une précision de nombre à virgule flottante plus grossière (l'exemple plus haut c'est du 8 bits).
[^] # Re: merci pour le lien
Posté par bobo38 . En réponse au lien Votre cerveau n'est pas un ordinateur. Évalué à 3. Dernière modification le 14 juin 2024 à 10:05.
Cet exemple était assez marquant pour moi, parce que des operations NAND et XOR avec 8 inputs se font en quelques portes logiques. C'est typiquement le genre d'opérations pour lesquels la logique binaire fonctionne hyper bien, y compris avec des inputs qui ne sont pas des niveaux logiques 1/0, l'inverseur va amplifier et inverser le signal pour convertir un niveau de tension en entrée en 0 ou 1 pour le prochain étage.
Pour émuler ça avec un réseau de neurones on a besoin de calcul floating point avec un hardware beaucoup plus compliqué et séquentiel en particulier en utilisant des FPUs de CPU standard. Je suis d'accord que c'est le prix de la flexibilité du "réseau de neurones" en hardware pour modéliser tout type de problème, pas juste NAND et XOR.
Le genre d'opération à implémenter:
output = max(input0*coeff0 + input1*coeff1 + input2*coeff2 [...] + inputn*coeffn + constante,0)
Quelques liens intéressants:
https://www.hpcwire.com/2023/08/07/the-great-8-bit-debate-of-artificial-intelligence/
https://en.wikipedia.org/wiki/Floating-point_arithmetic#Internal_representation
https://en.wikipedia.org/wiki/Minifloat#Table_of_values
C'est sans doute possible d'avoir une efficacité matérielle par trop mauvaise avec une précision de nombre à virgule flottante plus grossière (l'exemple plus haut c'est du 8 bits).