Sous le grand cerf de Lascaux, il y a un rectangle. Quatre traits noirs, presque effacés, tracés il y a 21 000 ans. Pas un animal, pas un récit de chasse, juste une forme nue, minimale. C'est par ce détail discret que Stanislas Dehaene ouvre son livre. Non pour proposer une nouvelle lecture archéologique de la grotte, mais pour explorer une thèse ambitieuse : la géométrie ne serait pas une invention tardive des Grecs, mais une propriété intrinsèque du cerveau d'Homo sapiens. Pour le chercheur, ce rectangle signale qu'une intelligence a voulu stabiliser une figure qui n'existe pas telle quelle dans la nature. De fait, Le Rectangle de Lascaux s'inscrit dans le prolongement des cours au Collège de France que le neuroscientifique, titulaire de la chaire de psychologie cognitive expérimentale, consacre depuis plusieurs années aux fondements cérébraux des mathématiques. Ici, les grottes ornées dialoguent avec l'IRM fonctionnelle et les bifaces avec les cartes d'activation corticale. Sans cesse, les détours par la préhistoire élargissent l'horizon : les ocres de la grotte de Blombos (Afrique du Sud), gravés il y a 70 000 ans, organisent déjà des réseaux de lignes parallèles ; des coquilles d'œufs d'autruche portent des frises régulières ; à Java, un coquillage attribué à Homo erectus présente un zigzag vieux de plus d'un demi-million d'années ; tandis que les bifaces acheuléens, façonnés depuis 1,7 million d'années, exhibent une symétrie recherchée.

Mais l'argument central du livre se joue dans la comparaison entre espèces et dans l'analyse des circuits cérébraux. Les travaux expérimentaux rappelés ici - études développementales, imagerie cérébrale chez le mathématicien expert, enquêtes auprès de populations amazoniennes peu scolarisées, enregistrements neuronaux chez le primate - montrent que le « sens du nombre » est largement partagé : des neurones du cortex pariétal et préfrontal codent les quantités. L'évolution a donc doté bien avant nous les cerveaux animaux d'outils numériques approximatifs. Ce qui change d'échelle chez Homo sapiens, soutient Dehaene, c'est la capacité à manipuler des structures symboliques hiérarchiques, ce qu'il appelle la compositionalité : "Toute figure géométrique (...) traduit une caractéristique fondamentale de la cognition humaine : la capacité de former des pensées symboliques et de construire sur cette base une pyramide infinie de concepts." Un carré n'est pas seulement perçu, il est reconstruit comme "quatre côtés, quatre angles droits".

Les formes deviennent ainsi des briques combinables, susceptibles d'engendrer une infinité d'idées. De sorte que les mathématiques émergent non comme un pur produit culturel, ni comme une révélation platonicienne, mais comme l'extension d'une architecture cérébrale façonnée par l'évolution, marquée par l'expansion des régions préfrontales et temporo-pariétales. "L'explosion de nos idées provient de la compositionalité de notre langage intérieur", assure Stanislas Dehaene. Et la géométrie en serait l'expression la plus visible. Alors que la devise attribuée à l'Académie de Platon - "Que nul n'entre ici s'il n'est géomètre" - voulait en réserver l'entrée à ceux capables de maîtriser les abstractions, Stanislas Dehaene suggère que c'est bien la géométrie qui a en quelque sorte précédé notre espèce.