Né à Saumur (Maine-et-Loire) le 26 avril 1819.

Ernest Bardou, fils d’un employé, adhère au fouriérisme alors qu’il est élève boursier au collège royal (nom du lycée sous la monarchie) de Saumur, dans les années 1830 ; outre Gustave Considerant - le frère de Victor - qui enseigne alors les mathématiques dans cet établissement, le personnel de ce collège comprend alors un professeur de latin et de grec, Auguste Thérault, qui initie plusieurs de ses élèves à la doctrine phalanstérienne, dont Ernest Bardou et son ami Pierre Cailhabet. Ainsi se forme à Saumur un petit groupe de fouriéristes.
A la fin des années 1860, Bardou s’abonne à La Science sociale. Il vit encore à Saumur à ce moment. Deux décennies plus tard, il participe encore à la tentative de reconstitution du mouvement fouriériste autour de La Rénovation, créée en 1888. Il s’abonne à cette revue - on le retrouve encore en 1902 parmi les abonnés - et apporte sa contribution financière à la réalisation de la statue de Fourier, érigée en 1899 [1]. Son domicile est alors situé à L’Isle-Adam (dans les correspondances de 1897 à 1901), où il fréquente un autre fouriériste, Dezermeaux , puis à Paris (en 1902)