Issu d’une famille de vignerons, Xavier Parguey hérite de terres et de propriétés dans le Doubs, sa région natale, mais voit ses ressources s’amenuiser après la Première Guerre mondiale durant laquelle il est enrôlé. Il est interné dans un camp allemand pendant le conflit. À son retour, il devient vagabond dans son village natal ; on le surnomme alors le Zouzou. Il vit modestement en confectionnant des hottes de vigneron et en braconnant. À partir de 1920 environ, il sculpte avec une serpe de petits outils en bois – plantoirs à choux, maillets –, dont la fonction disparaît sous l’exubérance figurative.

Le 29 novembre 1945, Jean Dubuffet effectue une visite au musée national des Arts et Traditions populaires à Paris. Parmi d’autres objets qui attirent son attention, comme de petites statuettes de pierre ou les cornes gravées qui servent aux bergers de Camargue à porter de l’huile, il découvre les travaux de Xavier Parguey. René Perrot (1912-1979), chargé de mission pour le musée, a ramené des pièces de Parguey et en possède quelques-unes qu’il prêtera à Dubuffet, notamment pour l’exposition à la galerie Drouin en 1949.