Damián de Veuster se narodil 3. ledna 1840 v sedlácké rodině ve vlámské vesnici Tremeloo.
Pocházel z početné rodiny osmi dětí, on sám v pořadí narozených byl předposlední. Rodiče František a Anna Kateřina de Veuster se rozhodli mu dát jméno Josef. Zdá se, že Josef až do svých osmnácti let vůbec nepomýšlel na studium, na opuštění svého rodného statku, svých rodičů a své rodné země. Teprve velká lidová misie konaná ve farnostech v roce 1858 v něm vzbudila touhu nastoupit cestu jiného životního poslání.