A l’origine du nom le mot latin ulmus qui désigne l’orme et signifie que le village fut appelé ainsi en raison de la présence de cet arbre. Les bois et domaines alentours furent confiés aux moines de l’abbaye de Saint-Maur et c’est autour d’un prieuré et de son église que le bourg s'est développé. Le prieuré, remanié aux XVIème et XVIIème siècles, est toujours accolé à l’église Saint-Vincent d’Espagne, cette dernière offrant de beaux vestiges du XIème siècle et du XIIème siècle.
La rivière le Douet qui est à l’origine du nom de Doué-la-Fontaine, prend sa source aux Ulmes. En patois angevin un douet désigne un lavoir alimenté par une source et l’on allait alors faire « la buée au douet » c'est-à-dire la lessive au lavoir.