Sucedió en medio de una epidemia de fiebre amarilla, que causó miles de muertos en la ciudad de tal manera que ya no había lugar para enterrar a las víctimas.
Para abrir un nuevo cementerio se eligieron los terrenos donde funcionaba la Chacarita de los Colegiales o sea la chacra donde los colegiales o estudiantes del Colegio Nacional de Buenos Aires pasaban sus vacaciones de verano. Se destinó a cementerio el área comprendida por la avenida Dorrego, Jorge Newbery, Corrientes y Guzmán.
Estaba rodeado por un modesto cerco de troncos, alambre y arbustos y su entrada, de ladrillos y portón, se encontraba sobre calle Corrientes.
Para el traslado de los cuerpos se ordenó al Ferrocarril del Oeste tender una vía que iba desde el centro de la ciudad hasta el cementerio. Así nació el «tranvía fúnebre» o el «tren fúnebre», que partía de Corrientes y Ecuador, en la Estación Bermejo, donde se había construido un enorme galpón en el que se cargaban los féretros.
A este primer cementerio se lo conoció popularmente como Cementerio Viejo, el cual colmó rápidamente su capacidad.
A partir de 1887, las inhumaciones comenzaron a realizarse en el cementerio que hoy conocemos.
En 1884 bajo la gestión del intendente Torcuato de Alvear fue aprobado el proyecto diseñado por el ingeniero francés Enrique Clement y sería fundado el 9 de diciembre de 1886.
El 30 de diciembre de 1896 se lo bautizó Cementerio del Oeste, pero como todavía era llamado «De la Chacarita», una ordenanza del 5 de marzo de 1949 lo renombró de esa forma.