La primera Biblioteca Pública Piloto del mundo fue creada por la UNESCO con la expectativa de impulsar las bibliotecas y la cultura a nivel mundial; en el año de 1951 en la ciudad de Nueva Delhí – La India; y para el 10 de Noviembre de 1952 la UNESCO en convenio con el gobierno de Colombia decide crear segunda Biblioteca Pública Piloto en la ciudad de Medellín mediante la resolución 4542. Biblioteca que desde, entonces, día tras día emprende acciones para propiciar el libre acceso a la información, la cultura, el aprendizaje y la generación de conocimiento; contribuyendo de esta manera a la comprensión del entorno social y a la formación de sujetos críticos e independientes, al mejoramiento de la calidad de vida y a la transformación social de la comunidad. Así mismo, fomenta la diversidad cultural, y propende por la formación, conservación y difusión de la identidad nacional y de la memoria documental regional.

En la década de los años 50’ la Biblioteca estaba ubicada en la avenida La Playa del centro de la ciudad de Medellín. Para la década de los años 60’, la Biblioteca se trasladó al sector de Otrabanda que, actualmente, se denomina barrio Carlos E. Restrepo y aún funciona en dicho edificio. Así, la Biblioteca ha gestionado desde su creación una serie de programas y actividades para facilitar el acceso de la información a los usuarios.

En sus comienzos descentralizó su actividad y generó puestos bibliotecarios tanto en empresas, como hospitales, zonas comerciales, sitios de reclusión... impulsando, a su vez, las cajas viajeras en las instituciones educativas; estas cajas viajeras y el Bibliobús fueron servicios de gran importancia e impacto en el contexto social en que ha estado inmersa la Biblioteca, ya que han posibilitado la promoción de los servicios bibliotecarios de información, donde la promoción de la lectura y escritura ha sido de gran valor.

Con el paso de los años la Biblioteca ha ido incursionando nuevos eficaces, eficientes y efectivos servicios de información según la demanda de los usuarios que a ella asisten. Como también ha ido consolidando sus filiales o las llamadas bibliotecas satélites en diferentes lugares estratégicos de la ciudad; así: En Campo Valdés la filial Juan Zuleta Ferrer, en el sector de la Florencia la filial Tren de Papel Carlos Castro Saavedra, la filial San Javier La Loma y la filial San Antonio de Prado. Y, actualmente, en convenio con la Fundación Bibliotecas Familia apoya las bibliotecas de: Villatina, El Raizal y La Esperanza.

En 1992, tras la expedición de la actual Constitución Política de Colombia, la Biblioteca es adscrita como ente descentralizado del Ministerio de Educación Nacional, y, en agosto del 2006, es acogida por el municipio de Medellín como entidad descentralizada con autonomía administrativa, presupuestal y financiera.

En la Actualidad la Biblioteca asume la responsabilidad de la conformación del Sistema Municipal de Bibliotecas el cual es conformado por ella y sus 4 filiales, ubicadas en zonas periféricas al centro de la ciudad, 8 bibliotecas de la Secretaría de Cultura Ciudadana del municipio de Medellín y los 5 Parques Biblioteca de la Ciudad. Así mismo, hace parte de la Red de Bibliotecas de Medellín, Área Metropolitana integrada con otras 12 bibliotecas, que le apuesta al fomento, formación y difusión de lo cultural, social, educativo e informativo.