La historia de este grupo comenzó en 1967, cuando Miguel Abuelo acompañó a Pipo Lernoud a la compañía discográfica y, repentinamente, el manager le preguntó si l tambin tenía su grupo. Ahí nomás, Abuelo inventó el nombre y acordó grabar a los tres meses. Debió, entonces, encontrar los músicos que lo secundaran, como Pappo. El simple que lograron grabar incluía "Diana Divaga", y tuvo pobre difusión en radios. A los pocos meses, por "diferencias musicales", la agrupación decide disolverse. Abuelo se radicó en España y Pappo continuó un tiempo al frente del grupo, con una inclinación más hacia el blues.

Junto a Cachorro López, Miguel Abuelo regresa a la Argentina en 1979 y comienza la segunda etapa de Los Abuelos. Graban unos demos en 1981 y consiguen muchísima difusión en las radios.

Su primer disco ( "Los Abuelos de la Nada", 1982) fue producido por Charly García y contenía hits que se convertirían en clásicos como: "Sin gamulán" y "No te enamores nunca de aquel marinero bengalí". El mismo García apadrinó el show presentación en el teatro Coliseo, en el cual tuvieron tanto xito que los animó a iniciar una gira por el interior, que no pararía hasta fines de ese mismo año. La amistad de la banda con Charly terminaría por dar grandes frutos: los invitó a participar, como grupo soporte, de su presentación en Ferro, en diciembre de 1982, junto a Suter.

Sin dudas hay que remarcar la presencia de Andrs Calamaro en la banda, por entonces casi un adolescente, arrimó el sonido del grupo hacia el pop y el new wave de los 80, y compuso y cantó los que tal vez sean los dos xitos más importantes del grupo: "Sin Gamulán" y "Mil Horas".

En junio del '83 llegó el primer Obras, donde adelantaron material de la segunda placa, "Vasos y Besos", que se editaría a fines de ese año. El crecimiento de la banda quedaría demostrado con el show en el estadio de Velez.

"Mil horas" se convierte en un hit arrasador y en mayo de 1984 se presentan en dos funciones en el Luna Park.
"Himno de mi corazón" (1984) el tercer disco, fue presentado en el Teatro Coliseo, en diciembre. Sin Melingo ni Bazterrica y con Afredo Desiata y Gringui Herrera en reemplazo, registraron los conciertos del Teatro Opera para sacar un disco en vivo, "En el Opera" (1985).

En octubre de 1985 se presenta en el estadio de Velez para el Festival Buenos Aires Rock & Pop, junto a INXS, Charly García, y Miguel Mateos/Zas. El show sufrió muchos problemas de organización, lluvia torrencial e inoportunos cortes de luz. En el campo de juego, la violencia entre el público se incrementaba por las demoras. Miguel Abuelo cerró el show cantando, con la cara ensangrentada por un botellazo que había recibido. El grupo se disuelve por un tiempo, Calamaro deja la banda y Cachorro López se va de gira con Miguel Mateos/Zas.

Para el último trabajo discográfico de Los Abuelos ( "Cosas mías", 1986) ya la banda habia cambiado: Abuelo (voz), Kubero Díaz (guitarra), Juan Del Barrio (teclados), Marcelo "Chocolate" Fogo (bajo) y Polo Corbella (batería). Con esta nueva formación brindaron varios recitales, pero la convocatoria había descendido considerablemente. Miguel Abuelo murió de Sida el 26 de marzo de 1988.

En 1994 Cachorro López editó dos recopilaciones con remasterizaciones y una versión bailable de "Marinero Bengalí".