Nació el 2 de diciembre de 1905 en el barrio porteño de Villa Crespo, en el seno de una familia de músicos.

Su padre, Adolfo Pugliese, tocaba la flauta en los conjuntos de barrio, esencialmente en cuartetos. Dos de sus hermanos mayores, Vicente Salvador y Alberto Roque, también eran músicos.

Adolfo, su padre, lo ayudó a hacer sus primeros “palotes” en la música, le compró un violín con el que fue enviado al Conservatorio Odeón del barrio de Villa Crespo. Pero en este lugar encontró el instrumento que sería parte de su vida y el que lo destacaría por encima de muchos: el piano.

Estudió con grandes maestros como Vicente Scaramuzza y Pedro Rubione, con los cuales se convirtió en un extraordinario pianista.

A los quince años ya integraba un trío junto al bandoneonista Domingo Faillac y el violinista Alfredo Ferrito, con los que debutó ante el público en un bar de barrio llamado Café de la Chancha, nombre que le otorgaran los parroquianos en alusión a la poca higiene de su dueño y del lugar.

Tiempo después pudo llegar a la Gran Ciudad, Buenos Aires, donde debutó integrando un conjunto que tenía, como particularidad, a la primera mujer bandoneonista del país: Francisca Cruz Bernardo, más conocida como “Paquita”, “La Flor de Villa Crespo”, directora de aquella orquesta típica, quien aceptó su alejamiento en aras de un mejor porvenir económico.

Más tarde, y ya con mucha más experiencia y soltura, formó parte del cuarteto de Enrique Pollet (1924), y luego de la orquesta de otro famoso de su tiempo, Roberto Firpo.

Ya en 1926, era el pianista de la orquesta del gran bandoneonista Pedro Maffia, continuado con su ascenso en el mundo del tango y tomando cada día más y más prestigio.

Pero el sueño de Osvaldo Pugliese era tener su propia orquesta. Fue así que se desvinculó de la de Pedro Maffia, en 1929, junto con el violinista Elvino Vardaro para formar su propio conjunto​.

Ambos tocaron por primera vez en el café Nacional con gran repercusión, lo que los empujó a hacer una gira por todo el país.

Sin embargo, la gira fue un fracaso económico y debieron empeñar parte de sus instrumentos para conseguir los pasajes de regreso a su ciudad.

A su retorno integró la orquesta de Alfredo Gobbi y más tarde acompañó a Daniel Héctor Álvarez, Roberto Firpo y Miguel Caló.

Pero Pugliese nunca abandonó su sueño y fue así que en 1936 creó un sexteto junto a Alfredo Calabró, Juan Abelardo Fernández y Marcos Madrigal (bandoneones), Rolando Curzel y Juan Pedro Potenza (violines), Aniceto Rossi (contrabajo), del cual era su director.

Debutaron en la famosa Avenida Corrientes, en el Germinal. Este fue el punto de partida de su orquesta, que fue presentada en el café El Nacional el 11 de agosto de 1939, con la dirección de Pugliese desde el piano y Enrique Alessio, Osvaldo Ruggiero y Eduardo Raimundo Armengol en bandoneones, Enrique Camerano, Julio Carrasco y Jaime Tursky en violines, Aniceto Rossi en contrabajo y, como cantor, Amadeo Mandarino,​ orquesta que, aunque con los lógicos recambios, lo acompañó durante 55 años.

Así, por ejemplo, a fines de 1943 Oscar Herrero se incorporó como segundo en la fila de violines y estuvo en la orquesta 25 años y trabajó junto a Emilio Balcarce (que reemplazó a Tursky) y Francisco Sammartino (viola).

Durante ese período, Don Osvaldo compuso más de 150 temas, algunos muy famosos como Recuerdo, La Beba, Negracha, Malandraca y su himno La yumba. Además grabó más de 600 temas de otros autores.

Por su orquesta pasaron cantores de la talla de Roberto Beltrán, Roberto Chanel, Alberto Morán, desde 1944, Jorge Vidal, Jorge Maciel, Miguel Montero, Ricardo Medina, Alfredo Belusi, Adrián Guida y Abel Córdoba, este último cantó durante 30 años en la orquesta de Pugliese.

Tal era la talla artística de este hombre que en 1985 logra lo que nadie hasta entonces: el 26 de diciembre de ese año, para festejar su cumpleaños número 80, su orquesta tocaría en el conocidísimo Teatro Colón de la Ciudad de Buenos Aires, lugar reservado casi exclusivamente para la música y lírica académicas.

Obviamente el teatro estaba repleto de público viendo al maestro interpretar obras de sus, por entonces, 46 años ininterrumpidos de actividad.