Nasceu em 14 de março de 1903, em Macaé, Rio de Janeiro. Aos 17 anos, foi morar no Estácio, na cidade do Rio, onde estudou flauta, composição e regência no Instituto Nacional de Música. Entrou para a Banda da Polícia Militar, tornando-se músico de primeira classe e solista em 1925. Participou de vários grupos e orquestras como flautista e saxofonista até formar o Grupo Gente do Morro, em 1930, que seria o alicerce de seu primoroso Regional. Tornou-se autor de sambas, marchas e valsas com inúmeros parceiros, sempre nas vozes de grandes intérpretes. Em 1934, encabeçou curiosa tentativa de divulgação do samba no Norte do Brasil, começando pelo Espírito Santo com sua trupe: ele, Canhoto, Macrino, Doidinho e Russo; na voz, Noel Rosa e a cantora Itamar de Souza; e os cômicos Coringa e Grijó, com as esposas. Mas o samba ainda era coisa do morro. De volta ao Rio, com seu Regional, tornou-se o mais procurado músico acompanhador de todos os tempos, reinando absoluto durante 20 anos.

Em 1946, com Pixinguinha, formou a dupla mais importante da história do choro, com 34 sublimes gravações, sendo a última de dezembro de 1950, quando começou a se afastar da música por ordens médicas: estava com câncer de pulmão e deveria parar de tocar. Muito amigo de Adhemar de Barros, passou a acompanhá-lo em sua campanha à presidência, tendo até um jato à sua disposição. Sem dúvida, foi o maior flautista de todos os tempos, com mais de mil gravações. Sem largar o cigarro, morreu de câncer em 16 de fevereiro de 1958, no Rio, num domingo de carnaval.