
Nasceu em Newport News, Virgínia, filha William e Temperance "Tempie" Fitzgerald. O casal se separou pouco tempo depois do nascimento da filha, e sua mãe a levou para Yonkers, Nova York, com seu namorado, Joseph Da Silva. A meia-irmã de Ella, Frances Da Silva, nasceu em 1923.
Durante sua juventude Ella queria ser uma dançarina, embora gostasse de ouvir as gravações de jazz de Louis Armstrong, Bing Crosby e The Boswell Sisters. Idolatrava a cantora Connee Boswell, dizendo mais tarde: "Minha mãe trouxe para casa um de seus discos, e me apaixonei por ele....Tentei tanto soar exatamente como ela”.

Fez sua estreia como cantora aos 17 anos, em 21 de novembro de 1934, no Teatro Apollo, no Harlem. Gradualmente conquistou um público semanal no Apollo, e a oportunidade de competir numa das primeiras "Amateur Nights" do teatro. Originalmente pretendia dançar, porém, intimidada pelas Edward Sisters, uma dupla local de dançarinas, optou por cantar no estilo de Connee Boswell. Interpretou "Judy", de Boswell, e "The Object of My Affection", das Boswell Sisters, e conquistou o prêmio principal, de 25 dólares.
Louis Daniel Armstrong (Nova Orleans, 4 de agosto de 1901 — Nova Iorque, 6 de julho de 1971) foi um cantor, compositor, instrumentista, trompestista, cornetista, saxofonista, escritor, letrista, arranjador, produtor musical, dramaturgo, artista plástico, ator, tenor, maestro e ativista político e social estadounidense, considerado "a personificação do jazz". Louis Armstrong é famoso tanto como cantor quanto como solista, com seu trompete.
Armstrong nasceu numa família muito pobre. Passou a sua juventude na pobreza num bairro de Nova Orleans, conhecido como "as costas da cidade". O seu pai, William Armstrong, abandonou a família quando Louis ainda era criança e casou-se com outra mulher. A sua mãe, Mary Albert Armstrong, deixou Louis com a sua tia, o seu tio e a sua avó. Aos cinco anos ele voltou a viver com a sua mãe e via o pai muito raramente. Ele esteve na Fisk School for Boys onde pela primeira vez entrou em contacto com a música. Levou algum dinheiro para casa como entrega-jornais e sapateiro ambulante. Contudo, isso não era suficiente para manter a sua mãe longe da prostituição. Passou a entrar à socapa em bares de música perto de sua casa para ouvir e ver os cantores.
Conheceu dias muito difíceis, e olhava para a sua juventude como o pior momento da sua vida e, por vezes, até retirava inspiração dela: "Every time I close my eyes blowing that trumpet of mine, I look right in the heart of good old New Orleans...It has given me something to live for." ("Todas as vezes que eu fecho os meus olhos tocando aquele meu trompete, eu olho logo no coração da boa velha Nova Orleans... Ela deu-me algo pelo que viver.").
Conseguiu comprar um trompete, com dinheiro emprestado de uma família imigrante russo-judia, os Karnofskys que, até ao final da sua vida, considerou como membros da família visto que cuidaram dele vários dias e noites, enquanto a sua mãe trabalhava. Por essa razão, Louis usou uma Estrela de David pelo o resto de sua vida.