Sárdy János szülei vegyeskereskedést üzemeltettek. A család többször költözködött a későbbi énekes gyermekkorában (Andocs, Zalakoppány, Tapolca). Sárdy a polgári iskolát Szigetváron
végezte. 1922 és 1927 között a pápai tanítóképzőben tanult. A végzés után kántortanítói állást kapott Dunaföldváron. Gyakran énekelt esküvőkön, temetéseken. Rendszeresen szerepelt amatőr színielőadásokon.
Első szerepe Mogyoróssy önkéntes volt Kálmán Imre Tatárjárás c. operettjében. Énektudásával lassan egész Tolna megyében ismertté vált. Sárdy hivatásos színi pályára vágyott, ezért Budapesten akart tanulni Rózsahegyi Kálmán magániskolájában, de ő óvta a biztos kántortanítói állás feladásától. A Magyar Királyi Operaház korrepetitora, Palotay Árpád viszont egy próbaéneklés után vállalta a képzését.
1936-ban lett ösztöndíjasa az Operaháznak, Giacomo Puccini Pillangókisasszony című operájában, a császári tisztként (bariton) debütált. Élete első komolyabb szerepét 1936. október 6-án játszotta el Erkel Ferenc Bánk bán című operájában, Ottót. 1938-tól 1958-ig volt az Operaház állandó tagja. 1942-től a Fővárosi Operettszínházban is föllépett. Legemlékezetesebb alakításait magyar operákban és operettekben nyújtotta. Olyan alakítások fűződnek nevéhez, mint Kálmán diák a Farsangi lakodalomban, Kukorica Jancsi, a János vitézben és Gábor diák, a Gül Baba című operetten.
1940-ben kezdett el filmekben is szerepelni. Többek között a Leányvásár, Rákóczi nótája és a Mágnás Miska fűződik nevéhez. Többször szerepelt külföldön is. 1958 és 1969 között a Fővárosi Operettszínház tagja volt.
Nagykónyi Község Önkormányzatának Képviselő-testülete Sárdy Jánosnak, kimagasló művészi tevékenysége elismeréseként posztumusz Nagykónyi Díszpolgára címet adományozza