Родился 21 ноября 1920 года в Киеве. Учился игре на скрипке под руководством отца. Окончил Киевскую консерваторию по классу скрипки у Якова Магазинера. В годы войны в эвакуации учился в Оренбургском зенитном училище и играл на скрипке в оркестре кинотеатра «Аврора». После войны жил в Москве, делал оркестровки крупных произведений и играл на скрипке в различных ресторанах столицы.
Песни начал писать с 1960-х годов, первой была песня «Годы» на стихи Марка Лисянского. В дальнейшем судьба подарила ему таких соавторов, как Михаил Танич, Игорь Шаферан, супруги Константин Ваншенкин и Инна Гофф. В 1969 году благодаря Марку Бернесу появилась его песня на стихи Расула Гамзатова в переводе Наума Гребнева «Журавли», облетевшая весь мир. Выступал в концертах с исполнением собственных песен, обычно публика пела вместе с ним. Также его песни были в репертуаре Людмилы Зыкиной, Иосифа Кобзона, Георга Отса, Нани Брегвадзе, Геннадия Каменного, Марка Бернеса, Эмиля Горовца, Майи Кристалинской, Раисы Неменовой, Михаила Чуева, Анны Герман.
Ян Френкель скончался 25 августа 1989 в Риге (как предугадал в своей песне «Август» на слова Инны Гофф ). Его жена Наталия умерла в середине 1990-х, дочь Нина проживает в Италии с 1980 года, внук — Ян Френкель-младший — музыкант (пианист и аранжировщик) Оркестра академии береговой охраны США.