J. Karvelis gimė 1934 metais Tauragės rajone, Murmansko jūreivystės mokykloje įgijo laivavedžio profesiją.

Jis yra dirbęs Murmansko žvejybos laivyne, Klaipėdos jūrų prekybos uoste, Lietuvos žvejybos laivyne, Lietuvos jūrų laivininkystėje kapitono padėjėju, kapitonu, Klaipėdos jūrų prekybos uoste locmanu.

J. Karvelis buvo Lietuvos Persitvarkymo Sąjūdžio steigiamojo suvažiavimo delegatas, Kovo 11-osios (Nepriklausomybės) partijos steigimo iniciatyvinės grupės narys, šios partijos narys.

1990 metais jis buvo išrinktas į Aukščiausiąją Tarybą-Atkuriamąjį Seimą.