ニューヨーク州バッファロー生まれ。両親の離婚によりクリーブランドに引っ越し、そこで育った。10歳からギターの演奏を始めた。
1955年よりチコ・ハミルトン楽団で活動。1957年、初のリーダー・アルバム『ジャズ・ギター』発表。1960年代は、サイドマンとしての活動が中心となる。1960年から1961年にかけてエラ・フィッツジェラルドのバックを務め、傑作ライブ・アルバムとして名高い『マック・ザ・ナイフ-エラ・イン・ベルリン』にも参加。また、エラのツアーに帯同して南米を訪れた際、ボサノヴァを知り、自分の演奏スタイルに取り入れる。1962年にはビル・エヴァンスとの連名で『アンダーカレント』を録音し、また、ソニー・ロリンズやアート・ファーマーのリーダー・アルバムにも参加。1969年、12年ぶりのリーダー・アルバム『ジム・ホール・イン・ベルリン』発表。1972年、ロン・カーターと連名で制作したベースとギターのデュオ作品『アローン・トゥゲザー』が話題となる。ロンとは以後も度々共演。1975年には、チェット・ベイカーなどを迎えて録音したリーダー・アルバム『アランフェス協奏曲』が大ヒット。1976年、バンド・リーダーとしては初の日本公演を行う（サイドマンとしての初来日は1967年)。1992年、ゲイリー・バートンのアルバム『シックス・パック』に参加。1993年にはギター独奏による『デディケイションズ&インスピレイションズ』発表。1999年にパット・メセニーとの共演盤『ジム・ホール&パット・メセニー』発表。2003年、レーベルをArtistShareに移り、『マジック・ミーティング』というトリオ・アルバムの作成を発表。まだプロダクションが始まる前に先行販売しファンがアルバムに投資するという前代未聞のプロジェクトであった[要出典]。2005年、ピアニストのGeoffrey Keezer(ジェフリー・キーザー）と共に『フリー・アソーシエィション』というデュオ・アルバムをArtistShareから発表。このアルバムは、ホールが教師をしていたThe New School for Jazz and Contemporary Musicで録音された。2008年、元教え子のビル・フリゼールと共にダブル・ディスクの『ヘミスフィア』を発表した。
