作曲家のアントニオ・カルロス・ジョビンや作詞家のヴィニシウス・ヂ・モライスらとともに、ボサノヴァを創成したとされている。特にジョアンのことを「ボサノヴァの神」、「ボサノヴァの法王」などと呼ぶこともある。アストラッド・ジルベルトは元妻。アストラッドとの離婚後、歌手のミウシャと結婚。ベベウ・ジルベルトはミウシャとの間の娘である。
ブラジル北東部バイーア州ジュアゼイロに生まれ、10歳になるまでそこで育つ。1946年にギターを父から貰い、バンド活動に夢中になる。その後、中等寄宿制学校に通うが、音楽の勉強の為に退学する。1949年にはラジオ番組にキャストとして出演。19歳の時にはリオ・デ・ジャネイロでヴォーカルグループ『ガロットス・ダ・ルア』にリード・ヴォーカルとして参加し、二枚のSPをトダメリカ・レーベルで録音する。しかし、それも長くは続かず、ガロットス・ダ・ルアを脱退する。1952年にはコパカバーナ・レーベルより初のソロレコード Quando ela sai を録音するが、ヒットせず、寝る場所と食事を求めて友人の家を転々とする日々が続く。マリファナ中毒となったジョアンを友人が見かねて、1955年にはジョアンの姉の住む街、ジアマンチーナへ移動し、姉の家に居候する生活が始まる。バスルームに一日中閉じこもり、ヴィオラン(クラシック・ギター)を弾きながら歌を歌い続け、その中で、サンバのリズムをギターだけで表現する、バチーダと呼ばれる独特の奏法を発明する。その後1957年に再びリオ・デ・ジャネイロへ戻る。アントニオ・カルロス・ジョビンと出会い、ジョビンはジョアンの声とギターに惚れ込む。1958年にはエリゼッチ・カルドーゾのアルバム「カンサォン・ド・アモール・ヂマイス(Canção do amor demais)」の中の2曲にギタリストとして参加する。その年の7月10日にはジョビンとヴィニシウス・ヂ・モライスによる「想いあふれて (Chega de Saudade)」を録音する。これが最初のボサノヴァ・ソングと呼ばれるもので、発売当初はなかなか話題にならなかったが、次第にリオの若者たちの間で人気となり、ボサノヴァ・ムーブメントが形成されていった。1959年には初めてのLP、『想いあふれて (Chega de Saudade)』が発売される。1959年にアストラッド・ジルベルトと結婚。1963年にジャズ・サックス奏者、スタン・ゲッツと共に『ゲッツ/ジルベルト』を録音。1964年には、アストラッドが英語で歌った「イパネマの娘」が、シングルとして発売された。これはジョアンのポルトガル語詞の部分がカットされたものだったが、皮肉なことにビルボード誌に最高位5位[1]、96週間チャートインという記録を打ち立てるほどの爆発的なヒット[要出典]となった。しかし、アストラッドとはほどなく離婚する。1965年にはグラミー賞受賞。ベスト男性ヴォーカルにノミネートされる。同年にミウーシャ（シコ・ブアルキの実姉）と結婚する。しかし、ボサノヴァ・ブームの退潮や軍事政権の台頭の影響からか、1969年にはメキシコシティーに移り、そこで2年間住む。1973年、アルバム『三月の水』を発表。1977年には、トミー・リピューマのプロデュースによりアルバム『イマージュの部屋（Amoroso）』を制作している。1981年には、カエターノ・ヴェローゾ、ジルベルト・ジル、マリア・ベターニアとの共作『Brasil (海の奇蹟)』を発表。高齢にもかかわらず、静かにではあるが活動をつづけており、2000年、全編ギター弾き語りによる初のアルバム『ジョアン 声とギター(João voz e violão)』を、カエターノ・ヴェローゾのプロデュースで発表。また2003年には70代での初の日本公演で話題になり、9月12日公演が『ジョアン・ジルベルト・イン・トーキョー』としてアルバム化（翌年に発売）。翌2004年、2006年11月にも日本公演が行われた。
