Pour la Saint-Sylvestre 1969, au Fillmore East de New York, c'est avec une nouvelle formation que Jimi Hendrix se produit. Le Band of Gypsys est un trio entièrement afro-américain composé de Billy Cox et du batteur Buddy Miles. Jimi Hendrix y dévoile une sensibilité plus funk et, en l'espace de deux journées, (le 31 décembre 1969 et le 1er janvier 1970), livre quatre concerts. Un album live, Band of Gypsys, en est tiré : ce sera le dernier de Hendrix.
Peu d'albums ont fait l'objet d'autant de controverses que ce dernier. En effet, mis à part "Machine Gun", unanimement saluée comme étant l'une des oeuvres majeures du guitariste, le reste de l'album (et par extension les quatre concerts qui ont donné lieu à ce Live) continue de partager amateurs, critiques et musiciens.
La presse rock a été globalement déçue par une oeuvre qui marquait, selon elle, un recul créatif vis-à-vis du troisième album de l'Experience (via un retour au r'n'b), et qui n'aurait pas dû sortir de l'avis de Jimi Hendrix lui-même : "Je n'étais pas trop satisfait de l'album Band Of Gypsys. Si ça n'avait tenu qu'à moi, je ne l'aurais jamais sorti." L'album est en effet né de problèmes juridiques et non de la volontée initiale du musicien.
Inversement, beaucoup voient dans le Band Of Gypsys un groupe fondateur jetant les bases de nombreux courants musicaux des années 1970 : rock funk (Parliament/Funkadelic), jazz rock (Miles Davis, Mahavishnu Orchestra de John McLaughlin) etc... Miles Davis note d'ailleurs dans son autobiobraphie que c'est son album préféré de Jimi Hendrix.
Le 28 janvier 1970, lors d'un concert donné au Madison Square Garden, dans le cadre du "Winter Festival For Peace", le Band Of Gypsys doit se produire gratuitement, afin de soutenir des opposants à la guerre du Vietnam. Le groupe monte sur scène vers 3 heures du matin, dans ce qui s'avèrera être leur dernière performance, et peut-être le plus gros fiasco de toute la carrière de Jimi Hendrix. Après avoir introduit les membres de son groupe, alors qu'une jeune femme réclame "Foxy Lady", Hendrix lui répond que "Foxy Lady est assise par là, en sous-vêtement jaunes, sales et tachés de sang." Le groupe se lance alors dans une version particulièrement peu inspirée de "Who Knows". Selon tous les témoins présents ce soir-là, Hendrix n'était pas en état de monter sur scène. Johnny Winter confiera par la suite que pour lui, "c'était comme s'il était déjà mort". Manifestement, Hendrix n'est pas dans son état normal : sur "Who Knows", contrairement à son habitude, il ne mélange pas guitare et chant. La version qui suit de "Earth Blues" est encore moins convaincante, Hendrix interpelant ainsi le public alors qu'il s'arrête de jouer : "C'est ce qui arrive lorsque la Terre baise avec l'Espace, n'oubliez jamais ça. Voilà ce qui arrive !". Buddy Miles tenta de calmer le jeu, faisant face à la stupéfaction de l'audience en promettant un retour sur scène qui n'arrivera pas : Hendrix débranche sa Stratocaster et quitte définitivement la scène, laissant à Buddy Miles le soin de gérer la foule...
Aujourd'hui encore, la controverse historique reste entière sur ce qui s'est véritablement passé cette nuit-là au Madison Square Garden. Mike Jeffery profita de l'occasion pour virer sur le champ Buddy Miles... ce dernier accusant le manager d'avoir donné à Jimi une dose de LSD le rendant dans l'incapacité de jouer. D'autres mettent en cause Devon Wilson... On ne saura probablement jamais le fin mot de l'histoire.
Lors de son interview du 4 février 1970, menée par John Burks pour Rolling Stone (à l'initiative de Mike Jeffery), Hendrix reviendra sur la performance du Madison Square Garden : "C'est comme la fin du commencement ou quelque chose comme ça, je pense que le Madison Square Garden est comme la fin d'un grand long conte de fées. Ce qui est grand. (...). En ce qui me concerne, le Band Of Gypsys était formidable. (...) J'étais très fatigué. (...)" Il précisa ensuite qu'il avait affronté la plus grande guerre intérieure de toute sa vie, et que "ce n'était pas l'endroit pour le faire".
