Podľa jedného príbehu britskí kartografi pomenovali tento ostrovček v Long Island Sound ako „Heart Island“ kvôli jeho tvaru pripomínajúcemu srdce (v skutočnosti sa na srdce takmer vôbec nepodobá). Podľa iných bol pomenovaný podľa staroanglického slova „hart“, čo znamená „jeleň“.
Podľa jednej z verzií tohto príbehu bol ostrov pomenovaný v čase, keď sa používal ako poľovnícka obora. Iná verzia uvádza, že bol pomenovaný podľa jeleňov, ktorí migrovali z pevniny v obdobiach, keď túto časť rieky pokrýval ľad. V pasáži románu Williama Styrona Lie Down in Darkness (Lež v tme) sa ostrov opisuje ako ostrov osamelého jeleňa, ktorého zastrelil lovec z veslice.
V každom prípade je história ostrova presiaknutá smrťou. V období občianskej vojny na ostrove zomrelo a bolo pochovaných 235 väzňov (neskôr boli premiestnení) a počas epidémie žltej zimnice v roku 1870 sa na ostrove Hart Island nachádzalo veľké hospitalizačné zariadenie.
Odvtedy sa na ňom nachádzal aj ženský blázinec, tuberkulózna liečebňa, nápravné zariadenie pre delikventov a raketová základňa Nike. V súčasnosti sa ostrov využíva ako „New York Potter’s Field“ (miesto pochovávania neznámych osôb), čo z neho robí najväčší cintorín na svete financovaný z daní. Využíva sa aj na pochovávanie amputovaných častí tiel. Podľa posledného sčítania obyvateľov nemá ostrov žiadnych trvalo žijúcich ľudí.
