Der har så vidt vides aldrig eksisteret et tårn af elfenben. Alligevel er forestillingen om et sådant dukket op med jævne mellemrum siden antikken. Der er referencer til tårnet i både Bibelen og Odysseen og i middelalder- og renæssancelitteraturen. Selv i moderne litteratur dukker tårnet jævnligt op. Ikke underligt, for det er et godt billede: Det kostbare og eksotiske elfenben med dets fine flødefarve signalerer noget ophøjet og fornemt. Tilsvarende tårnet. Det rejser sig over de almindelige tings overflade og nærmer sig himlen. Fra tårnet kan man bevare overblikket uden selv at blive fedtet ind i dagliglivets tumultariske begivenheder. I elfenbenstårnets skønne omgivelser kan man passe sine esoteriske gøremål fjernt fra alverdens larm og kævl.

Gennem tiderne har der været skiftende forestillinger om, hvem der opholdt sig deroppe: Jomfru Maria skulle have boet der i det 12. århundrede. Hun blev efterfulgt af diverse religiøse berømtheder op mod det 19. århundrede, hvorefter tårnet blev indtaget af kunstnere og andre skønånder.