Az album háromszor készült el. A Come Away With Me valójában három különböző verzióban készült el, mielőtt a végső változat megszületett volna. Az első demók három nap alatt készültek el a manhattani Sorcerer Sound Stúdióban, majd következtek a woodstocki Allaire Studios felvételek Craig Street producerrel, Bill Frisell és Brian Blade közreműködésével. Végül Bruce Lundvall, a Blue Note elnöke úgy döntött, hogy az anyag túlságosan eltért az eredeti demók bensőségességétől, és újrakezdte a projektet Arif Mardinnal. A végső album öt dalt tartalmaz az eredeti demókból és Craig Street felvételeiből, a többit pedig Mardinnal rögzítették újra. A 20. évfordulós kiadásban végre hallható Craig Street eredetileg elutasított verziója is – húsz év után.