Светлейший князь Воронцов был похоронен в Спасо-Преображенском кафедральном соборе Одессы «в знак признания их заслуг перед Одессой, ввиду благочестивого образа жизни и многочисленных дел милосердия». Когда Елизавета Ксаверьевна скончалась, её тело было захоронено рядом с прахом мужа.
В 1936 году советская власть приняла решение об уничтожении собора, и он был снесён. Перед взрывом останки четы Воронцовых были извлечены из саркофага рабочими в присутствии милиционеров. Гробы были разграблены, словно мародёрами — из гроба Елизаветы Ксаврьевны Воронцовой были украдены украшения и шитое золотом одеяние. В результате остались только скелеты, которые были перевезены на кладбище, расположенное в бедном районе Одессы — Красной Слободке. Там они были выброшены просто у кладбищенского забора. Только благодаря стараниям простых одесситов останки были подобающе захоронены на территории кладбища