К северо-востоку от монастыря Вардзия на расстоянии 4 км на середине высоты склона узкого ущелья имеется еще одна, более древняя обитель – сейчас она называется Верхняя Вардзия, где до нашего времени сохранилась церковь им. Богоматери.
Она построена из тесанного камня и представляет собой двух-нефное сооружение, с портиком в виде аркады с южной стороны, что делает его похожим на трех-нефный собор. Вместе с тем перекрыт собор двускатной кровлей, что вызвано тем, что по бокам поверх свода устроены тайники. Главный неф – южный, высокий широкий, он посредством двух опор отделяется от узкого неосвещенного северного нефа. Этот последний как-бы создает фон высоким изящным аркам и их украшенным резным орнаментом капителям. Декорированы и фасады – скульптурные наличники и обрамления окон и дверных проемов, капители колонн портика. Особенно выразительно обрамление южной двери, увенчанное резным крестом, выполненным в виде плетения. Согласно надписи организатор строительства был сильный феодал Липарит Эриставт-Эристави, живший в XI веке.
Церковь была расписана, видимо, тогда-же в XI веке; к сожалению, до наших дней сохранилась лишь небольшая часть росписи и то в виде поврежденных фрагментов. Повреждено было и само здание – на протяжении времени обвалился южный портик. В 1970 году собор был полностью восстановлен из обваленных старых камней.
