Така Йоан стигнал и до манастир основан в Палестина близо до Йерусалим от Свети Харитон Изповедник. За храм на манастира служела една пещера. По-късно Свети Харитон живял и в друга пещера близо до град Йерихон, където също построил манастир. Затова първата пещера била наречена Вехта (стара), откъдето и преподобни Йоан бил наречен Вехтопещерник.
На това място Йоан се отдал на строг пост и водел праведен живот. Прекарал годините до края на живота си в молитви и бдение, като винаги мислел за смъртта и учел последователите си на смирение. Достигнал святост и тихо завършил живота си на преклонна възраст.
