След като приема монашеството напуска манастира и се скита на много места. Накрая се установява в Рила и основава Рилския манастир. В края на живота си светецът се отдава на уединение в молитви. Умира през 946 г. и е погребан в малката манастирска църква на Светата Рилска обител. Около 980 г. мощите му са открити и пренесени в София, а той е канонизиран за светец. През 1183 г. унгарският крал Бела III отвоюва Средец от византийците и отнася мощите му в Унгария, откъдето са върнати след четири години.
След Освобождението на България от византийско робство цар Асен I ги пренася в столицата Търново през 1195 г., където остават почти три столетия. През 1469 г. реликвата е върната в Рилския манастир. Според преданието е извършил много чудеса през живота си и след смъртта си: нахранил овчари, излекувал с молитвата си един побъркан, изцерил и изцерява от разни болести благочестиви люде, опазва манастира си чрез своята благодатна сила. Иван Рилски е обявен за изключителен небесен покровител на българския народ. Почитан е като общобългарски светец, но славата му се разнася из целия Балкански полуостров и в Русия.
