Според житието му, още като юноша той копнее да се посвети в служба на Бога, затова напуска родното си място и постъпва в манастир. Но, след като приема монашеството напуска манастира и започва да се скита из българските земи. Св. Йоан Рилски обикаля Осоговско-Беласишките планини, Витоша, но най-много му харесала най-високата и безлюдна - Рила, затова и тук по-късно основава едноименния манастир. Наречен от народа Чудотворец, защото славата му че, помага на хората в беда и изцерява от тежки болести се разнесла из целия Балкански полуостров.
Легендата разказва, че цар Петър I е дошъл от столицата Велики Преслав до Рила, за да се срещне с него, но монахът не пожелал да се запознае с владетеля поради смирение. Св. Йоан Рилски приел плодовете и храната, но не и златото, което царят му дарил. Християнското му смирение само увеличило славата и уважението, на което се радвал, и увеличил броя на учениците, които идвали при него. В края на живота си светецът се отдава на уединение в молитви Богу. Умира през 946 г. и е погребан в малката манастирска църква на Светата Рилска обител. Около 980 г. мощите му са открити и пренесени в София, а той е канонизиран за светец. През 1183 г. унгарският крал Бела III отвоюва Средец от византийците и отнася мощите му в Унгария, откъдето са върнати след четири години. След Освобождението на България от византийско робство цар Асен I ги пренася в столицата Търново през 1195 г.
Св. Йоан Рилски е почитан като общобългарски светец, но славата му се разнася из целия Балкански полуостров и в Русия. В литературата е описан като изключителен аскет, извършител на не едно и две чудеса. Празникът на св. Иван Рилски се отбелязва на три дати - 18 август, 19 октомври и 1 юли. На 18 август се почита Успението на Св. Иван Рилски - денят на неговата кончина. На 19 октомври - пренасянето на мощите на светеца от София във Велико Търново. Този празник е наречен от местните хора Ден на отеца. На 1 юли се отбелязва връщането на мощите на св. Иван Рилски от Велико Търново в Рилската обител през 1469 година. И на трите празника почит към светеца отдават хиляди богомолци, които се покланят пред чудотворните му мощи, съхранявани в манастирската черква.