От древното църковно предание научаваме, че св. Яков проповядвал заедно с другите апостоли в Йерусалим. Открито и смело той учел пред юдеите, че Иисус Христос е истинският Месия, Спасителят на света. Фарисеите и законоучителите той изобличавал за тяхната жестокост и за неверието им в Христа. Като не могли с думи да оборят неговите убедителни проповеди, юдеите използвали срещу него своята сила и власт. Те настроили Ирод Агрипа I срещу християните и той предприел гонение срещу Църквата. Жертва на това гонение станал апостол Яков Зеведеев.

Св. Климент Александрийски съобщава, че войникът, който довел ап. Якова в съда, бил поразен от твърдостта на вярата му. Той се убедил в невинността на апостола, сам повярвал в Христа и открито пред всички изповядал своята вяра, заради което и той бил осъден на смърт. Когато го докарали на мястото на наказанието, Иосия – така се казвал войникът – поискал прошка от апостола и му заявил, че и той е бил между онези, които го обвинявали. Светият апостол го прегърнал и му казал: „Мир на тебе!”.

След това двамата навели глави и били посечени с меч през 44 година е посечен с меч в Йерусалим от Ирод. Християните погребали тялото на св. ап. Яков в Йерусалим.

В Католическата църква паметта на апостол Яков Зеведеев се чества на 25 юли. Според едно предание мощите на апостола са пренесени в Испания, в град Сантяго де Компостела, където стотици хиляди вярващи от цял свят ежегодно извършват поклонение.