В 1410 году в Гедрайчай построен первый костёл, получивший название Св. Балтрамеяус (Варфоломея). Позднее этот костёл поддерживали, ремонтировали и перестраивали многое члены семьи Гедрайтисов. В стене этого костёла замуровано сердце епископа Иосифа Арнульфа Гедрайтиса. Такова была предсмертная воля покойного епископа И.А.Гедрайтиса. В костёле находятся 9 памятников искусства, мемориальный орган.
