Pierwsi bracia w czarnych habitach zamieszkali przy niedawno powstałej parafii NMP Królowej Polski w Brzezince. Pomagali w duszpasterstwie i próbowali rozeznać możliwości utworzenia własnego klasztoru. Wybór padł na Harmęże. Franciszkanie wykupili podupadły dom i kawałek ziemi w sąsiedztwie starej kapliczki, z kopią obrazu Jasnogórskiej Pani, przyniesioną przez jednego z tutejszych pątników w XIX w.