Der Pfarrhof stand ursprünglich auf dem Berg, die Kirche im Tal, ca. 600 m voneinander entfernt. Die Terrassen der ehemaligen Lechufer „trennen“ Kinsau in Ober- und Unterdorf. Eine plausible Erklärung für die damals nicht vorhandene Nachbarschaft von Kirche und Pfarrhaus könnte sein, dass bei der Gründung der Pfarrei oben ein leeres Haus zur Verfügung stand und von der Gemeinde als Pfarrhaus bestimmt wurde. Aus dem Jahr 1605 ist eine Beschreibung erhalten, da aufgrund des Ablebens des Pfarrers der Pfleger von Lechsberg das Inventar aufnahm. Demzufolge war das Pfarrhaus ähnlich ärmlich wie die Bauernhäuser auch. Als im 30-jährigen Krieg die Pfarrei sieben Jahre leer stand, „fiel der Pfarrhof zu Boden“. Der Pfarrer von Epfach versah zwar die Pfarrei, aber um das Pfarrhaus kümmerte sich niemand.
Die nachfolgende Zuständigkeit des Spitals Schongau führte nach einigen Streitigkeiten dazu, dass 1647 auf kurfürstlichen Befehl ein Pfarrhaus gebaut wurde, allerdings abermals im Oberdorf. Erst die Wallfahrt hatte zur Folge, dass 1739-41 auf Kosten des Spitals Schongau der jetzige Pfarrhof neben der Kirche erbaut wurde. Ein imposanter Bau, von den Kinsauer Pfarrherren bis ins 20. Jh. bewohnt.
Die Betreuung der Pfarreien von Apfeldorf und Kinsau durch einen gemeinsamen Seelsorger (ab 1965), brachte es mit sich, dass der Pfarrer durch den zunehmend schlechter werdenden Bauzustand verständlicherweise seinen Sitz nach Apfeldorf verlegte.
2013 ging das geschichtsträchtige Gebäude in den Besitz der Gemeinde Kinsau über. Nach umganreichen Sanierungs- und Renovierungsarbeiten konnte 2017 die Gemeindeverwaltung in das „Rathaus im historischen Pfarrhof“ einziehen. Auch die Pfarrei kann in einigen Räumen von der neuen Nutzung profitieren.