摩尼珠院寺譜（由来）には「衛士坊　天皇遷幸の御時、供奉の衛士居住の地なり、因て命く」とあります。崇徳天皇社の地元では、昔から衛士住居地に至る坂を「衛士坊の坂」と呼んでおり、坂の上の天皇寺高照院、昔の摩尼珠院の処が衛士坊の跡だと古くから伝承され（三木豊樹氏著『真説崇徳院と木の丸殿』17p）ていて、由来と伝説の内容が一致しています。衛士坊と衛士坊の坂の地名が摩尼珠院由緒と共に後世に伝えられたことは、上皇のお住まいと深い関りがあることを物語る確かな証拠とされています。この地名の起こりこそ崇徳上皇の行在所を五年余に亘って監視した衛士坊があったことを立証するものだと評価できます。

これに対して「神仏判然令」が発出された明治初期に摩尼珠院廃寺を受けて鼓岡を上皇幽閉場所だとする説を大々的に主張する運動が鼓岡で起こりました。その中で、摩尼珠院寺譜にある上皇幽閉にあたってお住まいを遷したことを指す「遷幸」のことを、殯儀式の場所への御遺体（棺）の移動（ただし、これは暗殺隠ぺいのための空の棺だったと考えられる）がこれに当たるとして、その時の棺の警護役の住居地を「衛士坊」だと説明しました。
これは、天皇社の地元に伝わる内容を入れ替えて、衛士坊を殯の間の一時的な施設とすることで「鼓岡」をお住まい（幽閉場所）の場所とする主張のための説明と考えられます。明治以降の鼓岡説にとっては、天皇社の地元に伝わっていた「衛士坊」と「衛士坊の坂」の伝説は都合の悪いものだったのです。

「天皇遷幸の御時」の正しい解釈

では、「遷幸」の文字は寺譜でどのように位置づけられているのでしょうか。寺譜本文中には「讃岐國に遷幸あるべき」の記載があるほか、「神人」の項目に「此皆、天皇遷幸の御時、遁従し奉りて本邦に来る者の苗裔也」とあります。いずれも文字どおり「遷幸」は上皇行在所の移転のことなのだと理解できます。他方、殯の場所への御遺体の移動は「八十蘇の水に浸し奉る」としていますが、殯の時の衛士の居住地として説明するなら「衛士坊　天皇殯の御時、供奉の衛士居住の地・・」となっていなければいけません。
従って、「衛士坊」由来説明に見える「天皇遷幸の御時」とあるのは実際に住まわれる場所をこの地に遷されたことを示し、その時の監視役の衛士居住地を「衛士坊」と呼んでいるというのが文意に沿った、歴史事実に対応する解釈になります。

摩尼珠院寺譜は江戸時代中期に寺が上梓したとされ、その頃は軍記物語が広く流行していて、それらの文書に寺譜も強い影響を受けたことがわかります。それは、当時は讃岐国ではなかったのに「直嶋に皇居をうつし奉る」や、大乗経を「椎門の波底に沈め」など事実とは捉えられないことを取り入れているからです。そして「直嶋」に続く「府中鼓岡にうつし奉る」を妄信してしまえば行在所は鼓岡で、そうとすれば衛士坊は殯の間だけ存在したという誤った解釈に転じてしまうのです。

摩尼珠院の「寺譜」は部分的に流行本に寄った記述になっていることから全体としては事実記録書というよりも真偽が混在していることは間違いありませんが、その中でも、軍記物語等の影響を受けていない箇所には寺に独自に伝わる言い伝え、歴史が概ね残されているとことに注目しなければいけません。

以上を踏まえると、寺譜に書かれた「天皇遷幸の御時、供奉の衛士居住の地」の解釈について、この箇所は軍記物語に影響されたものではないという点や、記述の文理解釈からすると、摩尼珠院の地元に伝わっているように「衛士居住の地」というのは上皇幽閉期間中のことを指しているという理解が歴史的に符合していると考えられます。