Le nom Ninnaji, où se trouve le sanctuaire Ninnaji, vient du fait qu'il faisait autrefois partie du territoire du temple Ninnaji à Kyoto. On pense que le sanctuaire a été fondé au début de la période Muromachi et s'appelait à cette époque Hakusan Gongensha. En 1633 (Kanei 9), Nagai Shinano no kami Naomasa devint le seigneur féodal et commença à consacrer Sugawara no Michizane, et depuis lors, il est également appelé sanctuaire Tenmangu. On raconte que le bâtiment du sanctuaire a été emporté par les eaux lorsque la digue de la rivière Yodo s'est brisée et qu'il a donc été déplacé vers son emplacement actuel, au centre du village. De nombreux arbres sont plantés dans l’enceinte.