Elle a été construite en 1904 par Tomoito Sumitomo, le 15e chef de la famille Sumitomo, basée à Osaka depuis l'époque d'Edo, et qui a fait don du bâtiment de la bibliothèque et des fonds pour acheter des livres de bibliothèque. Initialement, le nom était « Bibliothèque d'Osaka », mais le nom a ensuite été changé en « Bibliothèque préfectorale d'Osaka Nakanoshima ». En 1922, les ailes gauche et droite furent également offertes et ajoutées au bâtiment (biens culturels d'importance nationale). Il s'agit d'un bâtiment majestueux doté d'une structure en pierre de trois étages et d'un dôme au toit de cuivre. Il a été conçu par les architectes Magoichi Noguchi et Akira Hidaka du département d'architecture temporaire de Sumitomo. La bibliothèque de Nakanoshima possède une collection de documents anciens, de littérature liée à Osaka et de livres sur les affaires. Grâce en partie à son emplacement calme et pratique, il est toujours populaire parmi les chercheurs et les amateurs de livres près de 100 ans après son achèvement.