Linji Huguo Chan Temple là một trong những ngôi đền cổ nhất bằng gỗ thời thuộc địa Nhật Bản, còn sót lại và được bảo tồn tốt nhất ở Đài Bắc. Năm 1895, sau chiến tranh Trung – Nhật, Đài Loan trở thành thuộc địa của Nhật Bản. Vì thế, người Nhật đã xây dựng các công trình ảnh hưởng văn hóa Nhật trên đất này như các võ đường, đền thần đạo và chùa Phật giáo. Thành phố Đài Bắc có 3 ngôi chùa Phật Giáo kiểu Nhật gồm Shandao, chùa Donghe Zen và Rinzai Zen. Shandao là ngôi chùa lớn nhất và đã được xây dựng lại thành một khối tháp vào năm 1981. Donghe Zen đã bị phá bỏ vào năm 1993, chỉ để lại một tháp chuông đơn độc. Rinzai là một tông phái của Phật giáo, có nguồn gốc từ trường phái Lingji của Trung Quốc thời nhà Đường.
Rinzai nhấn mạnh việc sử dụng koans, là những giai thoại hoặc câu đố không lời giải nhằm thúc đẩy sự giác ngộ. Rinzai phát triển mạnh mẽ ở Nhật Bản kể từ khi du nhập vào năm 1199, nhưng gần như bị xóa sạch dưới thời Minh Trị Duy Tân (1868). Minh Trị coi Phật giáo là tôn giáo có nguồn gốc ngoại lai, và không cao quý như Thần đạo. Rinzai từng có mối quan hệ chặt chẽ với hệ thống xã hội phong kiến trước và được hưởng đặc quyền dưới sự bảo trợ của tầng lớp Samurai. Đây là sự đối nghịch với Minh Trị. Vì thế, để tồn tại Rinzai buộc phải thay đổi và thích nghi với xã hội mới để tránh diệt vong.
Trong khi Phật giáo gặp khó khăn dưới thời Minh Trị thì tại Đài Loan, các nhà sư được cử theo các đoàn quân đội để dập tắt các cuộc nổi loạn tại thuộc địa. Năm 1900, Kodama Gentaro, Thống đốc Đài Loan đã yêu cầu các nhà sư thuộc trường phái Thiền tông Rinzai đến Đài Loan và xây dựng một ngôi chùa để quảng bá Thiền tông. Vị trí xây dựng được chỉ định nằm bên bờ sông Keelung, bao quanh bởi khung cảnh núi non sông nước tuyệt đẹp.
Toàn quyền Kodama Gentaro, người có liên hệ với giáo phái Rinzai đã mời người bạn học thời đại học của ông là Iori Genshu (梅山玄 秀), một nhà sư Rinzai nổi tiếng từ Osaka đến Đài Loan và trở thành trụ trì. Rinzai được xây dựng từ năm 1900 đến 1911, với tên gọi ban đầu là đền Chin’nanzan Gokoku-ji, có nghĩa là ngôi đền được sử dụng để giúp bảo vệ Vùng đất phía Nam của Đế quốc Nhật Bản.
Rinzai mang kiến trúc điển hình của các ngôi đền Phật giáo trong thời kỳ Edo của Nhật Bản. Đây là công trình kiến trúc bằng gỗ lâu đời nhất còn sót lại ở Đài Loan trong thời kì cai trị của Nhật Bản và là một trong những công trình lớn nhất. Chánh điện được xây dựng hoàn toàn bằng gỗ Bách, một loại gỗ bản địa được người Nhật ưu ái gọi là Hinoki, vì có mùi thơm, đặc biệt là vào những ngày mưa. Kiến trúc của chánh điện đặc trưng thời kỳ Edo, thời kỳ mạc phủ Tokugawa. Mái của Chính điện là kiểu mái đầu hồi kiểu Đông Á với mái hiên kép (zhòngyán xiēshān). Các cột đá và lan can của Chính điện được khắc tên của những người Nhật đã khuất như một cách để cầu xin sự bảo vệ của Đức Phật. Bên trong chánh điện thờ Gautama, Phật Bà quan âm và đức Phật Địa Tạng với những câu miêu tả điển hình cho mỗi vị Phật như Compassionate and Kind, Transcend Beyond Time, Commandments and Longevity.
Tháp Chuông cổ bên cạnh chánh điện cũng mang kiến trúc thời kỳ Edo Nhật Bản. The roof of the gate also features a hip-and-gable roof with double eaves, which incorporates Japanese Black tiles, barrel tiles, and “Japanese ogre tiles”. The word “guard” (鎮) is written on the semi-cylindrical tiles of the Main Hall, signifying protection against evil influences.
Phía trước cổng chùa là một phiến đá với dòng chữ Non-attachment. Dọc theo cầu thang phía sau chùa để đi lên đồi là bức tượng Phật bà quan âm bằng đá, cùng với chín tượng Phật bằng đá được sắp đặt ở quảng trường mở phía trước Tháp Ten Thousand Souls Columbarium Tower. Cạnh đó là mộ của vị trụ trì Iori Genshu.
Ngày nay ngôi chùa đã trải qua đợt tu bổ quy mô lớn cũng như xây dựng mở rộng thêm các tòa nhà. Tuy nhiên các kiến trúc chính còn sót lại từ xa xưa vẫn được giữ gìn nguyên vẹn theo phong cách truyền thống của Nhật Bản.
