台北市目前以客家為主題成立的三個館室中，客家藝文活動中心定位於資訊交流中心，有鑑於目前的公私立圖書館中雖有收藏客家文獻，但缺少系統性的整理與收集，為了便於對客家文化有興趣之民眾在一個地方就能找到所需的客家資料，包含文本與視聽資料，於是便有了成立客家圖書室的想法，地點選在客家藝文活動中心之內。
客家圖書室於民國九十年七月即已成立開館，但因當初所配置的空間不大，逐漸發覺空間容量明顯不足，所以去年藝文活動中心的空間重新調配計劃中，也將圖書室更新整頓規劃，今年四月一日重新開放。