荷蘭人於主後一六二四年 ( 明末 ) 由台南安平港登陸佔領台灣，建立「熱遮蘭城」 (Castle Zeelandia) 做為控制台灣的據點，並開始向台灣原住民傳佈基督教和使用荷蘭拼音羅馬字 ( 俗稱白話字 ) 。荷蘭人於一六六二年退出台灣，基督教也隨之消逝，只留下荷蘭拼音羅馬字，成為台灣推行羅馬字運動之珍貴資源。

一八六五年五月英國長老教會宣教 師馬雅各 醫師 (James L Maxwell, M.A.,M.D.) 與助手陳子路、黃嘉智、吳文水來台，六月正式在台灣府開始工作，杜嘉德牧師 (Rev. Carstairs Douglas) 也一同渡台佈教，基督教才再次傳到台灣南部。一八七二年三月加拿大長老教會宣教師馬偕牧師 (Rev. George Leslie Mackay, D.D., 又稱偕叡理牧師 ) 由英國長老教會宣教師李庥牧師 (Rev. Hugh Ritchie) 及德 馬太 醫師 (Matthew Dickson, M.D.) 陪同抵達淡水，開始在台灣北部地區傳教。隨後基督教 ( 長老教會 ) 即逐步傳遍全台灣。

一八八四年法國軍艦封鎖基隆淡水之前，台灣人對外國人 ( 宣教師 ) 缺乏足夠信任，亦懷疑本地籍的傳道人和基督徒與法國人串通聯合，乃百般虐待基督徒甚至折磨至死。雙方開火後，暴徒蜂湧將北部七所教堂燒燬，財物?掠殆盡。許多基督徒遭殺害，這是台灣教會自成立以來第一次受逼迫。

一八九五年四月滿清政府與日本簽訂馬關條約，將台灣與澎湖列島割讓給日本。在五月日軍登陸台灣之前，一些人懷疑基督徒串通日軍，許多基督徒慘遭嚴重迫害。當日軍佔領台灣，又誣指基督徒唆使暴徒反抗日軍，因此逮捕基督徒予以虐待殘殺，教堂被佔為駐軍之用，這是台灣教會 ( 長老教會 ) 第二次受逼迫。所幸仍有不少鄉紳有識之士，當日軍於五月包圍台南之時，敦請巴克禮牧師 (Rev. Thomas Barclay, M.A, D.D.) 和宋忠堅牧師 (Rev. Duncan Ferguson, M.A.) 以市民連名請願書往見乃木希典將軍，使日軍順利入城，免除一場浩劫。成為台灣人與日軍之間的和平使者，建立互信基礎。

一八九三年九月六日 馬偕牧師告假歸鄉加拿大，一八九五年十一月間馬偕牧師自加拿大返回台灣，看見教會遇害甚重便往見日本總督乃木希典將軍，告以基督徒受害之狀，當時乃木將軍立即起立握住馬偕牧師之手，凝視片刻說：「原來如此，余聞之也不忍心，抱歉！抱歉！除了道歉之外，沒其他可說了。現在行政已上軌道，治安漸趨平靜，希望你放心。」馬偕牧師聽了十分感激。台灣南北基督長老教會遂與日本在台的軍政府建立友善的關係。尊定日本基督教會 ( 長老會 ) 與台灣長老教會之間往後長期合作關係的基礎。

一八九五年九月日本教會以慰勞軍人的名義，派日本基督教會 ( 長老會 ) 細川瀏牧師、浸信會士川龜牧師、美以美會武田芳三郎來台。他們盡力與日軍駐軍司令聯繫，多方協助台灣教會。細川瀏牧師更遍訪澎湖及台灣南北各教會，最後於 十二月四日 晚上在艋舺教會與馬偕牧師見面，共同舉行日本人與台灣人的聯合禮拜，以英語、日語及台語主持禮拜、講道、勉勵、彼此交流，充滿喜樂。見證跨族群、跨文化的合一。

一八九六年五月日本基督教會傳道局感到台灣傳道的緊急需要，派河合龜輔牧師來台向日本人傳教，六月河合牧師抵台，當時台北已有少數日本基督徒不分教派組織「基督信徒一致會」，熱心研究聖經、祈禱、聚會、禮拜。河合牧師一來旋即倍受歡迎。 七月四日 馬偕牧師在艋舺教會禮拜堂與十餘位日本基督徒舉行親睦會歡迎河合牧師。並決議請河合牧師在台北做日本人的牧師 ( 因台灣長老教會已經向漢人及原住民傳教三十年 ) ，委由河合牧師籌設教會從事對日本人傳道的工作。推薦田川大吉郎、長野源吉、水崎基一、萱場三郎、今井榮吉、山田新助等六位做委員。七、 八兩 個月借用台灣人所使用的艋舺教會禮拜堂聚會做禮拜，第一次僅有四位出席。當時雖語言不通，馬偕亦鼓勵台灣人信徒參加。隨聚會次數的累積，出席人數有時增加到將近二十名，不久又得到 李春生 先生的協助將聚會場所改在新起街 ( 即現在的西門町漢中街 ) 所借房屋聚會。有時改至北門街的日本物產會社內，幾次變更聚會場所，直到九月承蒙馬偕牧師及 李春生 先生的好意，在新起街得到一個房屋，至此開始有自己固定的聚會場所 ( 根據當時的記錄，出席禮拜者計有四十名左右，祈禱會十多名，幕道者十五、六名。 ) ，而在這個月的二十七日首次得到二位接受洗禮。

一八九六年十一月日本基督教會大會派遣傳道局長大儀見 元一郎 先生從日本來台視察，即趁此機會，於該月二十二日協議決定正式成立「台北日本基督教會」簡稱「台北教會」，此即現今台灣基督長老教會台北濟南教會之前身。參加這次會議者計有四十名，同時推薦四名擔任長老，獲得推薦擔任教會最初長老的殊榮者是山田、萱場、森、山下等四位。當天晚上由馬偕牧師及台灣南部長老教會宣教師宋忠堅牧師行按手禮就任。參加者有台人及日人共兩百多名，在莊嚴肅穆中結束。

一八九七年，為了紀念日本基督教會二十五週年暨台北教會一週年，舉行一星期連夜的佈道大會。一週間連夜開祈禱會懇求神的幫肋，節目裡包括長野源吉、李春生、嚴清華牧師致詞、河合牧師的歷史演講及馬偕牧師的講道。根據記載參加者台灣人一七○名，日本人一五○名。

一八九八年日本基督教會體認台灣傳道工作的迫切需要，乃撥一五○○圓作為台灣傳道費用，並為之募款。此時，台北教會出席人數漸增，座位有限，甚至有人要站在會堂外參加禮拜。於是河合牧師提議計劃建築會堂，決定募捐五千圓預算，先由婦女會計劃舉辦音樂會，在北門十字屋樓上舉行，當時兒玉源太郎總督也間接協助，德國領事及荷蘭領事館書記官，並以小提琴及風琴合奏會協助募款，並得各方面的支持，非常成功。募得一○八元四十六錢七厘。 李春生 先生先捐西門街外 三百坪 土地 ( 西門街外三丁目新起街二丁目 ) 及現金二千圓，馬偕牧師捐八十圓及吳威廉牧師 (Rev. William Gauld, B.A., D.D.) 捐五十圓為首開始幕款，得到諸教會及信徒熱心奉獻四千四百餘圓，總計達六千餘圓，於一八九九年二月動工建築禮拜堂，並於 一九○○年二月十日 竣工，舉行獻堂感恩禮拜。隔日 二月十一日 舉行河合牧師就任典禮。

從此河合牧師率全體長執與信徒，大家誠心誠意的全力合作，傳福音的地方不限於台北市，鄰近的基隆、淡水、南崁、台中，有時也到花蓮、台東、高雄等地去佈道，足跡遍及全台灣。

一九○六年台北、台南、基隆三個教會代表於台北教會舉行日本基督教台灣中會設立禮拜，成為當時日本基督教會繼東京、浪花、山陽、鎮西、宮城、北海道之後的第七個中會。當時中會組織設於台北日本基督教會即現今濟南長老教會之前身，台灣中會負責人先後為河合龜輔及上與二郎牧師，統籌所有台灣中會相關事務。

隨著教會迅速的擴張與發展，漸感聚會場所狹小不夠使用，經河合龜輔牧師提議乃於一九○七年 ( 明治四十年 ) 二月二十四日 召開信徒大會，決籌募五萬圓並賣掉新起街舊會堂，重新興建更大的禮拜堂，推薦當時任台灣總總督府土木局長的長尾半平長老擔任建堂委員長，進行籌募建堂基金。

一九一二年 ( 大正二年 ) 八月河合牧師離職，同年十月聘大谷虞任台北日本基督教會第二任牧師，這時新教堂的建築經費正在大力募捐，大谷虞牧師為此事全力奔走全台講道募款，得到李春生長老再捐兩千日圓，又得到台灣總督兒玉源太郎的間接協助，經過約八年的募款，由於愛主的兄弟姊妹的甘心奉獻，及一些民間的支持，完全達到預定目標。於一九一五年 ( 大正四年 ) 二月二十八日 開工興建，經過一年四個月，於一九一六年 ( 大正五年 ) 六月二十八日 竣工完成具有邊塔的哥德式禮拜堂。總計花費四萬八千七百餘圓，就是現在我們所看見所使用的這堪稱目前台灣最具藝術價值古典堂皇莊嚴宏偉的濟南教會大禮拜堂。當時教會有主日學、婦人會、青年會、若葉會、曉星會、老人會、聖書研究會及祈禱會等等聚會，會友人數大增。

一九一六年八月此新禮拜堂舉行獻堂式 ( 禮拜 ) 之時，東京富士見町日本基督教會之名牧，植村正久牧師 ( 按：河合龜輔、大谷虞、光小太郎、上與二郎都曾是他的學生 ) 被邀請前來參加典禮，而後植村牧師並前往台灣全島各地從事傳道旅行。

九十年來 ( 一九一六年～二○○六年 ) ，這座教堂雖然歷經大風暴雨及強烈地震與幾次戰亂，仍然屹立不移。擔任這個禮拜堂的設計師是 井手薰 先生，他也是總統府大廈的設計人，並由森 山松之助 先生擔任顧問，經由他們的精心設計及細心指導，才有這樣歷史性的建築，使在此出入聚會做禮拜的人，從心底表示崇高的敬意和感謝。濟南教會曾於一九八五年 ( 民國七十四年 ) 一月 ~ 六月大整修這座禮拜堂。

一九一七年 ( 大正六年 ) 二月二十日 大谷虞牧師要赴上海教會牧會乃辭去牧職，一時找不到可接任牧師，經光小太郎牧師同意支援一年，於同日到任，同月二十二日舉行歡送大谷虞牧師暨歡迎光小太郎牧師之禮拜，參加會友有六十名，是本教會 ( 台北日本基督教會 ) 的第三任牧師。

一九三三年 ( 昭和八年 ) 上與二郎牧師決定向台灣人佈教，乃由台北日本基督教會在大稻埕的紅十字會也就是現在的中興醫院後面，借到一間房子，設立傳道所以日語講道禮拜，稱太平町傳道所，二年後上與牧師決定全力支援該傳道所，改稱為「台北日本基督教會太平町教會」 ( 或稱港町教會、大稻埕教會 ) ，並派日人教師梅崎正二 郎 先生為傳道主任。一九三七年五月將台北日本基督教會改名為台北幸町教會。一九三九年 ( 昭和十四年 ) 十一月 梅崎 先生因健康關係辭任回東京，太平町教會就由上與二郎牧師和母會幸町教會，繼續為此新設教會之成長而努力。一九四二年 ( 昭和十七年 ) 十月上與二郎牧師之子上謙二郎牧師任太平町教會教師，次年 二月二十一日 該教會舉行封牧典禮，後來上謙二郎牧師被徵召去南洋當兵，戰死於雷伊泰島海上，大稻埕的太平町教會因此沒有牧師。然因上與二郎牧師亦同時主持大橋教會，會友就轉到大橋教會聚會。

一九四四年四月二十九日 台灣基督長老教會被併入在台北幸町教會新成立的「日本基督教台灣教團」，於同月二十九日在幸町教會舉行開幕典禮。此團乃在台灣總督府的積極指導下，進行各種斡旋，以盡忠皇國，台北幸町教會旋即成為一座穩晦形式的國家教堂。一九四五年八月日本投降，十月該團正式解散。由於上與二郎牧師曾領導全台教會，所以戰後上與牧師雖被遣返日本，他心中仍認為將來會再返台牧會，據說他認為五年後日本必重新奪回台灣，屆時向政府要回教產比較快，因而雖將幸町教會與太平町教會所有會籍移交給台灣基督長老教會北部大會，由劉忠堅牧師接受，並派郭和烈牧師任濟南教會第一任牧師，但卻沒有將濟南教會的產權交給長老教會北部大會，而交給台北市政府 ( 市長游彌堅 ) ，導致後來濟南教會產權糾紛不斷。另外在北門附近許多教會的財產也都因不知道如何辦手續，而皆被政府接收，實在可惜。

戰後日本人信徒陸續返國，當時其他各地日本教會的聚會都沒有人，大家都由各地聚集到台北幸町教會，一批一批的回到日本。濟南教會成為在台日人信徒最後唯一集會點，上與二郎牧師一家也於一九四七年回到東京，隨即以由台返日的信徒為中心，創立「千歲教會」。

戰後太平町教會併入母會幸町教會，並移交會籍給長老教會北部大會的會友，有陳銘德、董大成、吳震春、林國煌、李柱、李杜、林宗義、盧俊祺、杜德和、 高慈美、楊凌祥、楊忠實、徐千田、蘇錦雀、蔡月娘 …. 等人。其中多人現仍參與在濟南教會中。

戰後「幸町教會」因地名變更，改名為「濟南街教會」，後再改名為「濟南路教會」，最後改名為「台灣基督長老教會台北濟南教會」簡稱「濟南教會」。

1998年5月4日，經台北市政府公告為直轄市所認定之古蹟。在歷史的傳承上，教會歷經日據及國民政府不同時代，在體制上深受日本基督教會及台灣基督長老教會影響；而思想上，濟南教會則有改革宗神學精神，及日本無教會主義「聖書主義」重視聖經的傳統。