1921年日本鳳翔號航母下水，被認為是世界上第一艘航母。到1941年日本已擁有了10艘航母，10艘戰列艦，38艘巡洋艦，112艘驅逐艦，65艘潛艇和其他艦艇。太平洋戰爭初期，日本海軍席捲了在太平洋上的主要對手，不過美國在工業輸出和新穎技術發展的推動下漸漸地把戰局扭轉了過來，1945年被美國海軍完全滅亡。
1941-1945年日本共生產了航母17艘、戰列艦2艘、巡洋艦9艘、驅逐艦63艘、潛艇147艘。而在同一時期美國生產了航母（包括護航航母在內）141艘、戰列艦10艘、巡洋艦48艘、驅逐艦355艘、護衛艦498艘、潛艇203艘。僅從數量上我們就可以看出雙方在生產能力上的差距，日本整個二戰期間僅僅建成63艘驅逐艦，而美軍同期有740多艘反潛艦艇建成下水。
二戰後按照日本憲法將放棄武力，成為一個和平國家，但朝鮮戰爭爆發後，美軍又讓日本海軍武裝了起來，1954年日本海上自衛隊正式成立，1956年日本就建成了春風號驅逐艦，1960年又建成了親潮級常規潛艇。冷戰時期日本海上自衛隊的使命是協同美軍第七艦隊與蘇聯的太平洋艦隊對峙，主要是反潛以及水雷作戰。使得日本海上自衛隊的掃雷排名世界第一，反潛能力僅次於美國海軍。
從1958年-1976年日本建成了4艘直升機驅逐艦，天津風號護衛艦與太刀風級驅逐艦等現代化艦艇，基本上已經趕上了世界艦艇的先進行列。同時還引進了P-2海上巡邏機以及海王反潛直升機的生產線，大大充實了岸基航空力量，並開始部署了艦載航空兵力。此後日本建立了八八艦隊，以直升機驅逐艦為核心，擁有8艘水面艦艇與8架反潛直升機的機動反潛艦隊。
1993年金剛級驅逐艦驅逐艦一號艦建成，成為世界上第二個擁有宙斯盾系統艦艇的國家。共建造4艘，滿載9485噸，為了使其擁有彈道導彈防禦的能力，在改裝的過程中換上了Block IA版本的RM-161標準三型導彈。但其垂直髮射系統僅有發射防空導彈與反潛火箭的能力，未配置對地攻擊專用的BGM-109戰斧巡航導彈。
冷戰後遭遇日本經濟大蕭條，海上自衛隊預算也受到了影響，發生了大規模的縮減。艦艇數量雖然在減少，但是由於其艦艇更新換代比較快，艦艇的總噸位卻一直在攀升。如1990年的艦艇總數為170艘，標準排水量31.9萬噸，而2011年儘管數量變為143艘，但是標準排水量則達到了45萬噸。
日向級直升機航母
其中的代表是2009年建成的日向級直升機航母，本級艦共建造了2艘，標排13950噸，超過了一些國家的輕型航母，採用全平開闊甲板，能同時容納4架巡邏直升機同時起降，機庫最多可停放11架直升機。日向號是日本近年來建造的第4艘輕型航母，此前已擁有三艘大隅”兩棲運輸艦，滿載14000噸。日向號上還首次設定了女性隊員專用房，將有17名女性隊員乘船。
出雲級直升機航母
出雲級直升機航母2013年日本出雲級直升機航母下水，同級2號艦2015年完工，比日向級大50%，其27500噸的滿載排水量竟然超過義大利海軍加里波第號航母、西班牙阿斯圖里亞斯親王號航母和英國皇家海軍2.1萬噸的無敵級航母。目前出雲級航母正在改裝，為F-35艦載機上艦做準備，改裝完成後可攜帶12架F-35B垂直起降戰鬥機、8架V-22魚鷹傾轉旋翼機以及8架反潛直升機。
愛宕級驅逐艦
愛宕級驅逐艦是日本具有攔截彈道導彈功能的第二代宙斯盾艦，滿載接近10000噸。共建造了2艘。裝備2組美製MK-41型導彈垂直髮射系統，包括艦首的64個發射單元和直升機庫頂部的32個發射單元。MK-41垂直髮射系統是世界上最先進的艦載導彈發射裝置，具有隱蔽性強、發射速度快（最高達1枚/秒）、反應時間短、可全方位攻擊等優點，而這些特點對抗飽和攻擊特別重要。
另外還裝備了裝備不依賴空氣推進（AIP）系統的蒼龍級潛艇，水下4200噸，成為全世界排水量最大的柴電潛艇。航空力量中除了更新現有主力機種P-3C外，新一代日本國產反潛巡邏機P-1已經基本成型。
雖然受到現行日本國憲法的限制，海上自衛隊偏重防衛，但是軍艦的水準與噸位、裝備等仍維持世界主流水準。八八艦隊也已經發展為十十艦隊，即10艘艦隻搭載10架反潛直升機組成一個有機的叢集，無論遠、中、近海都可以獨擋一面。
