旧等级
明治维新以后，天皇根据兵库县知事伊藤博文的建议，建立起中央直辖的军队，分为陆军和海军两个军种。
大元帅为最高统帅衔，授予天皇。当时的日本宪法规定，天皇为陆海军之统帅，全权定陆海军之编制及常备兵额，并宣战讲和及宣告戒严，凡有重要之军事，皆亲裁之。
明治三十一年（1898年），日本决定废监军部，改设元帅府为最高的军事咨询机关。元帅府配备元帅若干人，由日本天皇就陆海军大将中选任，颁赐元帅封号，担任军事顾问及检阅陆海军等任务。到第二次世界大战结束日本投降时止，日本共授元帅31人，其中，陆军17人，海军13人。
旧日本陆军军衔分为将官、佐官、尉官、准士官、下士官和兵，计6等16级。佐官相当于校官，准士官相当于准尉，下士官相当于军士。
按照日本的称谓，16级次序为：大将、中将、少将、大佐、中佐、少佐、大尉、中尉、少尉、准尉、曹长（上士）、军曹（中士）、伍长（下士）、上等兵、一等兵、二等兵。
根据1906年颁布的《海军军人之名称及阶级表》，日本海军的军衔分为将官、上长官（校官）、士官（尉官）、准士官（准尉）、下士（军士）和卒，计6等18级。下士官以上的等级与陆军相同，兵的等级比陆军多两级，分为一等、二等、三等、四等、五等水兵。
新等级
1950年，日本重建军队，至1954年建成陆上自卫队、海上自卫队、航空自卫队。重建的日军军衔分干部、曹士两大类。干部军衔包括将、佐、尉官3等。将官分为将一、将二、将补。将一相当于上将，将二相当于中将，将补相当于少将。佐官称一佐（上校）、二佐（中校）、三佐（少校）。尉官称一尉（上尉）、二尉（中尉）、三尉（少尉）。曹士称一曹（上士）、二曹（中士）、三曹（下士）、士长（上等兵）、一士（一等兵）、二士（二等兵）、三士（三等兵））。
新日军1970年增设了准尉，1980年又增设了曹长（即军士长）。
