近代日本实行特殊的“二元结构”体制，对军队的统帅权直属天皇，由陆军参谋本部、海军军令部给予辅弼，内阁无权干涉，这就使“政府机关与统帅机关始终处于对立平等地位，任何一方均不得凌驾于另一方”。在陆军参谋本部、海军军令部这两个军令机关之外，内阁中还设有陆军省与海军省，作为军政机关。因此，在所谓的“军部”中，又存在着陆、海军系统各自的军政与军令“二元结构”。
日本曾多次试图在陆、海军之上设立统一的指挥机构，都未获成功。陆、海军在军部内的长期对立，使日本很难制定一致的对外战略。
1936年，制定国策时，陆军将苏联列为第一大敌，主张“北进”。在他们看来，“先应倾注所有兵力使苏联屈服”；战胜苏联后，“再结集东亚与帝国之一切亲善关系，进而达到把英、美势力从东亚驱逐之目的”。在海军的战略中，则先要“南进”，驱逐英、美在东亚势力，确立霸主地位后，再对付苏联。
以广田弘毅为首的内阁，无力在陆、海军战略中做出选择，只能兼顾两者。在最终确定的《帝国国防方针》中，美国与苏联被同时列为日本的首要敌人，实行“南北并进”战略。即便如此，陆、海军还为美、苏，或是苏、美的排序问题，争论不休。由于在战争之初，日本并没有一个明确的战略规划，以至在国际局势变幻莫测时，穷于应付。
在全面侵华后，日本陆军在1938年张鼓峰事件、1939年诺门坎战役中与苏军两次交手，全部归于惨败。这才使陆军开始停止“北进”战略，同意先行“南进”。但是1941年苏德战争爆发，又让陆军内一些人重燃“北进”梦想，要求与德国夹击苏联。②最后通过重申御前会议上通过的《国策要纲》，才让陆军上下服膺“南进”国策。
即使是在太平洋战争中，陆、海军对于“如何打”的问题，也还是争论不休。如1942年，陆军要求在太平洋正面战场避免大规模进攻，准备应对美国可能发动的反攻；海军则主张尽早寻机与美国决战。又如，海军要求进攻澳大利亚，陆军则反对。以至日本无法制定一个实质性的战争指导大纲，只能笼统地表示，“应继续扩充既得的战果，整备长期不败之政战态势，相机采取积极的方策。”
在侵华问题上，日本陆军与海军意见也不一致。关东军发动满洲事变后，海军持坚决地反对立场。直到1932年，上海发生日本僧侣被杀事件，驻在当地的日本海军声称：“陆军必须保卫我们在满洲的权益。上海没有陆军，所以海军在上海就必须负起同样的任务。”海军一向嫉妒陆军在满洲的风光，现在终于等到了大显身手的机会，表示：“陆战队并非昔日之陆战队，有两千人，有野炮和装甲车，没问题。”言下之意就是，凭海军的力量足以对付十九路军，无需陆军插手。
但是当战斗真的发生时，海军还是不得不求助于陆军。海军认为，上海是它的警备区，要求多少陆军增援，要由它说得算；在陆军看来，海军这是对陆军统帅权的侵犯，要派多少兵力去上海，必须陆军自己决定。此时海军有求于人，只好让步，同意按陆军要求，派遣第9师团到上海。接下来，当战局需要继续增兵时，关于登陆的地点、时间，海军又同陆军发生了严重分歧。
七七事变爆发后，裕仁天皇分别向陆军参谋总长和海军军令部总长询问解决方案。参谋本部的设想是，在华北增兵，占领河北、察哈尔，阻止中国军队北上；派一部分陆军到上海、青岛护侨；期待海军发动大规模空袭；做好持久战准备。军令部则把战争重点放在上海，认为要先“确保上海”“在上海作战中迅速获得重大战果，以便在防止各国干涉……等方面取得重大成效”。
对于两种方案，结果还是折中，一方面“在迅速使用武力获得成果，力求尽早解决事变问题的方针指导下，以上海为重点，实施短期决战；同时，以华北为重点，预计将进行一场长期的持久战”。这等于是让陆、海军各干各的，无法统一协作。
日本陆、海军分立的问题，一直到战争结束都未能解决。1945年3月，裕仁天皇表示对这一问题的关注后，陆军多次提议与海军磋商，但海军不给任何商量的余地。以至除了在密苏里舰、南京和新加坡外，日军在其他各地的投降书上，都同时签着陆、海军将领的名字。
由此可以想见，对于日军来说，统一陆、海军行动，有多么困难了。这种对立，让日本在整个战争期间都无法制定长期战略，时常陷于被动。
