天保9年（1838年），在[[茨城县]]近郊的阿武郡川岛村（现在的[[山口县]][[萩市]]川岛）、长州藩的之间，作为山县有稔（中村喜左卫门的孩子）的长子出生。纵然是足轻以下的中产身份，为了将来枪术的成熟，从少年时代开始便致力于长枪的练习。再接受着父亲简单的[[教育]]，为了出来当个下级官员一边工作，一边致力于文武。可是山县在青年时期相继失掉父母，把他抚养成人的祖母也在明治2年 (1865年) 3月神秘地跳海自杀了。这段寂寞的青春对他性格的塑造有着很大的影响，养成了他猜疑心很强的人物性格。大约在这个时候，山县的朋友杉山松助推荐他进入松下村塾，但据说他以“吾不会成为文学之士”的理由拒绝了