苏共十七大，叶若夫成为中央委员。两年后成为中央书记处书记、检查委员会主席，后受斯大林赏识进入内务部。从1936年到1937年在大清洗运动中，叶若夫主持下内务部逮捕了150万人，并处决了其中的半数。1940年2月4日被处决，当时6岁的养女娜塔莉亚活了下来。1998年，他的养女娜塔莉亚要求为叶若夫平反，但俄罗斯最高军事法庭未予许可。