虽然他隶属于自民党小派系河本派，但因其清廉的形象受到好评，在最大派系竹下派的支持下，海部俊树于1989年8月10日就任第76代日本首相。

受到海湾战争的影响，海部俊树曾在1991年将除去水雷的海上自卫队扫雷艇派往波斯湾，这是自卫队首次正式向海外派遣。后由于政府官员受贿事件，在政治不信任高涨的情况下，他没能实现提出的政治改革目标，被迫下台，任职约2年3个月。

（资料图：日本前首相海部俊树  东方IC）

重视发展与中国关系，曾就南京大屠杀道歉

卸任首相后，海部俊树曾多次到访中国，并于2000年访问南京大屠杀遇难同胞纪念馆。

参观过程中，海部俊树敬献了花圈，并为死难者默哀，最后他在纪念馆留言册上留言：“二十一世纪是和平希求的世纪。”

2010年4月，海部俊树再次到访南京，他公开表示，日本曾经对南京人民犯下不可原谅的错误，“我作为一名政治家，要向南京人民表示深深的道歉”。