明治３４年（１９０１年）３月１４日、広島県沼隈郡鞆町（現福山市鞆町）において北山恒治・ハルの次男として生まれた。旧名は北山勝。

大正３年（１９１４年）１４歳の時、母方の家を継ぐため緒方姓となった。

大正９年（１９２０年）２０歳のとき、本郷絵画研究所に入り、岡田三郎助に師事して画業に励んだ。
昭和２年（１９２７年）に帝展（第８回）で「室内裸婦」が初入選し、昭和９年（１９３４年）には帝展で「室内」が特選となった。
昭和１０年（１９３５年）からは光風会評議員をつとめた。
昭和２０年（１９４５年）に鞆に疎開して昭和２８年（１９５３年）まで住んだ。
この間、尾道の小林和作とともに地元洋画界で戸塚孝三郎、藤井軍三郎氏など多くの後輩を指導した。昭和３１年（１９５６年）光風会審査員、昭和５１年（１９７６年）日展参与となった。

昭和５４年（１９７９年）８月２０日逝去、享年７９歳。