山南の生い立ちについては断定できるものはないが、仙台藩を脱藩して江戸に出たという説が最も有力視されている。
江戸では小野派一刀流の免許皆伝で、後に北辰一刀流の千葉周作の門人となり、また柔術の腕前も高いまさに武人であった。
こうした武の腕を高めようとする山南は、近藤勇の天然理心流に他流試合を挑むが、相対した近藤に敗れ、この時、近藤の剣の腕前や人柄に惹かれた山南は、これ以後、試衛館の門人と行動を共にするようになる。
そして、試衛館には後の新選組中心メンバーとなる土方歳三・沖田総司・永倉新八らが集っていた。
1863年、将軍・徳川家茂が京都に行った際の警護の浪士が募集されると、山南は近藤についていく形で、土方歳三、沖田総司、井上源三郎、永倉新八、原田左之助、藤堂平助という試衛館の8人と共に京都へ赴く。
京都に辿り着いた浪士隊は、壬生浪士組から新撰組へと名を変え、徐々にその存在感を増していくが、隊内は近藤派と芹沢派による駆け引きが色濃くなっていた。
山南は、土方らと共に芹沢暗殺の実行者であったという説が有力視されている。
芹沢暗殺により新撰組が近藤勇主導の組織となると、山南の発言力と活躍も増していった。
インテリで剣の腕も確かな文武両道の山南であったが、剣豪揃いの新撰組においては、主に知性の方が重宝され、新撰組の頭脳として活躍する。
武骨な隊士達にとって山南の剣の腕はストレートな尊敬を集め、山南の豊富な知識は隊士達に大人としての知識欲を刺激し、山南は隊内での人気が非常に高かった。
また、山南は、心優しく温厚な性格から、壬生の女性や子供たちから慕われており、新撰組が過去のものとなった明治のはじめ頃まで、壬生界隈には「親切者は山南」という言葉が使われている。
この頃までの山南は新撰組で充実した日々を送っていたことであろう。
しかし、山南とは剣術の同門である北辰一刀流を学び、熱烈な尊王攘夷論者として高い学識を誇っていた伊東甲子太郎が新選組に入隊すると、新撰組は伊東に敬意を払う形で、山南より上位となる参謀という役職を新設した。
新撰組の頭脳として存在感を持っていた山南にとって、インテリ部門に自分よりも重宝される存在が現れたことにより、徐々に隊内での働き場所を失っていく。
日に日に孤独感を募らせていく山南は「江戸へ行く」と置き手紙を残して行方をくらませる。
隊規の局中法度で脱走は死罪と決まっており、近藤と土方は、隊の規律を示すためにも、すぐに沖田を追っ手として差し向けた。
近藤と土方が沖田一人だけを派遣するという不可解な指示を出した背景については、様々な憶測がされているが、山南と沖田が非常に仲が良かったため、沖田が山南を見逃し、その目撃者が誰もいないという状況を作りたかったのではないかと考えられている。
しかし、山南の本心は、居場所のなくなった新撰組を出たいということよりも、居場所を失い生き甲斐を失ったという事に寄っていた。
山南の脱走は、半ば死を覚悟しての運だめしのような部分があったのかもしれない。
沖田に追いつかれた山南は、そのまま新撰組屯所に戻る。
この時、山南と沖田がどんな言葉を交わし合ったのかは分からない。
しかし、沖田に追いつかれ、運だめしに敗れた時点で、山南は近藤と土方のメンツや、自分のような大幹部でも規則を破れば罰せられるという結果をもって、新撰組そのものの顔を立てる事を、決めたのであろう。
屯所に戻った山南は正式に切腹を命じられる。
永倉は再度の脱走を勧め、手はずを整えようとするが、覚悟を決めていた山南は応じなかった。
死を覚悟していた山南は馴染みにしていた遊女の明里を身受け(当時の遊女は人身売買で店に在籍しているため、その遊女が一生の間に稼ぐであろう金を店に払うことで妾などとして買い取るシステムがあった。)し、自由の身となって故郷に帰れるように計る。
文武両道、武士としての美徳を備え、人間として一つの完成系に達していた山南は、恋に対しても誠実であった。
死にのぞむ山南の姿勢はかくも美しく、その姿に対して近藤は、自身が大好きな忠臣蔵を引き合いに「浅野内匠頭でも、こうは見事にあい果てまい」と賞賛する。
