結婚した二人は光太郎が以前から住んでいた本郷区駒込千駄木林町（現・千駄木５−２０−６）の住居で暮らし始める。
光太郎には父の下請けや翻訳の仕事しかなく、本人の弁によるとかなり貧乏だったらしい。
「私達二人はまつたく裸のまま家庭を持つた。もちろん熱海行などはしなかつた。それから実に長い間の貧乏生活がつづいたのである」
「私達は定収入といふものが無いので、金のある時は割にあり、無くなると明日からぱつたり無くなつた。…二十四年間に私が彼女に着物を作つてやつたのは二三度くらゐのものであつたらう」（「智恵子の半生」）
しかし実際には父光雲からの仕送りがあり、食うに困るような窮状ではなかった。「貧乏」をテーマにした光太郎の詩を読んでも、悲惨というものではなくむしろロマンチックな幻想が感じられる。
世間知らずのお坊ちゃまが貧乏生活に無責任なロマンを抱いていた…そんなところが実際ではなかったのだろうか。
鯰
盥の中でぴしやりとはねる音がする。
夜が更けると小刀の刃が冴える。
木を削るのは冬の夜の北風の為事である。
煖炉に入れる石炭が無くなつても、
鯰よ、
お前は氷の下でむしろ莫大な夢を食ふか。
檜の木片は私の眷族、
智恵子は貧におどろかない。
鯰よ、
お前の鰭に剣があり、
お前の尻尾に触角があり、
お前の鰓に黒金の覆輪があり、
さうしてお前の楽天にそんな石頭があるといふのは、
何と面白い私の為事への挨拶であらう。
風が落ちて板の間に蘭の香ひがする。
智恵子は寝た。
私は彫りかけの鯰を傍へ押しやり、
研水を新しくして
更に鋭い明日の小刀を瀏瀏と研ぐ。