ほぼ同じスペック(166の73)で26インチ乗ってるけど、靴履いてればトップチューブに金玉が軽く触れるくらい(裸足だと若干食い込む感じ)
乗り降りの動作にさえ慣れれば特に問題ないと思う
街乗りメインなら24、CRとかそれなりに走るなら26って感じでよいんじゃないでしょか