近所の小学生男子が娘？ベビーカー？に執着してて困ってる。

今、事情により上の子の登下校に付き添っていて下の子をベビーカーで同伴してる。ある時、同じ小学校に通う近所の3年生の男子(支援学級在籍)と道で一緒になってベビーカーへものすごく興味を持たれ、掴んで離してくれなくなった。それ以来会うたびに押したがり少し強めに言ってもなかなか通じない。
その子のお母さんは挨拶程度だったけど、男児がどんなニュアンスかはわからないがベビーカーのことを話したらしく会った時に謝られ、その場で注意してくれたので一時触らなくなった。でも会うと横を歩いて離れず下の子に「可愛いねー」とずっと話しかけたり、ベビーカーも少しずつまた触り始め、最近は足でストッパーを止めたりし始めた。
狭い道で横に広がったり歩道からはみ出しそうになるので何度も注意するのもストレス、何よりベビーカーへ手や足を出すのが危ないし嫌。学校に着いても教室に行かずずっと私たちに着いて来るから先生達が引き離してやっと離れる始末。

一度謝られているしご近所なので穏便にと思ってたけど、できれば疎遠になりたい。関わりたくない。時間ずらすのも限度あるしずらしても会う時は会っちゃうし道はずっと一緒だし、どうしたらいいの？？お母さん付き添ってよ…