全くのド素人なので「何を言ってるんだこいつ？」と思われるかもしれませんが質問をさせてください

先日引っ越しに伴ってプロバイダを変更した結果、それまで使っていたモデム？ルーター？をauに返却しました
そして引越し先で新しくソネット光になったので新しいモデム？ルーター？が送られてきて
インターネット工事が終わったのでさあインターネットに接続しようと思ったのですが
新しい機器にはなぜかLANケーブルをつなぐ穴が一つしかありませんでした
そこでヨドバシカメラにてスイッチングハブなる商品を購入して新しい機器に接続したのですが１台目のPCがネット接続できるのに
２台目、３台目のPCは「IPアドレスが見つかりません〜」などという表示が出てネット接続できない状況になっています

ネットで少し調べてみたところ「モデムという機器にはルーター機能が内蔵されていないものがありそこにスイッチングハブを直接接続しても無効」
という内容のことが書かれたサイトを見つけたのですがまさに私は今これをやってしまっているわけなのでしょうか？

以前auひかりを利用する前はNTTかどこかのプロバイダを利用していたのですがその時はネット接続を利用する際に機器が２台あったのですが
あれはモデムとルーターだったわけなのですかね・・・？
auひかりに変えたときには機器が１台だったのでどこのプロバイダでも１台で複数の端末をネット接続できるものを思い込んできたのですが・・・

長々と書き込んできましたが私が今使っているモデムにはルーター機能が内蔵されていないという理解で問題ないでしょうか？
だとするとルーターの購入しなければ話になりませんよね？