その理解で大丈夫です！ なので問題はその切り替えをいかに自然にやるかです。「視点が固定されない」じゃなく「固定された視点が切り替わる」なら、構造自体はまったく問題ありません。あとはもう自然ならOKで、不自然ならNGなのです。 章や場面で切り替えるならだいたい自然ですが、それはnote記事にも書いているので、悩んでいるのは地の文が普通に続いている場所での切り替えでしょうか。それも可能ですが、自然に読ませるのが結構難しく、それなりに技術が必要です。 どう書いても自然なら結局OKなのですが、視点人物の視線を利用するのがやりやすいかもしれません。たとえば視点人物がAの状態で、AとBに同一のものを注視させて、Bの反応を客観的に描き、そこから視点人物をBに切り替えるという手法です。 また、AにBを注視させ、Bの反応を客観的かつ長めに描き、Aの存在感をなくし、読者がBに没入し始めるタイミングで切り替えるというのもありかと思います。 ただこれらはやっぱりかなり難しい技術なので、視点と被写体への感覚が鋭くない人がやると、大抵は視点のブレと判断されます。ですから上記の手法を見て「なるほど、そうやれば視点切り替えって簡単じゃん」と思えなかったら、それなりに練習をする必要があるでしょう。「視点には同時に被写体が存在している」という点を強く意識し、感覚を鋭くしていきましょう。