今のように、リストが下にあって、クリックすると、その上に動画が表示されるようにしたい
「今のように」とありますが、今どのようにされているのかが見えないため、１つ目のご質問にはお答えできませんが･･･
２つ目のご質問について。
動画はメディアライブラリに全てアップロードすると、サイトは重くなりますか？
サーバーのスペックにもよりますが、重くなると思います。おすすめしません。
YouTubeにアップロードするしかありませんか？
その際、広告が表示されないようにすることはできますか？
そのサイトは商用でしょうか。
もしそうでしたら、YouTube の利用規約をご確認ください。YouTube は商用利用（有料会員限定サイトへの掲載など）を禁止しているはずです。
Vimeo のご利用をご検討ください。Vimeo は無料プランでも広告が表示されません。（2024/6/5 現在）
ブロックエディタの場合、YouTube に同じく、URL を貼り付けるだけで WordPress に埋め込めます。