こんにちは。
おそらくクラシックエディターを有効化しており、以下のようなボタンが表示されている状態かと推測とします。
このボタンはアクセシビリティ上の理由で存在しますが、screen-reader-text CSS クラスを持っているので、キーボードのタブキーなどでフォーカスしない限りボタンは表示されないはずです。
このボタンがデフォルトで表示されているという事であっていますでしょうか？それであれば正しい動作ではないので、有効なプラグインを全て停止したり、テーマを変更したりしてみて、何がこのボタンの表示に影響しているかを切り分けてみてください。