一応、現状のバージョンがいくつなのか確認してから作業に取り掛かりましょうか。FTPなりSSHなりでサーバに入って、現状のサイトがおいてあるディレクトリ（PC風に言えばフォルダです）にある、wp-includesを開いて、中にあるversion.phpを開いてみてください。（開くだけ。書き換えたりしてはダメです。）その中に、$wp-versionという変数が書いてある行があります。そこにある数字がバージョン番号です。今日現在の最新版だと、バージョンは6.7.1になっているはずです。それがいくつになってますか？
バージョンアップに関しては、管理画面に入って更新をかけられない以上、FTPなりSFTPを使って、最新版をアップロードするしかないですね。くれぐれも、今まで使っていたテーマとプラグインは別に退避しておいて、wp-config.phpもコピーして残しておいてください。その上で、新しいもので上書きしてください。wp-config.phpは現状のものそのままでおいておきます。その状態でブラウザでアクセスしてみて、管理画面に入れたらしめたものです。
なお、今までのサイトの記事内容などはデータベースの方に入っていますので、これも作業前に念のためバックアップをとっておいた方が幸せになれます。
