試験期間に図書館が遅くまで開いているか確認すべき？

はい、確認しておくとよいでしょう。試験期間は通常より長く利用できる場合がありますが、開館時間や対象となる期間、休館日、利用できる設備は大学・学部・キャンパスによって異なります。予定を立てる前に、図書館の公式サイトや学生向け案内で最新情報を確認してください。