以下の手順となります。

［設定］→［アプリと通知］→［xx個のアプリをすべて表示］→メニューから［システムアプリを表示］→［アドレス帳］→［ストレージとキャッシュ］→［ストレージを消去］