以下の手順となります。

［設定］→［アプリ］→［xx個のアプリをすべて表示］→メニューから［システムアプリを表示］→［アドレス帳］→［ストレージとキャッシュ］→［ストレージを消去］