めんどくさいからといって、このaliasをはずすのはお勧めしません。そのかわり、aliasをキャンセルする方法があります。コマンドの前にバックスラッシュ(\記号)を入れることで、そのときだけaliasをキャンセルできます。例えば、"\rm *"とするとyes/noを聞いてこなくなります。
ただし、一度消したファイルは二度と復活できないので気を付けましょう。