組み立てを間違えてしまいました

スペーサーとボディの隙間に、エアダスターを吹き付けると浮き上がることがあります。
これができないとなると、スペーサー自体に穴を開けて、破壊して取り外すしかないかもしれません。

失礼しました。ベアリングとスペーサーを勘違いしておりました。

硬くはまって微動だにしない場合、少しでもはめ込む余地やつかむ余地があるならベアリングリムーバーとペンチをお試しいただき、それが不可能であればベアリングを破壊するしかありません。

ベアリングの壊し方は決まった方法はありませんが、多くはペンチで握り潰して割ることになるかと思います。また、細い金属の棒でベアリングの内側にある保持器を外し、内輪と外輪を分離してからペンチでつまんで引っ張り出すという方法もあります。
いずれの方法もヨーヨーに傷がついてしまう恐れがあり、取り外せたとしても元の通りに使用はできなくなる可能性が高いため、おすすめはできません。残念ながら寿命と捉えた方が良いかもしれません…。