可能です。

下記のようなJavaScriptを挿入します。
<A href="リンク先URL"><img src="画像のURL1" border="0" alt="ロールオーバー" onmouseover="this .src='画像のURL2'" onmouseout="this .src='画像のURL1'"></A>

サンプルはこちらです。


ご注意）ただし、JavaScriptはブラウザで実行しますので、全てのブラウザで動作するものではありません。
下記で動作確認できています。
WindowsIE7
NetScape7.1
Opera9.51
Mozilla Firefox 2.0.0.15