Внутри элемента <button> можно размещать не только текст, но также изображения. Например:
<button><img src="cat.png" alt=""></button>