De ruige dwergvleermuis heeft zomers een rode tot kastanjebruine vacht. Na de rui in juli of augustus krijgt hij een donkerbruine vacht, vaak met grijze punten. De onderzijde is lichtbruin tot geelbruin. De staart, oren en vleugels zijn bruinzwart gekleurd. Hij heeft korte, driehoekige oren met een afgeronde top. De vleugels zijn breder en langer dan de die van de dwergvleermuis. De kop-romplengte is 46 tot 58 millimeter, de spanwijdte 220 tot 250 millimeter en het gewicht 6 tot 151⁄2 gram.