So, wie angekündigt ein kurzes Update:
Ein wenig von dem Abrieb ist zwar noch gegeben, aber es ist nicht mehr so viel und vor allem scheuert es nicht direkt am Boden.
Spricht also wirklich viel dafür, dass die Reibung vorher höher war und es daran lag. Danke noch mal für den Tipp Sebastian S.
Ein wenig schade finde ich es zwar schon, dass sich die Matten so schnell abnutzen, aber dann gibt's ab und zu halt mal einen neuen Satz.
Alternativ denke ich über ein intensives Bauchmuskeltraining nach, damit ich die Beine während der gesamten Fahrt oben halten kann und die Fersen somit nicht mehr absetzen muss.
Ich hoffe, das Thema hilft noch anderen.