Bayburt (a 60 km de Gümüshane), capital de la provincia dividida en dos por el río Çoruh, se encuentra en la Ruta de la Seda. Vivió la dominación romana, armenia, bizantina y árabe antes de ser invadida por los turcos. Marco Polo y el empedernido viajero turco Evliya Çelebi pasaron por la ciudad. La arquitectura es selyúcida, destacando sus mezquitas, baños turcos y tumbas esculpidas.
El Castillo de Bayburt, uno de los mejor conservados de Anatolia, es uno de los más brillantes ejemplos de este estilo.
En el centro se puede visitar la Mezquita Ulu y el Parque Osman.
La torre del Reloj está construida en piedra amarilla, que es típica de la ciudad. En Bayburt existe una larga tradición en la elaboración de alfombras y otras manualidades.
Al oeste de la entrada de la ciudad, se encuentran los mausoleos de Sehit Osman y su hermana, bellos ejemplos del arte selyúcida.