Zahvaljujoč prekopanemu kanalu (Cavata, Kavuada, Cavanella), ki je omogočal prehod in plovbo iz enega morja v drugo, se je v preteklosti tu odvijal glavni tranzitni promet med severnim Jadranom in dalmatinsko obalo, kar je iz Osorja naredilo internacionalno pristanišče.
Temelji mestnih zidov odkrivajo zgodovino, katere sledi segajo v zgodovino do IX. st. pred našim štetjem, a ime mesteca Osor – Apsoros se šteje, da izhaja iz imena antičnega junaka Apsirta, brata nesrečne Medeje, kar to staro mestece naredi mitično.
Antični mestni trg, na katerem se nahajajo prekrasne zgradbe iz XV. in XVI. st., mestna skupščina z nadkrito ložo (danes arheološka zbirka Osor - Lošinjski muzej), škofijska palača ter veličastna katedrala z zvonikom predstavljajo zgodovinsko jedro mesta.
Celo mesto Osor je pravzaprav muzej na prostem, v katerem so umetniki vseh dob pustili svoje sledi, od Meštrovića do ostankov mestnih zidov, utrdb, prve zgodnjekrščanske bazilike; mesto-muzej, katerega vrtovi in parki v svojem zelenju skrivajo sledi prastarih antičnih vil, renesančnih portalov in samostanov. Mestece, ki je hkrati zgodovina in muzej, poleti postane enkratni scenski prostor, bogat s kulturnimi dogajanji, med katerimi še posebej izstopajo Osorski glasbeni večeri, ki se tekom poletnih mesecev odvijajo od leta 1976.
Turistična ponudba gostom nudi organizirano in urejeno namestitev v privatnih hišah v samem mestu, medtem ko se izven mesta, ob morju, nahajata dva avtokampa s plažami in restavracijami.
