Ο Πύργος-παρατηρητήριο στον οικισμό Εμπορειό είχε χτιστεί με βενετσιάνικο στιλ, γύρω στον 15ο αιώνα. Από τα μέσα του 20ου αιώνα, όμως, αναστηλώθηκε σε ένα τετράγωνο κτίσμα. Δίπλα του, σε κοντινή απόσταση, βρίσκεται το «καστέλι» [οχυρωμένος οικισμός] του χωριού Εμπορειό, όπου μπορεί κανείς να περιηγηθεί στα στενά σοκάκια που κυκλώνονται από τα παραδοσιακά σπίτια, και να απολαύσει την αρχιτεκτονική του.

Το κάστρο είχε φτιαχτεί έτσι ώστε να υπάρχει πρόσβαση μόνο από μια είσοδο, την «Πόρτα», προκειμένου να προστατεύεται από τους πειρατές. Δίπλα στην είσοδο του, υπάρχει μια εκκλησία, όπως άλλωστε υπάρχει και δίπλα σε όλα τα κάστρα του νησιού. Κάτω από το κάστρο, υπήρχε ένα δίκτυο από περάσματα, που το χρησιμοποιούσαν για προφύλαξη ή απόδραση, όποτε οι συνθήκες το απαιτούσαν. Ο Πύργος έγινε η πρωτεύουσα της Σαντορίνης αφότου εγκαταλείφθηκε το κάστρο του Σκάρου, στο Ημεροβίγλι, στα μέσα του 18ου αιώνα. Μεταγενέστερα, πρωτεύουσα του νησιού έγιναν τα Φηρά.

Το φρούριο του Σκάρου, το οποίο λεγόταν αρχικά «Επάνω Κάστρο» ή «La Roka», χτίστηκε κατά τη Βυζαντινή περίοδο και εγκαταλείφθηκε από τους κατοίκους στις αρχές του 18ου αιώνα. Το μόνο που έχει απομείνει πλέον να καταμαρτυρά το παρελθόν του είναι λιγοστά ερείπια και ο Άγιος Ιωάννης, μια μικρή εκκλησία με υπέροχη θέα.