Έξω απ’ το Κάστρο, ανατολικά προς το Στιβοτό, είναι το ερείπιο απ’ το Μοναστηράκι του Ευαγγελισμού, η Παναγία στο Καλάμι ή Καστριώτισσα. Ελάχιστα είναι γνωστά γι’ αυτό το εκκλησάκι διαστάσεων 8χ6. Απ’ το τετρακίονο καθολικό που σώζεται, υποθέτουν πως πρόκειται για κτίσμα του 15ου αιώνα, ενώ άλλοι το τοποθετούν τρεις αιώνες πρωτύτερα.

Εικάζεται επίσης πως γκρεμίστηκε, άγνωστο πως και γιατί, στα προεπαναστατικά χρόνια. Η Μονή ήταν περιστοιχισμένη με τείχος που διατηρείται προς το βόρειο μέρος. Καθώς βρισκόταν έξω από το Κάστρο, τη λήστεψαν πολλές φορές αν και μια παράδοση λέει πως όσοι είχαν στην κατοχή τους σκεύη της Μονής, αναγκάστηκαν να τα επιστρέψουν γιατί τους βρήκαν συμφορές.

Σήμερα σώζεται στη Μητρόπολη των Τριών Ιεραρχών, όλο κι όλο, μια λειψανοθήκη της Μονής. Η μόνη γραπτή μαρτυρία για το Μοναστηράκι είναι το αφιερωτήριο του Κωσταντή Μανωλάκη που το 1764, χάρισε στη Μονή το 1/2 του Τσουγκριά! Έτσι εμπλέκεται σήμερα η Ευαγγελίστρια με τον Τσουγκριά κι αν παρέμεινε ακόμη απούλητος ένεκα του μπερδεμένου ιδιοκτησιακού καθεστώτος του, ίσως το οφείλουμε στον Μανωλάκη…