Προθερμαίνετε το φούρνο στους 160°C. Βουτυρώνετε και αλευρώνετε μια στρογγυλή φόρμα (ταψάκι), διαμέτρου 20 περίπου εκατοστών. Αναμιγνύετε τη ζάχαρη με το ξύσμα των λεμονιών και το λάδι.

Χτυπάτε τα αβγά μέχρι να αφρατέψουν και προσθέτετε τμηματικά, συνεχίζοντας το χτύπημα, το μίγμα της ζάχαρης.

Ύστερα, ανακατεύετε μέσα το σιμιγδάλι, το μπέικιν πάουντερ, τα αμύγδαλα και το γάλα. Δουλεύετε το μίγμα καλά για να ομογενοποιηθεί και το αδειάζετε στη φόρμα.

Ψήνετε τον χαλβά για 30-35 λεπτά, μέχρι να σφίξει και να ροδίσει ελαφρά. Τον βγάζετε από το φούρνο και τον αφήνετε στη φόρμα για 15 λεπτά. Στο μεταξύ, ετοιμάζετε το σιρόπι: Βράζετε τη ζάχαρη με 2/3 φλ. νερό για 8-10 λεπτά, μέχρι να γίνει ένα διάφανο σιρόπι.

Προσθέτετε τον χυμό των λεμονιών και αφήνετε το μίγμα να κοχλάσει για λίγα ακόμη λεπτά. Τρυπάτε τον χαλβά με πιρούνι σε μπόλικα σημεία και τον περιχύνετε σιγά -σιγά με το χλιαρό (όχι καυτό) σιρόπι, μέχρι να το απορροφήσει όλο. Τον σερβίρετε κρύο ή χλιαρό, συνοδεύοντάς τον, αν θέλετε, με παγωμένα κερασάκια γλυκό κουταλιού.