1. 准备工具和材料：准备一个铲刀、钢丝球、橡皮手套、水桶、抹布、水泥清洁剂或碱性清洗剂、水和肥皂。

2. 湿敷法：在水泥尚未凝固的情况下，可以使用湿敷法。将抹布或海绵浸泡在水中，然后轻轻擦拭门窗上的水泥污垢。这可以去除较轻微的污渍。

3. 干敷法：如果水泥已经凝固，可以尝试使用干敷法。在水泥污垢上喷洒适量的水泥清洁剂或碱性清洗剂。让清洁剂浸泡污渍约10-15分钟，然后使用铲刀或钢丝球轻轻刮除污垢。

4. 刷子刷：用橡皮手套包裹住钢丝球，蘸取适量的清洁剂或碱性水，用力刷洗门窗上的水泥污垢。请注意，在操作过程中要小心，避免损坏门窗表面。

5. 冲水和清洗：使用水桶接水，然后将水倒在门窗上，冲掉残留的水泥污垢。用抹布擦干水分。

6. 打蜡：清理完毕后，为门窗表面打蜡，以增加保护层，防止日后的污渍和划痕。

在清理水泥污垢时，请注意安全，避免使用过多的力量。如有可能，请在清理前咨询专业人士的意见，确保操作方法得当。同时，定期为门窗进行清洁，以保持其整洁和美观。