アクセスログを見ていてどうも腑に落ちない点がありました。
wp-login.phpへのアクセスが出来てしまっている（ステータスコード200を返してる）ときが結構ある。で、調べてみたところ、Apache2.4では order allow,deny の書き方が非推奨になっているそうです。configtestで指摘してよ！
で、どういう書き方が良いかというと、
<FILES wp-login.php>
Require ip <MY IP ADDRESS>
</FILES>と書くのが2.4流だそうです。早速全部のファイル修正しました。これでしばらく様子見です。
それでも、ログを見て調べて直していくのは楽しいですね。