구글봇 빙봇등이 403 에러가 나고 있습니다.

먼저 즐거운 추석되세요

특정 크롤링봇들이 들어와서 nginx 다운이 하루에 3번이나 되서 9월9일 문제가 되는 아래 2개봇을 추가하였는데요

ImagesiftBot 

AwarioBot 

그러다가 9일부터 구글검색정보가 업데이트가 안되고 있는것을 발견해서 로그확인해보니 구글봇과 빙봇등이 아래와 같이 403 에러로 최근 검색이 안되는데

9월9일 제가block-bots.conf 수정한게 딱 겹치는게 제가 아래에 잘못한게 있는게 있는게 아닌가해서요

급하게 위애 두개는 뺏는데 아직도 그래서... 왜그러는지 알수 있을까요?

if ($http_user_agent ~ (AhrefsBot|BLEXBot|ClaudeBot|DotBot|compatible|SemrushBot|Eyeotabot|PetalBot|MJ12bot|ImagesiftBot|AwarioBot|brands-bot|bbot|Exabot)) {
        return 403;
}

if ($http_user_agent ~ (Amazonbot|Arachni/|WordPress/|PhantomJS|Bytespider|MegaIndex|python-requests|Go-http-client)) {
        return 403;
}

40.77.167.4 - - [17/Sep/2024:17:58:42 +0900] "GET /index.php?mid=market&document_srl=36366315&sort_index=regdate&order_type=desc HTTP/2.0" 403 181 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36"
 

34.64.82.69 - - [17/Sep/2024:17:58:41 +0900] "GET /33214006?l=ko HTTP/2.0" 403 181 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.6613.137 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
 

34.64.82.78 - - [17/Sep/2024:17:58:39 +0900] "GET /36938430 HTTP/2.0" 403 181 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.6613.137 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

robots.txt 은 아래와 같습니다.

User-agent: *
Allow: /