최근 AI Bot을 차단하는 사이트들이 엄청나게 늘어나고 있습니다. 해외의 경우 왠만한 유명사이트들은 AI에서 들어오는 Bot들을 강제적으로 차단하고 있는데요. 이렇게 차단하는게 좋을까 고민이 되실 겁니다.
- 보통 보상을 받지 못하고 내 콘텐츠가 올라가는 걱정때문에 Bot을 차단하는 경우가 있음
- 서버 리소스를 갉아먹기때문에 Bot을 차단
AI Bot
AI Bot이란 AI가 데이터를 자체적으로 생성을 하지못하기때문에 온라인 상에 있는 페이지들한테 Crawling 할 수 있게 Bot을 보냅니다. 이렇게 보낸 Bot들이 내 사이트의 페이지의 내용을 가져가서 AI의 데이터로 쓰이게 되는데요.
최근 AI 사업을 많이 하면서 내 페이지에 Bot들을 무자비하게 많이 보내고 있습니다. 그래서 이러한 Bot들을 차단하여 내 사이트를 조금 가볍게 만드는데, 이 Bot들이 엄청나게 들어오게되면, 내 사이트를 과부하 걸리게끔 만들 수 도 있기때문에 차단을 시킵니다.
또한 내 콘텐츠의 내용을 보상없이 쓰지 못하게 하려고 하는 목적도 큽니다.
대표적인 봇으로는 아래와 같습니다.
- GPTBot
- CCBot
- Google-Extended (구글 자료)
봇을 차단하는 명령어는 아래와 같습니다.
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /AI Bot 막는게 좋을까? 장점 단점 살펴보기
개인적으로 내가 데이터를 많이 가지고 있는 상황이라면, 차단하는게 맞을 것이고, 그렇지 않을경우에는 차단을 하지 않는것이 좋은듯 합니다.
장점
많은 사람들이 보상을 받지 못하기때문에 차단을 하는 것이 좋다라고 이야기하지만, 콘텐츠에 자신이 있다면 차단하지말고, bing이나 구글 bard 처럼 출처에 노출이 되기때문에 사용하는것이 더 이득이죠.
노출의 기회를 더 얻을 수 있습니다.
하지만 브랜딩이 되어있고, 사람들이 사이트명으로 많이 찾아오는 곳은 굳이 이런 AI노출을 기대하지 않아도 콘텐츠를 알아서 찾아오는 사람들이 있기에 AI 노출을 해봤자 데이터만 빼앗긴다고 생각할 수 있습니다.
(많은 사람들이 다 비슷하게 생각할 듯 하네요. 근데 개인적으로 블로그 하는 사람들은 주제가 거기서 거기이기때문에 이런 고민할 필요는 없을듯 하네요. 오히려 내 주제를 다루는 사이트가 AI에서 제거를 했다면 오히려 더더욱 해야하지 않을까 생각도 합니다.)
단점
이 봇이 내 사이트의 리소스를 갉아먹는다면 뒤도 안보고 차단시켜버리는 것이 좋다고 생각합니다. 얼마전 사이트 CPU와 메모리가 이상하게 늘어나서 확인을 해보니 AI Bot 그리고 SEO 관련 봇이 엄청나게 들어오면서 문제를 일으키더라고요.
AhrefsBot
Amazonbot
Arachni
BLEXBot
DotBot
Exabot
Eyeotabot
MegaIndex
MJ12bot
PetalBot
SemrushBot
bbot
brands-bot
dataforseo-bot이런적은 없었지만, 가능성은 있는 문제이기때문에 그냥 바로 차단시켰습니다.
Bot 차단은 내 상황을 보면서 하시는 것이 좋습니다. 내 콘텐츠 노출 영향과는 전혀 상관이 없기때문에 콘텐츠 보상 문제로 굳이 차단시키면서 해야할 이유는 없다고 생각하네요.
많은 사람들이 AI가 진입하면서 내 데이터를 가져가고 그 데이터를 읽으면 나한테 올 기회가 적어진다고 생각하는데, 차단해도 다른 곳에서 비슷한 데이터를 가져오면 되기때문에 어차피 기회요소는 작아졌다고 생각해야합니다.
어떻합니다. 세상이 그렇게 변했는데~
그럼 다른 요소를 찾아 노출 기회를 찾아야겠지요. 이미 변해가려고 하는 곳에서 서성이면서 그곳에서 틈새를 찾는 것보다는 가능성이 높은곳에서 새터전을 잡는 것이 좋지 않을까 합니다.
관련해서 “제이키의 링크쥬스 프리미엄 콘텐츠”에서 글을 남기고 있으니 들려주세요^^
적용 방법이나 응용 방법이 궁금하다면, 프리미엄 페이지를 구독하시고 아래의 이미지 통해 질문을 하시길 바랍니다.
