AI Bot 차단 어떻게해야 할까?

최근 AI Bot을 차단하는 사이트들이 엄청나게 늘어나고 있습니다. 해외의 경우 왠만한 유명사이트들은 AI에서 들어오는 Bot들을 강제적으로 차단하고 있는데요. 이렇게 차단하는게 좋을까 고민이 되실 겁니다.

  1. 보통 보상을 받지 못하고 내 콘텐츠가 올라가는 걱정때문에 Bot을 차단하는 경우가 있음
  2. 서버 리소스를 갉아먹기때문에 Bot을 차단

AI Bot

AI Bot이란 AI가 데이터를 자체적으로 생성을 하지못하기때문에 온라인 상에 있는 페이지들한테 Crawling 할 수 있게 Bot을 보냅니다. 이렇게 보낸 Bot들이 내 사이트의 페이지의 내용을 가져가서 AI의 데이터로 쓰이게 되는데요.

최근 AI 사업을 많이 하면서 내 페이지에 Bot들을 무자비하게 많이 보내고 있습니다. 그래서 이러한 Bot들을 차단하여 내 사이트를 조금 가볍게 만드는데, 이 Bot들이 엄청나게 들어오게되면, 내 사이트를 과부하 걸리게끔 만들 수 도 있기때문에 차단을 시킵니다.

또한 내 콘텐츠의 내용을 보상없이 쓰지 못하게 하려고 하는 목적도 큽니다.

대표적인 봇으로는 아래와 같습니다.

  1. GPTBot
  2. CCBot
  3. Google-Extended (구글 자료)

봇을 차단하는 명령어는 아래와 같습니다.

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

AI Bot 막는게 좋을까? 장점 단점 살펴보기

개인적으로 내가 데이터를 많이 가지고 있는 상황이라면, 차단하는게 맞을 것이고, 그렇지 않을경우에는 차단을 하지 않는것이 좋은듯 합니다.

장점

많은 사람들이 보상을 받지 못하기때문에 차단을 하는 것이 좋다라고 이야기하지만, 콘텐츠에 자신이 있다면 차단하지말고, bing이나 구글 bard 처럼 출처에 노출이 되기때문에 사용하는것이 더 이득이죠.

노출의 기회를 더 얻을 수 있습니다.

하지만 브랜딩이 되어있고, 사람들이 사이트명으로 많이 찾아오는 곳은 굳이 이런 AI노출을 기대하지 않아도 콘텐츠를 알아서 찾아오는 사람들이 있기에 AI 노출을 해봤자 데이터만 빼앗긴다고 생각할 수 있습니다.

(많은 사람들이 다 비슷하게 생각할 듯 하네요. 근데 개인적으로 블로그 하는 사람들은 주제가 거기서 거기이기때문에 이런 고민할 필요는 없을듯 하네요. 오히려 내 주제를 다루는 사이트가 AI에서 제거를 했다면 오히려 더더욱 해야하지 않을까 생각도 합니다.)

단점

이 봇이 내 사이트의 리소스를 갉아먹는다면 뒤도 안보고 차단시켜버리는 것이 좋다고 생각합니다. 얼마전 사이트 CPU와 메모리가 이상하게 늘어나서 확인을 해보니 AI Bot 그리고 SEO 관련 봇이 엄청나게 들어오면서 문제를 일으키더라고요.

AhrefsBot 
Amazonbot 
Arachni 
BLEXBot 
DotBot 
Exabot 
Eyeotabot 
MegaIndex 
MJ12bot 
PetalBot 
SemrushBot 
bbot 
brands-bot 
dataforseo-bot

이런적은 없었지만, 가능성은 있는 문제이기때문에 그냥 바로 차단시켰습니다.

Bot 차단은 내 상황을 보면서 하시는 것이 좋습니다. 내 콘텐츠 노출 영향과는 전혀 상관이 없기때문에 콘텐츠 보상 문제로 굳이 차단시키면서 해야할 이유는 없다고 생각하네요.

많은 사람들이 AI가 진입하면서 내 데이터를 가져가고 그 데이터를 읽으면 나한테 올 기회가 적어진다고 생각하는데, 차단해도 다른 곳에서 비슷한 데이터를 가져오면 되기때문에 어차피 기회요소는 작아졌다고 생각해야합니다.

어떻합니다. 세상이 그렇게 변했는데~

그럼 다른 요소를 찾아 노출 기회를 찾아야겠지요. 이미 변해가려고 하는 곳에서 서성이면서 그곳에서 틈새를 찾는 것보다는 가능성이 높은곳에서 새터전을 잡는 것이 좋지 않을까 합니다.

관련해서 “제이키의 링크쥬스 프리미엄 콘텐츠”에서 글을 남기고 있으니 들려주세요^^

적용 방법이나 응용 방법이 궁금하다면, 프리미엄 페이지를 구독하시고 아래의 이미지 통해 질문을 하시길 바랍니다.

위 글 내용 중에 궁금한 내용이나 더 알고 싶은 내용은 문의해주세요. (인스타그램 또는 쓰레드에 DM이나 문의사항을 남겨주세요. 연세가 있으신 분들은 유선으로도 가능합니다.)

  • 이 블로그의 목적은 경쟁에서 이길 수 있는 정보를 공유하는 것입니다.
  • 반드시 최신 정보를 보세요. 기술이라는것은 몇개월만 지나도 안먹힐 수 있습니다. 그만큼 세상이 빠르게 변하고 있습니다.

SEO 최적화된 사이트 구조 설정을 원하신다면, 아래 문의 톡을 넣어주세요. 참고로 워드프레스일 경우에는 직접 설정이 가능하고, 제로보드나 그누보드일 경우에는 협의가 필요합니다. 아래 "제이키 문의 톡"으로 상담 요청해주세요.

소통창URL
제이키 문의 톡http://pf.kakao.com/_xgcqxjs/chat
쓰레드https://www.threads.net/@jaykee_lj
인스타그램https://www.instagram.com/jaykee_lj/
제이키 서비스 소개https://itgit.co.kr/2025servicejaykee/
SW 문의 톡http://pf.kakao.com/_xfERnG/chat
IT 문의 톡http://pf.kakao.com/_ClHxjG/chat

최신글

위 글은 Jaykee 본인의 생각과 AI로 정리된 글이 짬뽕되어있습니다. 참고로 위 글을 쓴 이유는 본질과 관련 내용의 문제점을 찾아내고 그 틈새를 파고들어 나에게 유리한 기회를 맞이하기위한 글이라고 생각해주세요.

세상은 그만큼 복잡해지고, 세밀해졌습니다. 자동화로 생각이라는 것을 점점 하기 싫어지는 세상입니다.

그만큼 현재 세상에 일어나는 일들이 왜, 어떻게, 무엇을 변화시키는지에 대해 유심히 살펴보고 "실행"하지 않는다면 기회는 나에게 다가오지 않을것입니다.

Leave a Comment