중국 Lanzhou, 방화벽을 뚫고 들어오는 트래픽은 뭐지?

중국 Lanzhou에서 방화벽을 막아도 들어오는 트래픽이 있길래 이게 뭐지하고 살펴 보았습니다. 결론부터 이야기하자면 틱톡(TikTok)의 모회사인 ‘바이트댄스(ByteDance)’ AI 크롤러 트래픽인데요.

냅둬도 상관없지만, 이 봇이 굉장히 무차별적으로 들어옵니다. 하물며 WAF로 차단을 해도 뚫고 들어오는 경우가 있습니다.

그래서 서버단이나 아니면 ASN으로 차단을 시켜주는게 제일 확실한데요. 개인적으로 서버단에서 차단하는게 제일 확실한듯 합니다.

1. ByteSpider의 정체와 목적

소속: 중국의 바이트댄스 (ByteDance)

목적: 바이트댄스의 검색 엔진 및 AI 모델(Doubao 등) 학습용 데이터 수집을 위해 웹사이트 정보를 긁어갑니다.

특징: 구글이나 네이버 로봇과 달리 사이트의 부하를 고려하지 않고 초당 수많은 요청을 보냅니다. 또한 robots.txt(수집 거부 약속)를 무시하는 경우가 많아 사실상 ‘나쁜 봇’으로 분류되는 경우가 많습니다.

2. 해결 및 차단 방법

서버를 쾌적하게 유지하려면, 가장 효과적인 방법을 공유드립니다.

방법 A: Cloudflare WAF에서 차단 (추천)

로그에 계속 찍히는 것이 불편하다면 서버에 도달하기 전 단계에서 막아야 합니다.

1. User-Agent 기반 차단:
   • Cloudflare -> Security -> WAF -> Custom Rules
   • Field: User Agent, Operator: contains, Value: Bytespider
   • Action: Block
2. ASN 기반 차단:
   • 바이트댄스의 주요 ASN인 AS138699, AS396986을 차단 목록에 추가하세요.

방법 B: robots.txt 설정 (권장사항)

비교적 정상적인 봇들은 이 규칙을 따릅니다. (단, ByteSpider는 무시할 때가 많습니다.)

User-agent: Bytespider
Disallow: /

중국 AI 봇이 내 사이트를 너무 마구잡이로 긁어가는 경우가 많습니다. 중국과 거래를 하는게 아니라면, 서버단에서 중국 트래픽을 block 시키는게 가장 좋을듯 하네요.

자세한 방법은 호스팅 회사를 AI에 대입하여 국가별 트래픽 block 시키는 방법을 질문해보세요. 자세하게 잘알려줍니다.