웹 기본 정보 수집 Robots.txt 서버 헤더, 버전, 이름 확인 공개 취약점 검색 프론트엔드, 백엔드 테크 스택(Tech Stack) 확인 디렉토리 브루트포싱(Directory Brutefocing) Spidering Robots.txt 검색 엔진 크롤러들을 위한 권한 및 규칙 보안 경계가 아님 검색 엔진 -> 크롤러 -> 웹 서버 + 웹 페이지 크롤 User-Agent : 크롤러 유저 에이전트 특징 Allow : 특정 디렉토리/페이지 크롤링 허용 Disallow : 특정 디렉토리/페이지 크롤링 거부 # Example 1 : Block only googlebot User-agent: Googlebot Disallow: / # Example 2 : Block Googlebot and Adsbot Us..