robots.txt 설정하기 > 기술자료

본문 바로가기
사이트 내 전체검색

기술자료

Search robots.txt 설정하기

페이지 정보

댓글 0건 조회 6,944회 수정일 17-12-22 18:51

본문

robots.txt 는 외부 검색엔진에 본인의 웹페이지 내용이 수집되는 것을 원치 않는 경우 사용합니다.

Allow or Disallow
disallow: /   : 모든 하위 문서에 대해 배재를 의미하고,
disallow:     : 아무것도 지정하지 않으면 허가를 의미
disallow: /data/    : data 디렉토리만
disallow: /data     : data 디렉토리와 그 디렉토리내의 파일이 적용대상


1. 검색엔진 수집 허용
User-agent: *
Disallow:

robots.txt 파일은 설정한 순간부터 검색 로봇이 방문하지 않게 됩니다.
따라서 이미 검색엔진에 수집된 페이지가 삭제되는 데는 시간이 걸립니다.
바로 삭제하길 원하시는 분은 직접 해당 검색 사이트에 요청합니다.

네이버 검색허용
User-agent: Yeti
User-agent: Naverbot
Allow: /


2. 검색차단(거부)
User-agent: *
Disallow: /

네이버 검색차단
User-agent: Yeti
User-agent: Naverbot
User-agent: AdsBot-Naver
Disallow: /

archive.org 의 수집을 차단
User-agent: ia_archiver
Disallow: /

구글 이미지 검색에서 수집을 차단
User-Agent: Googlebot-Image
Disallow: /

야후 이미지 검색에서 수집을 차단
User-Agent: Yahoo-MMCrawler
Disallow: /

벅스뮤직을 비롯한 코리아와이즈넛의 검색로봇을 수집 거부
User-Agent: wisebot
Disallow: /

※ 다음(www.daum.net)은 구글과 같은 검색로봇을 사용합니다. 구글을 거부하면 다음 검색 로봇도 거부하게 됩니다.
※ 파란(www.paran.com)은 야후의 검색로봇을 사용합니다. 야후를 제외하시면 파란도 함께 제외됩니다.


3. 전체 허용할때
User-agent: *
Allow: /


4. 특정폴더는 검색허용 안할때
User-agent: *
Disallow: /adm/ 


5. Sitemap 경로 등록
Sitemap: http://경로/sitemap.xml


6. 샘플 (광고성 봇 차단 / 주요검색엔진 허용)
User-agent: AhrefsBot
Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: BDCbot
Disallow: /

User-agent: BusinessBot
Disallow: /

User-agent: CheckMarkNetwork
Disallow: /

User-agent: Contacts-Crawler
Disallow: /

User-agent: Dataprovider.com
Disallow: /

User-agent: DialogSearch.com Bot
Disallow: /

User-agent: Digincore crawler bot
Disallow: /

User-agent: DomainSigmaCrawler
Disallow: /

User-agent: kisaBot
Disallow: /

User-agent: Mail.RU_Bot
Disallow: /

User-agent: MediavBot
Disallow: /

User-agent: memoryBot
Disallow: /

User-agent: mfibot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: msnbot-media
Disallow: /

User-agent: NeumobBot
Disallow: /

User-agent: PageAnalyzer
Disallow: /

User-agent: PagesInventory
Disallow: /

User-agent: Plukkie
Disallow: /

User-agent: roboto
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: RSNBOT
Disallow: /

User-agent: SafeDNSBot
Disallow: /

User-agent: seoscanners.net
Disallow: /

User-agent: semanticbot
Disallow: /

User-agent: SiteExplorer
Disallow: /

User-agent: SMTBot
Disallow: /

User-agent: Sogou web spider
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: UXCrawlerBot
Disallow: /

User-agent: Virusdie crawler
Disallow: /

User-agent: Wotbox
Disallow: /

User-agent: YandexBot
Disallow: /

User-agent: YisouSpider
Disallow: /


User-agent: 360Spider
allow:

User-agent: 360Spider-Image
allow:

User-agent: 360Spider-Video
allow:

User-agent: AdsBot-Naver
allow:

User-agent: bingbot
allow:

User-agent: Daum
allow:

User-agent: Googlebot
allow:

User-agent: Googlebot-Mobile
allow:

User-agent: HaosouSpider
allow:

User-agent: Yeti
allow:

User-agent: ZumBot
allow:

Disallow: /adm/ 
Disallow: /data/
Disallow: /extend/
Disallow: /install/
Disallow: /js/
Disallow: /lib/
Disallow: /plugin/
Disallow: /skin/
Disallow: /theme/

Sitemap: http://경로/sitemap.xml



참고자료
http://help.egloos.com/7792
http://radiocom.kunsan.ac.kr/lecture/home_page/robots_txt.html
http://www.egocube.pe.kr/Translation/Content/seo/201006140001
  • 트위터로 보내기
  • 페이스북으로 보내기
  • 구글플러스로 보내기

댓글목록

등록된 댓글이 없습니다.


Total 26건 1 페이지
기술자료 목록
번호 제목
26 Search
25 Search
네이버 웹마스터도구 묻고 답하기 ( update. 2018-01-08 15:24 ) Hit.973
24 Search
다양한 bot 의 세계 ( update. 2017-12-22 19:13 ) Hit.879
23 Search
검색사이트 검색창 크기 비교 ( update. 2017-11-05 20:02 ) Hit.664
22 Search
네이버 검색등록 삭제하기 ( update. 2017-11-03 16:10 ) Hit.839
21 Search
접속자 로그 분석 서비스 ( write. 2017-10-19 ) Hit.724
20 Search
구글 검색결과 순위 결정요인 ( write. 2017-05-18 ) Hit.4165
19 Search
SEO 최적화 메타 구성하기 ( update. 2018-04-11 02:05 ) Hit.1816
18 Search
바이두(Baidu) 사이트 등록하기 ( write. 2017-01-23 ) Hit.1540
17 Search
네이버 웹마스터도구 사이트 등록하기 ( update. 2017-12-05 18:34 ) Hit.1758
16 Search
네이버 웹마스터도구 활용하기 ( write. 2016-09-06 ) Hit.2340
15 Search
14 Search
13 Search
구글 웹마스터도구 사이트 등록하기 ( write. 2012-02-11 ) Hit.5196
12 Search
사이트 등록하기 ( write. 2009-11-25 ) Hit.23882
11 Search
네이버 등록 서류 접수 ( write. 2009-09-22 ) Hit.5869
10 Search
검색 웹문서 삭제요청 ( write. 2009-09-02 ) Hit.6644
9 Search
8 Search
Google 색인에서 내 콘텐츠 제거하기 ( write. 2009-02-17 ) Hit.12348
7 Search
주요 포털 사이트 고객센터 전화번호 ( write. 2009-02-13 ) Hit.5517
6 Search
[네이버] 등록자정보 서약서 ( write. 2008-09-03 ) Hit.6035
5 Search
열람중 Search
robots.txt 설정하기 ( update. 2017-12-22 18:51 ) Hit.6945
3 Search
검색엔진에 잘 노출되는 방법 ( write. 2007-02-07 ) Hit.5308
2 Search
게시물 검색

회원로그인

접속자집계

오늘
1,213
어제
3,072
최대
3,099
전체
3,927,204

회사명: 해피정닷컴   전화: 070-7600-3500   팩스: 02-865-3528
주소: 08394 서울시 구로구 디지털로 242 한화비즈메트로1차 1502호
사업자번호: 119-05-36414   대표: 정창용   개인정보보호책임자: 정창용
Copyright 2001-2018 해피정닷컴. All Rights Reserved.