robots.txt와 meta-robots의 차이점 및 활용방법

출처 : http://www.seo-korea.com/robots-txt-파일과-meta-robots-태그의-차이점/ 검색엔진의 크롤링과 인덱싱의 차이 크롤링 제어는 robots.txt 인덱싱 제어는 < meta name=”robots” content=”noindex”> 검색엔진이 검색 키워드에 대한 검색결과를 사용자한테 제공하기 위해서는 크롤러가 끊임없이 온라인 상의 문서를 수집해야하고, 크롤러가 수집한 문서를 인덱서가 잘 정리해서 인덱스 서버에 색인해 둬야 합니다. 많은 분들이 헷갈려 하는 부분인데 크롤러나 인덱서는 서로 하는일이 약간 틀립니다. 말그대로 크롤러는 단순히 …
robots.txt와 meta-robots의 차이점 및 활용방법 더보기