robots.txt 로 본 네이버의 철통 검색방어망

 
위 화면은 현재 네이버에서 서비스하는 콘텐츠들입니다.
저는 네이버를 "가두리양식장'이라고 부릅니다만 얼마나 가두고있는지 robots.txt파일검색을
통해 알아보았습니다.
위의 빨간 상자들이 robots.txt를 심은 콘텐츠들인데 블로그,지식in,카페들뿐만아니라 주력
콘텐츠들은 죄다 막아두었군요.

네티즌이나 콘텐츠제공업체에서 갖다바친 것들도 가두어 두고 있습니다.
이러니 구글,야후등에서 네이버콘텐츠들이 제대로 노출될리가 없습니다.
과연 "가두리양식장"이라할 만합니다.
우리나라에서 80%에 육박하는 검색점유율을 자랑하는 거대 공룡포탈이 처음부터 이렇게
막아두지는 않았을 것입니다.

이러한 네이버콘텐츠의 검색비노출로 구글,야후등 다른 검색엔진의 한글 웹페이지검색품질이 초라하게 느껴지는 것도 당연합니다.
제블로그도 야후에선 2004년 12월 7일것 밖에 안보입니다.

중국,일본의 토종검색엔진들은 robots.txt파일로 막아둔 콘텐츠가 네이버보다는 훨씬 적습니다.

그래서 구글,야후등도 어느 정도 점유율을 확보하여 토종 포탈들과 서로 경쟁하고 있습니다.

쇼핑몰홍보관계자등이 네이버에서 노가다홍보에 고생하는 것도 사실 따지고 보면 robots.txt때문입니다.

외부블로거들이 네이버에 비집고 들어가려는 이유도 이와 관련있습니다.

그러다보니 네이버구석구석이 스팸과 홍보성 콘텐츠로 어지러워지고 있습니다.

결국 부메랑으로 돌아갈 부분입니다.

아주 양보해서 토종 포탈(검색엔진)이 독주하는 것을 좋게 볼 수도 있겠지만 독점이 심화될 수록

부작용은 여기저기서 나오게 마련입니다. 

註)야후,다음등 블로그검색에서 노출되는 것은 rss를 읽어 오는 것이기 때문에
    검색로봇이 크롤링해서 DB화하는 것과는 다릅니다.