크롤링, 그리고 robots.txt

굿글님의 포스트를 보면서 제 머릿속에 떠오르는 단어는 크롤링과 robots.txt, 이 두가지 단어였습니다.

첫번째 단어인 “크롤링은” 올블로그의 정책에 대한 생각이었습니다. 올블로그는 현재 등록을 원하는 사람이 직접 찾아와서 자신의 블로그 피드를 등록해야 하는 “가입형”의 서비스입니다. 바꿔 말하자면, 능동적이고 적극적인 크롤링을 하고 있지 않다는 이야기죠. 올블로그에 가입되어 있는 블로거들이 한국어를 사용하는 블로거들의 전부는 아닙니다.

올블로그 가입 블로거 외에서 수십, 수천, 수백만명의 블로거들이 존재하고 있지만, 이 분들의 의견은 올블로그에 전혀 반영되고 있지 않다는 것입니다.

그렇다면 결국 이 “수동적이고 소극적인” 올블로그의 크롤링 정책이 현재 올블로그의 “별나라화(?)”의 근본적 원인이 아닐까요? 물론 지금도 수많은 파워 블로거 여러분들께서 주옥같은 글들을 올려주시고, 많은 이들의 공감을 얻고 있습니다. 저도 올블로그를 통해 그 분들을 알게 되었고, 그 분들의 글을 읽을 수 있다는 것에 항상 감사하고 있습니다.

그렇다고 하더라도, 여전히 올블로그의 블로거 층 (Pool) 은 미약하기 짝이 없으며, 9만명 남짓한 이들이 모든 블로거들의 생각을 대표하기에는 무리한 것이 아니냐는 것이죠. “원해서 온 사람들만” 득시글한 끼리끼리의 공간에 “모든 블로그 (all blog)의 광장”이라는 이름을 붙이는 것이 올바른 일일까요?

물론 블로그칵테일 분들께서 내부 정책이나 사업 전략에 따라 이끌어 나가고 계시리라 믿습니다만, 근본적인 변화가 없으면 많은 이들의 호응을 얻을만한 공간으로 성장하기는 어려울 것입니다.

두번째로, 만일 올블로그가 정책을 바꿔 능동적인 크롤링을 추진한다고 하더라도 여전히 큰 장벽이 존재하고 있습니다. 우리나라 블로거들의 대다수가 그 기반으로 활용하고 있는 공간인 네이버 블로그의 폐쇄적 정책이 바로 그것입니다.

아시다시피 네이버 블로그를 비롯하여 거의 모든 서비스 (지식검색, 붐, 뉴스를 비롯한 대다수) 에 robots.txt 파일이 걸려 있습니다. 그것도 모자라서 각 페이지별로 메타 태그가 입력되어 있습니다. 사용자는 이것에 대해 선택할 권리조차 없습니다. 자신의 글이 구글이나, 야후등의 검색 엔진에 노출되길 바라더라도 노출되게 만들 길도 없습니다.

제가 생각할때 자신의 블로그에 본인의 생각을 적어서 올리는 행위는 다른 블로거들, 웹 서퍼들에게 “말을 거는” 행위라고 생각합니다. 더 많은 이들과 자신의 생각을 공유하고자 하는 작은 몸짓이라고 말이죠. 그리고 그 대화를 진행하는 다양한 방법으로 직접 방문하기, RSS Feed 배포하기, 검색 등이 있을 것입니다. 하지만 지금의 네이버는 자사 서비스 사용자들에게 검색을 통해 유입되는 이들과의 대화를 의도적으로 박탈하고 있는 것입니다.

네이버에서 독자적인 메타 블로그 서비스를 준비하고 있다는 이야기를 들었습니다. 하지만 네이버 블로그는 네이버에서 운영하는 서비스이니까 네이버의 메타 블로그, 혹은 검색 엔진에만 노출되야 할까요?

이 점에 대해서 올블로그를 운영하고 있는 블로그칵테일은 자사의 사업의 번창(?) 뿐만이 아니라 블로거들의 소통을 위해서라도 적극적으로 여론을 주도하여 이러한 정책을 철회하도록 노력해야 한다고 생각합니다. 이전에 네이버와 안좋은 일이 있었을 때, 블로그칵테일에서 제시한 것이 무엇이었습니까? “블로거들의 목소리를 더욱 멀리 퍼트리자”라는 모토를 달성할 수 없었다 라는 대의명분 아니었습니까?

어줍잖은 글은 이만 줄이겠습니다..

  • jef
    [하늘이님] 물론 현재 올블이 수집하고 있는 포스트들 안에서도 다양한 시각의 글들을 찾아볼 순 있습니다만, 그만큼 Pool 자체가 적다면 그 글들이 "이슈화" 되는 것 자체가 어려워지지 않는가 하고 생각하고 있습니다. 특히 저번주 증시 폭락때 이슈화가 되지 않았던 부분도 그런 부분이 아닐까요? :)
  • jef
    [Heart님] 저는 포스트의 Pool 자체가 굉장히 좁기 때문에 이런 일이 벌어지는 것 아닐까 생각하고 있습니다. 현재의 올블 시스템에서도 Pool의 크기가 커진다면 좀 더 긍정적인 방향으로 나갈 수 있지 않을까 하구요. 8)
  • 네, 말씀하신 것에는 동감합니다만, 저희가 가지고 있는 이상적인 목표로는 정말로 지금 올블로그에 있는 블로거분들 말고도 더 많은 블로거들이 자발적으로 참여할 수 있는 그런 방향으로 나아가고 싶습니다.

    더불어서 꼭 전체 수집이 아니더라도, 몇몇 영화나 요리등 올블로그에서 이슈가되지 않는 키워드들을 검색해보시면, 비단 올블로그에 올라오는 컨텐츠가 한정적이라기 보다는 메인에 노출되는 컨텐츠가 한정적이라는 것도 느끼실 수 있을 것 같습니다.

    현재로써는 약 9만명의 블로거들 뿐만이 아니라, 더 많은 블로거들에게 관심 가져줄 수 있는 독자층을 늘려나가보자. 좀 더 블로거들에게 접근하기 쉬운 메타 사이트를 만들어보자. 라는 방향으로 노력하고 있습니다. ^^
  • 저도 굿글님 말씀에 동의합니다. 올블로그가 소극적인 콘텐츠 수집 방법을 컨셉으로 잡은 데는 '스팸 블로그의 방지'와 '(자동으로 긁어감에 대한)반발의 최소화' 를 최우선으로 하고 있는 것이 아닌가 생각합니다.
    다만 모든 글 탭에서는 여러 내용들이 올라와도 실시간 인기 포스트나 어제의 추천글 등은 언제나 똑같은 이슈들만 올라오죠. 리더(Reader)들에게도 일부 책임이 있다고 말할 수 있을것 같기도 합니다.

    그리고 네이버의 폐쇄적인 운영... 프로그래머로써 NHN은 정말 입사하고 싶은 회사이긴 하지만 블로거로써 보면 탐탁치만은 않은 운영인 것 같습니다. (그들이 살아남는 방법이라고 한다면 어쩔 수 없겠지만요.)
  • 좋은 글 잘 읽었습니다.
    올블로그같은 메타 블로그가 적극적인 콘텐츠 수집 방법을 쓰는 것도 장점만 있는 것 같진 않습니다. 그러나 현재의 얇은 층을 더욱 두텁게 할 수 있다는 측면에서는 도움이 될 것 같네요. 기술적인 면보다 정책적으로 쉽지 않은 문제인 듯 합니다.

    트랙백이 걸리지 않아 리플 남깁니다.
blog comments powered by Disqus