마루날의 雜學辭典

다이나믹 색인

검색엔진 기술 중에서 지금은 보편화된(?) 기술 중 하나가 다이내믹 색인입니다. 동적 색인이라고도 하는데요. 간단하게 설명을 드리면 다음과 같습니다.

색인이라고 하는 것은 검색 대상이 되는 정보를 가져와서 색인어(주로 명사)별로 출현빈도 등의 기준에 따라서 해당 색인어를 가지고 있는 문서의 정보를 나열해서 미리 정의해 놓은 데이터구조로 쌓는 것을 색인이라고 합니다. 색인을 만들어 놓아야 사용자들이 검색엔진에 검색을 하면 입력된 검색 질의어에 해당하는 색인의 정보를 가져와서 검색결과로 화면에 뿌려지게 됩니다.

bookshelf spectrum, revisited by chotda

그래서 보통 색인은 정적(static)으로 이루어지는데, 검색대상 정보를 모아서 한번에 색인을 하게 됩니다. 검색대상 정보가 많지 않거나 자주 업데이트가 되지 않는 경우라면 괜찮지만, 검색대상 정보가 많아지거나 자주 업데이트가 되는 경우에는 동적으로 색인을 하게 됩니다.

검색하러 왔는데, 최근 데이터가 없으면 사용자의 외면을 받기에 대부분의 검색엔진들은 바로 바로 수집된 데이터에 대해서 색인을 해서 검색결과에 반영하는 과정 – 이를 다이내믹 색인이라고 – 을 하게 됩니다.


실시간 검색? 근실시간 검색!

요즘 많이 들리는 실시간 검색은 또 다이내믹 색인과 좀 다릅니다. 실시간 검색의 뉘앙스는 마치 새로운 정보가 올라오면 바로 검색결과에서 확인할 수 있는 것처럼 느껴지지만, 위에서 설명한 것처럼 색인이라는 시간이 소요되기에 실시간에 가까운 검색입니다.(뭐 거의 실시간에 가깝다는 의미로 근실시간 검색이라는 말을 사용하는 경우도 있더군요)

실시간 검색이 존재하지 않느냐 그런 것은 아닙니다. 일반적인 검색엔진이 아니라 DBMS에서는 실시간 검색이 가능합니다. DB에 데이터가 추가되면 바로 검색에 반영이 되어 나오게 되는데, 일반적인 검색엔진에서는 사전적인 의미 그대로의 실시간 검색은 절대로 불가능합니다. 아무리 작은 데이터여도 데이터가 생성된 시점으로부터 검색엔진이 색인 하기까지는 동시에 이루어질 수 없고 시간차가 당연히 발생하게 됩니다.

그래서 실시간에 가까운 검색은 존재하여도 실시간 검색은 존재하지 않는다고 보시면 됩니다. 다만, 트위터와 같이 속보성이 중요한 컨텐츠의 경우에 있어서는 트위터에 새로운 트윗이나 리트윗이 올라온 시점과 검색엔진의 색인에 반영되는 시간차를 최소화할 수 있어야 합니다. 한마디로 근실시간 검색이 가능하도록 해야 합니다.

위에서 많이 보편화되었다고 말씀 드렸지만, 실제로 다이나믹 색인은 기술적으로나 운영을 위한 인프라 측면에서 고급 검색기술에 속하고 인프라도 많이 소요됩니다. 트위터와 같이 속보성이 중요한 데이터를 근실시간 검색을 하자면 검색엔진이 빠른 다이나믹 색인속도를 낼 수 있어야 하고 그에 따른 인프라가 필수적으로 지원되어야 합니다.

그래서 트위터 검색결과가 별로라고 많이들 이야기하는 이유도 서비스 운영주체로서 모든 정보를 가지고 있음에도 트위터 특성을 살린 검색이 안되기에 구글이나 MS와의 제휴에 나서는 것인지도 모릅니다.


대화검색

트위터 검색이 주목을 받으면서 트위터 검색 = 실시간 검색이라는 이야기를 하는 분들이 계신데요. 제가 보기에는 실시간 검색이라는 특징(정확하게는 근실시간 검색)을 가지고 있는 대화 검색이라고 부를 수 있을 것 같습니다.

트위터를 검색한다고 하면 특정 트윗 하나만 근실시간으로 검색하면 되는 것이 아니라 트윗과 해당 트윗에 대한 리플라이와 리트윗 등을 함께 검색할 수 있어야 하는데, 이를 위해서는 대화를 추적해야 하고 이는 결국 대화뭉치를 검색할 수 있는 검색이 되어야 합니다.

Not getting Involved by TarikB

즉, 검색대상 데이터가 트위터의 트윗과 같은 속보성을 띠는 대화뭉치를 대상으로 하는 검색을 실시간 검색으로 부르기 보다는 대화 검색이라고 부르는 것이 맞아 보입니다. (소셜검색이라고 하는 분도 있는데, 소셜네트워크의 컨텐츠를 검색하는 것이 소셜검색이 아닙니다. 관련해서는 별도로 포스팅을 하겠습니다.)

아무튼 최근 검색엔진과 관련해서는 의미를 이야기하거나 실시간을 이야기 하는데, 결국 소셜미디어와 소셜네트워크의 발전으로 인해서 새로운 형태의 컨텐츠들이 생산되고 있기에 대화검색과 같이 이를 제대로 검색할 수 있는 새로운 시도가 계속되어야 할 듯 합니다.


 마루날의 雜學辭典|잡학사전을 RSS리더로 편하게 구독하세요~

시장은 변화를 원한다.

마켓의 크기가 달라서일까? 미국과 비교했을 때 우리나라에는 새로운 검색서비스가 출현하는 것이 거의 연례행사 수준이라고 할 수 있다.

그래도 작년에는 꽤나 유명한 플레이어들이 등장했었는데, 올해는 내가 잘 몰라서 그런지 몰라도 찾아볼래야 찾아볼 수가 없다.

소프트뱅크 미디어랩의 류한석 소장님 말씀대로 지금의 불경기를 헤쳐나갈 방법 중 하나는 아니, 두개인가? 아무튼.. 벤처의 활성화와 인터넷 생태계의 발전을 가능하게 하는 새로운 서비스들의 등장이다.


Alternative Search Engine이란

국내는 너무나 비정상적이게도 신뢰할 만한 웹 컨텐츠가 없다는 핑계를 대면서^[각주:1]자신의 사이트에 열심히 컨텐츠를 쌓아서 자신의 컨텐츠를 검색하는 기형적인 모습이다 보니 모든 종류의 컨텐츠를 포털에서 검색할 수 있다.

그러다 보니 외국처럼 사용자들의 검색요구의 니치를 담당하는 Alternative Search Engine이라는 것이 국내에서는 찾아보기가 너무 어렵다.

해외의 경우를 살펴보면, 블로그, Social, Health, Visual, Meta Search 등 다양한 Alternative Search Engine들이 존재하는데 반해 국내의 경우 검색을 해보면, 그나마 무슨 무슨 검색사이트라는 곳을 가보면 대부분 자신들의 DB를 쌓아놓고 기업용 검색엔진 패키지를 사다가 설치를 해놓고 서비스를 제공하는 곳이 대부분이다.

물론 어떻게 구축했느냐에 관계없이 유의미한 시도들이기는 하지만, Alternative Search Engine이라고 하기에는 적절하지 않아 보인다.


한국의 Alt Search Engine








이외에도

묻지마 검색이나 DABOT과 같은 개인이 만든 검색서비스도 있고, 인물사진을 검색을 할 수 있는 곳도 있고, 사고싶다 같은 오픈마켓 메타 검색엔진도 있고 노란북과 같은 책 가격비교 사이트들도 있다.

워낙 검색엔진 인력도 한정되어 있고, 국내의 인터넷 시장규모도 크지 않기에 새로운 시도들이 검색엔진에서도 쉽지 않음을 알 수 있다.

검색서비스를 제공하기 위해서는 꼭 A~Z를 직접 구현해야 할 필요는 없다. 훌륭한 서비스 아이디어만 있다면 구글의 맞춤검색 같은 것을 이용해서 제공할 수 있기 때문이다.

이미 기존의 포털 검색에서 제공하다고 해도 더 나은 검색결과를 제공할 수 있다면 그리고 사람들의 검색 요구의 니치라면 충분히 승산이 있다고 본다.





 마루날의 雜學辭典(잡학사전)을 RSS리더로 편하게 구독해서 보세요~

국내 semantic 전문업체인 시맨틱스에 의해 개발된 Qrobo^[각주:1]가 CeBIT 2008에서 공개되었다.

그리고 시맨틱스의 글로벌 경쟁업체라고 하는 Hakia에서는 처음으로 자신의 솔루션 중 일부를 라이센스를 통해서 RiverGlass라는 웹 정보 분석솔루션 업체에 공급하였다.

새로운 서비스를 론칭하는 것도 의미 있는 일이지만, 비즈니스가 일어났다는 것이 훨씬 더 중요한 것 같다.

아무튼 이제 본격적으로 Semantic Search의 시대로 접어든 것인가? 하는 의문이 드는데, 이번 비즈니스에 대해서 미국에서도 이슈가 되었던 것 같다..


구글의 경쟁상대인지? 아니면 완전히 새로운 패러다임의 검색엔진인지? 등등의 많은 얘기들이 오가고 있다고 한다. 구글의 독주가 몇 년째 계속되다 보니 경쟁자의 출현에 다들 신경을 곤두세우고 있는 것 같다.

Hakia의 CEO인 Riza C Berkan 박사가 Hakia 블로그에 직접 올린 글중에서 일부이다.

Semantic Search가 이번 시맨틱스의 Qrobo 공개에서도 주장한 바이지만, 핵심 중 하나인 온톨로지 등을 구성할 때 완전 자동화를 한다는 것은 거의 불가능한 일이다.^[각주:2]

그래서, 구글과 같은 Statistical 검색처럼 도메인이 관계없이 비슷한 수준의 Scalability를 보여주는 것은 거의 불가능하기에 특정 도메인에 한정되게 제공하는 식으로 포지셔닝을 가져가게 된다.

그런데, 이번에 시맨틱스와 Hakia가 서로 경쟁자이면서도 완전히 다른 모습을 보여주고 있어서 흥미롭다.

Hakia는 자신의 솔루션을 미국에서 유행하는 API형태로 제공하면서 모든 웹의 인터랙션의 인프라가 되겠다는 생각으로 접근하고 있고(검색이 아닌 그리고 나쁘지 않아 보인다.) 시맨틱스는 정공법으로 Semantic Search로 기존 검색 패러다임을 바꾸려고 하고 있다.

앞으로 검색의 관심사는 검색 대상인 '데이터'에서 검색 사용자인 '사람'으로 옮겨와야 하지 않을까? user의 Intention, Needs에 대한 답을 해주어야 하는 것 아닐까?

과연 어떤 길이 정답일까?
비즈니스에서 정답이란 것은 존재하지 않지만

Page Relevancy

검색엔진에서 질의어는 사용자가 검색엔진을 사용하기 위한 명시적인 행동이다.

명시적이라고 말하는 것은 사용자가 입력하는 질의어를 통해서 사용자가 원하는 정보가 무엇인지? 사용자의 검색의도는 어떠한지를 나타내주는 것이 '질의어'이기 때문이다.

하지만, '질의어'만으로는 사용자의 검색요구나 검색의도 등을 알 수가 없다. 대부분의 '질의어'들이 한, 두단어로 이루어져있는데다가 중의성을 포함하고 있기때문이다.

이러한 한계에도 불구하고 검색대상 문서내에 사용자의 질의어의 분포 등을 수학적 모델을 통해서 계산하여 사용자의 질의어에 가장 적합한(relevant) 검색결과를 제공하는 Page Relevant가 기본적이면서도 가장 많이 사용하는 모델이다.


Hakia의 People Relevancy


위에서 언급한대로 한두단어 밖에 되지 않는 사용자의 질의어는 의미적으로 다양한 의미를 내포하고 있는 경우도 많으며, 질의에 대한 context나 사용자의 피드백 등을 반영하여 좀 더 정확한 검색결과를 제공하려고 하는 시도들이 많다.

그중에서도 사용자와 동일한 질의어를 입력한 사용자 집단의 행동 패턴(click stream)은 매우 중요한 요소라고 할 수 있다. 현재의 검색엔진은 검색질의어 입력후 사용자가 click & browsing을 통해서 결과를 일일이 확인하는 과정을 거칠 수 밖에 없도록 되어 있다.

대부분 상위의 검색결과를 확인하는 경우가 대부분인데, 사용자가 어떤 결과를 클릭했고, 얼마나 오랫동안 살펴보았는지 등에 대한 back data가 있다면, 해당 결과에 대한 가중치를 높여서 좀 더 상위에 나오게 한다든지를 통해서 검색의 질을 높일 수 있을 것이다


그렇다면...

사실 Hakia의 People Relevancy는 일종의  Social Search, Collective Filtering 등의 다른 이름의 다른 시도와 유사한 시도이기는 하다.

하지만, 앞으로  Multi modal 인터페이스가 나오기전까지는 사용자가 입력하는 질의어의 단어수는 현재와 비슷할 것으로 예상되고 사용자의 검색의도나 검색요구와 함께 사용자의 검색 context를 인지할 수 있다면 보다 적합한(Relevnat) 검색결과를 제공할 수 있을 것이다.

hakia

URL : http://www.hakia.com/

• search for meaning
• 자연어처리 기반의 검색 startup
  
• 현재 베타 버전을 시범적으로 운영 중이며 올해 상용 서비스를 선보일 계획
• 온톨로지, 대화 기능 등의 이야기를 하고 있는 것을 보면, 자연어처리 기술의 원천기술을 가지고 있으며, 형태소/구문/의미분석 기술을 가지고 있는 것으로 보여짐

[초기화면]

[검색결과]

질의어에서 '이순신이 누구인가'에 대한 의미를 가지고, 검색 결과에서 '이순신과 술부'로 이루어진 결과를 하이라이트 해서 보여주고 있음

사용자의 질의에 대한 '키워드'기반 검색에서 더 나아가 사용자의 질의의 '주술적^[각주:1] 의미관계'를 추출하고, 검색 대상 데이터에서 '주술적 의미관계'를 추출하여 의미간 연관도 순으로 검색결과를 제공하는 것으로 보여짐

한겨례신문에 재미있는 기사가 올라왔다.

차세대 검색엔진 '인공지능'달아라

차세대 검색엔진은 1) 언어나 문맥의 이해, 2) 인공지능 탑재, 3)사진검색, 4)전문분야 검색 등으로 이루어질 것이라는 기사이다.


1) 언어나 문맥의 이해

지금의 검색엔진은 검색 대상 문서내에 포함된 언어학적 정보나 이를 기반으로 하는 의미까지 분석해 내지 못한다.

정확하게 말하면, 문장내에 포함된 의미를 식별하고 분석하기 위해서는 언어학적으로 잘 구축된 온톨로지나 시소러스 등을 이용한 구문분석 및 의미분석이 이루어져야 하는데, 실생활을 전부 포함할 수 있는 온톨로지의 구축은 실제로 거의 불가능하다.(돈이 많이 들지..)

그럼에도 불구하고 '잠실 근처의 안경점은?' 등과 같은 질의어를 처리할 수 있는 검색엔진이 나온다면, 검색엔진 패러다임을 완전히 바꿀 수 있기에, 사용자들이 한두단어로 이루어진 질의어보다 문장단위의 질의어를 입력하고 더 많은 의도를 표현해주기를 바라는 노력과 함께, 문장단위의 의미를 분석해내고 이를 검색결과에 반영하는 일은 이미 일부 분야를 기준으로 상용화 되고 있는 상황이다.

대표적으로 다음소프트의 애널라이저라는 솔루션이 있는데, 특정 분야에 한정하는 경우 대상의 의미까지 분석해서 이를 업무에 활용할 수 있도록 하는 솔루션이 이미 판매되고 있다고 한다.


2) 인공지능의 탑재

사실 무엇이든지 사람의 인지능력이나 사고, 판단능력을 재현해낼 수 있는 그 무언가가 나온다면, 뭐 게임 오버라고 할 수 있다. 인공지능의 주제는 넓고도 광활한데.. 좀 다른얘기를 해보면,

'미들웨어'로서의 인공지능이다.

인공지능의 여러가지 특징이 있겠지만, 앞으로 과도기적으로는 '미들웨어'로서의 그 무언가가가 인공지능의 흉내를 내지 않을까 하는 생각을 해본다.

WAS를 말하는 미들웨어가 아니라, 현재의 상황을 인식하고 인식된 상황정보를 바탕으로 현재의 생태를 정확하게 알고, 이를 가지고 추가 액션을 취하도록 해주는 그 무언가..

유비쿼터스의 대표라 하는 센서네트워크도 사실, 센싱한 결과만을 가지고 있는데, 이것은 단지 현재의 상황정보만을 모아놓은 것인데, 다음으로는 상황정보를 바탕으로 현재 어떤 상태고, 유저는 어떤 사람이고 하는 정보가 있어야만, 거기에 맞는 서비스나 컨텐츠를 제공할 수 있을 것이다.


3) 사진 검색

제일 관심많은 기술이다.

나만 해도 디카로 찍어놓은 사진이 거의 1000여장 가까이 된다.
이 사진을 윈도우즈의 탐색기를 통해서 미리보기를 해서 찾아보지 않으면, 내가 찾거나 원하는 사진을 찾을 방법이 없다. 즉, 한장한장 휴리스틱하게 찾아야 하는데,

사진의 캡션이나 이름이 아니라, 사진 자체를 검색할 수 있다면, 이 또한 놀라운 정보검색의 미답지가 정복되는 것이 아닌가하는 생각이 든다.

대학원때 옆 연구실이 이미지 랩이였는데, 거의 수학을 하고 있었다. 그리고, 이미지 랩의 사진이 아직도 생각나는데 모자쓴 어떤 여인네의 모습이였는데, 마치 미대 입시를 위해서 '아그립바' 입상을 두고 뎃생연습을 하듯이 그 여인네 사진을 가지고 필터링하고 인식하고 하는 것으로 보았는데..

음성인식이 저 멀리 있는 거처럼
이미지인식도 아직 저 멀리 있는 것 같다. -_-
거의 10여년전 일이니, 지금은 더 많이 인식할지도..


4) 전문분야 검색

검색이 언어의 표현인 문자로 이루어진 문서를 대상으로 하다보니, 전문분야에 한정되어 또는 다르게 사용되는 의미의 단어나 표현들이 존재한다. 이를 검색할 수 있도록 색인구조를 전문화하고 결과를 최적화한다면, 확실히 좋은 검색결과를 제공할 수 있다.

하지만, 이를 구축하기 위해서는 거의 웹검색을 할 수 있을 만큼의 인프라가 필요한데, 이것이 돈이다 보니, 아직 국내에서는 가격비교검색 이외에는 전문화된 검색이 없다.

예를 들어, 온라인 서점별로 가격을 비교할 수 있게 한다든지, 전국대학의 도서관과 연계하여 도서나 논문 검색을 전문화한다든지 하면, 얼마든지 이용할 수 있을 것 같다.

예전에는 있었는데, 사라진 옵션 중 하나인 파일 검색 기능이라든지..(음, 이거는 전문분야가 아니잖아..., 쓰뤠기..-_-)


이상의 특징외에도, 대화를 이용한 검색 이라든지 음성인식을 이용한 검색이라든지 다양한 차세대 검색엔진의 특징들이 앞으로 많은 연구개발을 통해서 서비스 될 수 있으면 좋을 것 같다.