Systemy Question Answering



Spis tresci:

  1. Wprowadzenie
  2. Schemat systemu Question Answering
  3. Przyklady
  4. Bibliografia




Wprowadzenie

W wyniku wielkiego przyrostu wiedzy w ogolnodostepnych zasobach sieciowych, coraz wiekszego znaczenia nabieraja techniki uzyskiwania trafnej informacji w sposób przyjazny dla uzytkownika.

Systemy Question Answering (Q&A) maja na celu podolac temu zadaniu.

Ogólna idea ich dzialania polega na zwróceniu poprawnej odpowiedzi, na zadane przez uzytkownika pytanie w postaci jezyka naturalnego, na podstawie posiadanej bazy wiedzy.

Pierwsze realizacje systemów umozliwiajacych uzytkownikowi zadawanie pytan i uzyskiwanie odpowiedzi pojawily sie juz stosunkowo wczesnie, sa to min:

Technologia Question Answering przyczynila sie do powstania dwoch nowych obszarow badan, mianowicie:


Schemat systemu Question Answering

Polaczenie technik IE oraz IR z metodami sztucznej inteligencji (w zakresie rozumienia tekstu - MU) pozwala na stworzenie systemu typu Q&A.

Scemat takiej integracji sklada sie z pieciu czesci:



Zrozumienie pytania
Prowadzi do uzyskania szablonu sytuacji bedacej przedmiotem pytania, co wymaga pelnej analizy obejmujacej wszystkie poziomy opisu (morfologie, skladnie, semantyke i pragmatyke).
Uzyskuje sie je najczesciej poprzez wykorzystanie systemow MU

Wyszukiwanie dokumentow, IR

Uzyskany schemat z czesci pierwszej sluzy do wygenerowania, za pomoca technik IR, zapytania w celu uzyskania dokumentow zawierajacych odpowiedz, oraz o ile to mozliwe, do zlokalizowania w tych dokumentach obszarow, w ktorych spodziwamy sie znalesc elementy odpowiedzi.

Wyszukiwanie informacji (IR) koncentruje sie na problemie znalezienia w duzej populacji dokumentów tych sposród nich, w których znajduja sie informacje bedace odpowiedzia na zapytanie uzytkownika.



Technologia IR jest w glownym stopniu oparta na metodach statystycznych majacych ustalic stopien podobienstwa pomiedzy dokumentem a zapytaniem uzytkownika.

Podstawowymi metodami sa:

Istnieja rozne techniki reprezentowania zapytania uzytkownika w systemach IR, mianowicie:

Ekstrakcja informacji - IE

Kolejna faza jest faza ekstrakcji informacji (IE) z dokumentów lub ich fragmentów w sposób sterowany szablonem pytajnym uzyskanym w pierwszej fazie przetwarzania pytania.



Na wyjsciu nalezy spodziewac sie zbioru szablonów czesciowo wypelnionych informacja, z których kazdy moze byc uwazany za czesciowa odpowiedz na pytanie.
Podobnie jak w fazie pierwszej wykorzystuje sie tu technologie MU.
Wypelnione (czesciowo) szablony beda wymagaly dalszego przetwarzania, które okreslamy mianem integracji informacji.

Istnieje istotna roznica pomiedzy IR a IE.
IR bowiem stawia sobie za cel dotarcie do wlasciwych dokumentow, natomiast IE dazy do pozyskania konkretnych faktow z okreslonego zbioru dokumentu w odpowiedz na zapytanie wygenerowane przez uzytkownika.

IE ma za zadanie identyfikacje wystapien okreslonych zdarzen lub relacji i utworzenie ich konkretnej reprezentacji strukturalnej.

W IE mozna wyroznic trzy fazy przetwarzania:
Jadro systemu ekstrakcji informacji sklada sie z dwóch komponentów: Zadaniem procesora tekstów jest analiza leksykalna tekstu w celu pozyskania jak najszerszego obrazu jezykowego tekstu (struktury lingwistycznej).

Techniki analizowania tekstu mozna podzielic na:
Ze wzgledu na wielka zlozonosc zwiazana z przetwarzaniem jezyka naturalnego nie stotuje sie w IE techniki DTP (deep text processing) - oznaczajacej analizowanie wszelkich mozliwych interpretacji i gramatycznych relacji w dokumencie.
Dlatego tez stosuje sie techniki czesciowej analizy tekstu (STP - shallow text processing), która jest mniej czasochlonna i stanowi etap przejsciowy miedzy szukaniem wzorców w dokumencie, a pelna analiza leksykalna tekstu.

Analiza STP jest ograniczona do identyfikacji niepowtarzalnych struktur wystepujacych w dokumencie, badz struktur z limitowana iloscia powtórzen, które moga zostac zidentyfikowane z duzym prawdopodobienstwem.

W STP jezykowe regularnosci, które zwykle stwarzaja problemy nie sa przetwarzane i zamiast analizowania calosci tekstu, tylko uprzednio okreslone struktury sa przetwarzane.

Uzycie STP zamiast DTP moze byc korzystniejsze, poniewaz jest ono wystarczajace do ekstrakcji i zebrania odpowiednich informacji przy uzyciu mniejszych nakladów.

Integracja danych

Wynikiem poprzednich etapow jest zbior czesciowo wypolnionych szablonow odpowiedzi. Musza one zostac poddane procesowi integracji, poniewaz jest calkiem prawdopodobne iz sa niespuje i niekompletne. Moga nie spelniac oczekiwan uzytkownika. Dodatkowo wcale nie mamy gwaracji ze informacjie z zasobow ktore przeszukujemy sa prawdziwe. Wprowadza sie wspolczynnik wiarygodnosci zrodla aby dokonac pewnej hierarhizacji. W przypadku internetu kazdy moze zamieszczac wszytko co tylko chce, nie jest to w zaden sposob kontrolowane. Moze to doprowadzic do sprzecznosci w wynikach wyszukiwania, oczywiscie nawet dla sprawdzonych zrodle moga zarzyc sie rozbieznosci.



Celem tej fazy jest generacja jednego arkusza odpowiedzi, ze wskazaniem zrodla. W praktyce genereuje sie wiele odpowiedzi, aby zwiekszyc szanse udzielenia poprawnej odpowiedzi. Towazyszy temu portokul usuwania sprzecznosci.

Generowanie odpowiedzi

Mamy juz szablon z gotowa odpowiedzia, ostatnie co nalezy zroibc to nadac mu forme w ktorej bedzie mogla zostac przedstawiona uzytownikowi. W przypadku systemu komunikujacego sie za pomoca jezyka naturalnego bedzie to prezentacja tekstu na ekranie.



O sposobie prezentacji odpowiedzi w duzej mierze decyduje rodzaj przeszukiwanego zasobu danych. W chwili obecnej wiekszosc systemow traktuje siec internet jako baze. Wtedy odpowiedzia jest kawalek tekstu ktory zostal wytypowany jako odpowiedz na nasze pytanie oraz wskazanie jesgo zrodla.
Ciekawym i praktycznym pomyslem jest poprzydzialanie elementow ze zbioru odpowiedzi do roznych kategorii i podkategori, pewna hierarchizacja wynikow. Wyszukiwarka wyswietla strukture ktora przypomina drzewo katalogow. W miare zaglebiania sie w nie linki tarca na istotnosci. [www.vivisimo.com]

Niektore systemy tworza graficzny obraz odpowiedzi. Pozwala nam to na dosc intuicyjne poruszanie sie po mapie pojec i linkow, dzieki czemu mozemy dojsc do tego co naprawde nas interesuje. Nawet osoby nie majace doswiadczneia w pracy z komuterem sa wstanie odszukac pozadane informacje. [www.kartoo.com]



System Cat-a-cone prezentuje zupelnie nowatorskie podejscie do prezentacji wynikow. Informacje przedstawiane sa uzytkownikowi w postaci trojwymiarowej sieci stozkow polaczonych ze soba. Na powierzchni bocznej stozkow znajduja sie informacje, stozki mozna obracac wokol wlasnej osi, wraz z nimi obraca sie cala struktura, prezentujac nam nowe informacje. Prawdopodobnie rozwizanie to nie szybko trafi pod strzechy. Przpustowosc sieci oraz mozliwosci komputerow sa niewystarczajace aby technologia stala sie powszechna.



Przyklady systemow Q&A

Systemy Question Answering sa niewatpliwie przyszloscia wyszukiwarek internetowych. Pojawia sie coraz wiecej rozwiazan, w wiekszosci sa to projekty rozwijane przez uniwersytety bedace w fazie testow i doskonalenia.
Zdecydowana wiekszosc wszystkich systemow obsluguje jezyk angielski. Warto jednak wspomniec
o polskim projekcie Polietechniki Poznanskiej o nazwie Carrot.
W chwili obecnej najwieksze znaczenie odgrywaja:

AnswerBus
Jest to projetk rozwijany przez uniwersytet Michigan. Pytania zadaje sie w jezyku naturalnym. Nastepnie nastepuje faza analizy pytania, i zwracane sa odpowiedzi w postaci linkow do zrodla. Mocna strona tego portalu jest obsluga kilku jezykow(angielski, niemiecki, francuski, hiszpanski, portugalski). AnswerBus jest metawyszukiwarka, oznacza to ze sam nie przeszukuje internetu. Korzysta z innych wyszukiwarek: google, altevista, yahoo, yahooNews, WiseNut. Jest to system typu open-domain. Czyli nie ma ograniczen co do dziedziny pytania.

Proces generacji opowiedzi mozna podzielic na 4 etapy:





AnswerBus w testach TREC-8 200 wykazal sie skutecznoscia 70,5%.

START
(SynTactic Analysis using Reversible Transformations Natural Language System) Jest to rozwniez uniwersytecki projetk rozwijany prze MIT (Massachusetts Institute of Technology) Jednak na tym podobienstwa do AswerBus sie koncza. W START porces odpowiedzi na pytanie przebiega zupelnie inaczej.
START korzysta z virtualnej bazy danych Omnibase. Jest to model relacyjny stworzony na bazie struktuty trojkowej (obiektk, atrybut, wartosc) [object, property, value]. Jak wynika z analizy struktury pytan, znaczna ich czesc daje sie przedstawic za pomoca takiej reperzentacji.



Zadaniem START jest analiza pytania zadanego w jezyku natrualnym (NLP) oraz przeksztalcenie go na zapytanie dla Omnibase. Wyodrebniane sa slowa kluczowe jak i zwroty kluczowe, dla pytania "Who directed gone with the wind?" system musi wywnioskowac na podstawie posiadanej bazy wiedzy ze "gone with the wind" to tytul filmu. w innym przypadku pytanie nie mialo by sensu. Teraz analizator widzi pytanie jako "Who directed X" i wie ze X to tytul filmu. Po identyfikacji czesci skladowych pytania mamy juz pewne pojecie w ktorym miejscu bazy szukac. Gotowe zapytanie przyjmie postac:

(get "imdb-movie" "Gone with the Wind (1939)" "DIRECTOR")

gdzie imdb-movie to internet movie database

Po jednej stronie bazy znajduje sie interfej dla START akceptujacy zformalizowane zapytania. Po drugiej natomiast jest ogromna ilosc informacji w przeroznej formie. Omnibase niejako tlumaczy chaotyczne dane z sieci na ustrukturyzowane informacje modelu ob-prop-val.


Przykladowe pytania:
How long is nile?

START: The Nile River is 4,180 miles (6,690 kilometers) long from source to mouth.
AnswerBus: Blue Nile Schedules Fourth Quarter and Full Year 2005 Earnings Release and Conference Call Source: biz.yahoo.com

Who is Bill Clinton?
START: Forty-second president of the United States, born William Jefferson Blythe, on August 19, 1946, in Hope, Arkansas.
AnswerBus : Well, this page has always judge Bill Clinton, Hillary Clinton, Al Gore, et al, on the content of their character -- Source: www.io.com

Bibliogriafia: