Question answering
Question Answering ya da Soru cevaplama, insanların sorduğu soruları doğal bir dilde otomatik olarak cevaplayan sistemler oluşturmakla ilgilenen, bilgi alma ve doğal dil işleme (NLP) alanlarındaki bir bilgisayar bilimi disiplinidir.[1]
Genel bakış
[değiştir | kaynağı değiştir]Genellikle bir bilgisayar programı olan soru-cevap uygulaması, genellikle bir bilgi tabanı olan yapılandırılmış bir bilgi veya veri tabanına sorgu göndererek cevaplarını oluşturabilir. Daha yaygın olarak, soru-cevap sistemleri, doğal dil belgelerinin yapılandırılmamış bir koleksiyonundan yanıtları çekebilir.
Soru cevaplama sistemleri için kullanılan doğal dil belge koleksiyonlarına bazı örnekler şunlardır:
- local referans metinlerinin koleksiyonu
- iç organizasyon[muğlak] belgeler ve web sayfaları
- derlenmiş haber raporları
- bir dizi Wikipedia sayfası [2]
- Dünya Çapında Ağ sayfalarının bir alt kümesi
Soru cevaplamanın türleri
[değiştir | kaynağı değiştir]Soru-cevap araştırması, gerçek, liste, tanım, nasıl, neden, varsayımsal, anlamsal olarak sınırlı ve diller arası sorular da dahil olmak üzere çok çeşitli soru tiplerine cevap vermenin yollarını geliştirmeye çalışır.
- Okuduğunu anlama becerisini değerlendirmek amacıyla bir makale ile ilgili soruları cevaplamak, soru cevaplamanın daha basit biçimlerinden biridir; çünkü verilen makale, diğer soru cevaplama problemlerinin alanlarına kıyasla nispeten kısadır. Bu tür sorulara örnek olarak, konuyla ilgili bir makale sisteme verildikten sonra "Albert Einstein Nobel Ödülü'nü neden kazandı?" sorusunun sorulması verilebilir.
- Kapalı kitap soru cevaplama, bir sistemin eğitim sırasında bazı gerçekleri ezberlemesi ve açıkça bir bağlam verilmeden soruları cevaplayabilmesidir. Bu, insanların kapalı kitaplı sınavlara girmesine benziyor.
- Kapalı alan soru cevaplama, belirli bir alandaki (örneğin tıp veya otomotiv bakımı) sorularla ilgilenir ve ontolojilerde sıklıkla biçimselleştirilen alan-özgü bilgiden yararlanabilir. Alternatif olarak, "kapalı alan", yalnızca sınırlı sayıda soru tipinin kabul edildiği, örneğin prosedürel bilgi yerine tanımlayıcı bilgi isteyen soruları ifade edebilir. Soru cevaplama sistemleri in the context of makine okuma uygulamaları, related to tıbbi alanda da oluşturulmuştur. Alzheimer hastalığı.[3]
- Açık alan soru cevaplama, hemen hemen her şey hakkındaki soruları ele alır ve yalnızca genel ontolojilere ve dünya bilgisine güvenebilir. Açık alan soru cevaplama için tasarlanan sistemler genellikle cevabı çıkarmak için çok daha fazla veriye sahiptir. Açık alanlı bir soruya örnek olarak "Albert Einstein Nobel Ödülü'nü neden kazandı?" sorusu verilebilir ve bu konu hakkında sisteme hiçbir madde verilmez.
Soru-cevap sistemlerini sınıflandırmanın bir diğer yolu da kullanılan teknik yaklaşıma göredir. QA sistemlerinin çeşitli türleri vardır, bunlar arasında şunlar yer alır:
- kural tabanlı sistemler
- istatistiksel sistemler ve
- Hibrit sistemler
Kural tabanlı sistemler, bir sorunun doğru cevabını belirlemek için bir dizi kural kullanır. İstatistiksel sistemler bir soruya en olası cevabı bulmak için istatistiksel yöntemler kullanır. Hibrit sistemler kural tabanlı ve istatistiksel yöntemlerin bir kombinasyonunu kullanır.
Tarih
[değiştir | kaynağı değiştir]İlk soru cevaplama sistemlerinden ikisi BASEBALL [4] ve LUNAR [5] idi. BASEBALL, bir yıllık bir süre boyunca Major League Baseball ile ilgili soruları yanıtladı . LUNAR, Apollo Ay misyonlarından getirilen kayaların jeolojik analiziyle ilgili soruları yanıtladı. Her iki soru cevaplama sistemi de seçtikleri alanlarda oldukça etkiliydi. LUNAR, 1971 yılında bir ay bilimi kongresinde tanıtıldı ve sistem hakkında eğitim almamış kişiler tarafından sorulan soruların %90'ını yanıtlayabildi. Sonraki yıllarda kısıtlı alan soru cevaplama sistemleri geliştirildi. Tüm bu sistemlerin ortak özelliği, seçilen alanın uzmanları tarafından elle yazılmış bir çekirdek veri tabanına veya bilgi sistemine sahip olmalarıdır. BASEBALL ve LUNAR'ın dil yetenekleri, ilk chatbot programları olan ELIZA ve DOCTOR'a benzer teknikler kullanıyordu.
SHRDLU, Terry Winograd tarafından 1960'ların sonu ve 1970'lerin başında geliştirilen başarılı bir soru-cevap programıydı. Bir oyuncak dünyasında (bloklar dünyası) bir robotun işleyişini simüle ediyordu ve robota dünyanın durumu hakkında sorular sorma olanağı sunuyordu. Bu sistemin gücü, çok özel bir alan ve bilgisayar programında kodlanması kolay fizik kurallarına sahip çok basit bir dünyanın seçilmesiydi.
1970'lerde daha dar bilgi alanlarını hedefleyen bilgi tabanları geliştirildi. Bu uzman sistemlerle arayüz oluşturmak için geliştirilen soru cevaplama sistemleri more repeatable sonuçlar üretti ve bir bilgi alanındaki sorulara geçerli yanıtlar. Bu uzman sistemler, iç mimarileri dışında modern soru cevaplama sistemlerine oldukça benziyordu. Uzman sistemler, uzmanlar tarafından oluşturulmuş ve organize edilmiş bilgi tabanlarına büyük ölçüde dayanırken, birçok modern soru cevaplama sistemi, büyük, yapılandırılmamış, doğal dil metin gövdesinin istatistiksel işlenmesine dayanır.
1970'ler ve 1980'ler, hesaplamalı dilbilimde kapsamlı teorilerin geliştirilmesine tanık oldu ve bu da metin anlama ve soru cevaplama alanlarında iddialı projelerin geliştirilmesine yol açtı. Bir örnek, 1980'lerin sonlarında UC Berkeley'de Robert Wilensky tarafından geliştirilen Unix Consultant'tır (UC). Sistem Unix işletim sistemine ilişkin soruları yanıtladı. Alanında kapsamlı, elle hazırlanmış bir bilgi tabanına sahipti ve cevabı çeşitli kullanıcı tiplerine uyacak şekilde ifade etmeyi amaçlıyordu. Bir diğer projemiz ise Almanya'nın bir şehrinde turizm bilgilendirme alanında faaliyet gösteren bir metin anlama sistemi olan LILOG'du. UC ve LILOG projelerinde geliştirilen sistemler hiçbir zaman basit gösterim aşamasını geçememiş, ancak hesaplamalı dilbilim ve muhakeme üzerine teorilerin geliştirilmesine yardımcı olmuştur.
Sağlık ve yaşam bilimcileri için EAGLi gibi uzmanlaşmış doğal dil soru cevaplama sistemleri geliştirilmiştir.[6]
Uygulamalar
[değiştir | kaynağı değiştir]QA sistemleri, aşağıdakiler de dahil olmak üzere çeşitli uygulamalarda kullanılır:
- Bir olgunun doğrulanıp doğrulanmadığını şu şekilde soru sorarak kontrol etmek : X olgusu doğru mu, yanlış mı?
- müşteri hizmetleri,
- teknik destek,
- pazar araştırması,
- Raporlar üretmek veya araştırma yapmak.
Mimarlık
[değiştir | kaynağı değiştir]2001 yılından itibaren, soru-cevaplama sistemleri genellikle sorunun türünü ve cevap türünü belirleyen bir soru sınıflandırıcı modülü içeriyordu.[7]
Farklı soru-cevap sistemleri farklı mimariler kullanır. Örneğin, modern açık alan soru cevaplama sistemleri, alıcı-okuyucu mimarisini kullanabilir. Alıcı, verilen soruyla ilgili ilgili belgeleri çağırmayı amaçlarken, okuyucu ise getirilen belgelerden cevabı çıkarsamak için kullanılır. GPT-3, T5 [8] ve BART [9] gibi sistemler uçtan uca bir transformatör tabanlı bir mimari mimarisi, büyük ölçekli metinsel verileri altta yatan parametrelerde depolar. Bu tür modeller, herhangi bir dış bilgi kaynağına erişmeden sorulara cevap verebilir.
Retrieval-Augmented Generation (RAG) Mimarisi
[değiştir | kaynağı değiştir]RAG (Retrieval-Augmented Generation), büyük dil modellerinin doğruluğunu ve güvenilirliğini artırmak için bilgi alma bileşenini üretici modelle birleştiren bir tekniktir[10][11]. Bu mimari, ChatGPT gibi büyük dil modellerinin yeteneklerini temel veri sağlayan bir bilgi alma sistemi ekleyerek güçlendirir.[12]
RAG mimarisi iki ana bileşenden oluşur:
[değiştir | kaynağı değiştir]Belge Alma Bileşeni (Document Retriever): Bu bileşen, girdi sorgusuna dayalı olarak ilgili belgeleri veya bilgi parçacıklarını getirmekten sorumludur. Genellikle hem sorguyu hem de belgeleri temsil etmek için yoğun vektör uzayı kullanır.[13]
Üretici Model (Generator): Alınan bilgiyi kullanarak doğal dil yanıtları üreten büyük dil modeli.
RAG Çeşitleri:
- Naive RAG: Basit alma-üretme süreçi
- Advanced RAG: Gelişmiş ön işleme ve sonrası işleme teknikleri
- Modular RAG: Özelleştirilebilir bileşen kombinasyonları
Soru cevaplama yöntemleri
[değiştir | kaynağı değiştir]Soru cevaplama iyi bir arama gövdesine bağlıdır; cevabı içeren belgeler olmadan herhangi bir soru cevaplama sisteminin yapabileceği çok az şey vardır. Daha büyük koleksiyonlar genellikle daha iyi soru cevaplama performansı anlamına gelir; tabi eğer soru alanı koleksiyona ortogonal değilse. Web gibi büyük koleksiyonlardaki veri yedekliliği, bilgi parçacıklarının farklı bağlamlarda ve belgelerde birçok farklı şekilde ifade edilmesinin muhtemel olduğu anlamına gelir [14] bu da iki faydaya yol açar:
- Doğru bilgi birçok biçimde karşımıza çıkıyorsa, soru cevaplama sisteminin metni anlamak için daha az sayıda karmaşık NLP tekniği uygulaması gerekir.
- Sistem, doğru cevapların, yanlış cevaplardan daha fazla sayıda soruda yer almasına güvenebildiğinden, doğru cevaplar yanlış pozitiflerden filtrelenebilir.
Bazı soru cevaplama sistemleri büyük ölçüde otomatik muhakemeye dayanmaktadır.[15][16]
Açık alan soru cevaplama
[değiştir | kaynağı değiştir]Bilgi almada, açık alanlı bir soru cevaplama sistemi, kullanıcının sorusuna yanıt olarak bir cevap döndürmeye çalışır. Döndürülen yanıt, ilgili belgelerin bir listesi yerine kısa metinler biçimindedir.[17] Sistem, hesaplamalı dilbilim, bilgi alma ve bilgi gösterimi tekniklerinin bir kombinasyonunu kullanarak yanıtlar bulur.
Sistem, anahtar kelime kümesi yerine doğal dil sorusunu girdi olarak alır, örneğin: "Çin'in ulusal günü ne zaman?" Daha sonra bu girdi cümlesini mantıksal biçiminde bir sorguya dönüştürür. Doğal dil sorularını kabul etmek, sistemi daha kullanıcı dostu hale getiriyor, ancak uygulanması daha zor, çünkü çok çeşitli soru tipleri var ve mantıklı bir cevap verebilmek için sistemin doğru soruyu belirlemesi gerekiyor. Soruya bir soru tipi atamak çok önemli bir iştir; tüm cevap çıkarma süreci doğru soru tipini ve dolayısıyla doğru cevap tipini bulmaya dayanır.
Anahtar kelime çıkarma, girdi soru tipini belirlemenin ilk adımıdır.[18] Bazı durumlarda, kelimeler soru tipini açıkça belirtir, örneğin, "Kim", "Nerede", "Ne zaman" veya "Kaç tane" - bu kelimeler sisteme cevapların sırasıyla "Kişi", "Yer", "Tarih" veya "Sayı" türünde olması gerektiğini düşündürebilir. POS (sözcük türü) etiketleme ve sözdizimsel ayrıştırma teknikleri de yanıt türünü belirleyebilir. Yukarıdaki örnekte özne "Çin Ulusal Günü", yüklem "is" ve zarf tamlayıcısı "when" olduğundan cevap türü "Date"dir. Ne yazık ki, "Hangi", "Ne" veya "Nasıl" gibi bazı soru sözcükleri kesin cevap türlerine karşılık gelmiyor: Her biri birden fazla türü temsil edebilir. Bu gibi durumlarda sorudaki diğer kelimelere de dikkat edilmesi gerekir. Bağlamı anlamak için WordNet gibi bir sözcüksel sözlük kullanılabilir.
Sistem soru türünü belirledikten sonra, doğru anahtar kelimeleri içeren bir dizi belge bulmak için bir bilgi arama sistemi kullanır. Bir etiketleyici ve NP/Fiil Grubu parçalayıcısı, bulunan belgelerde doğru varlıkların ve ilişkilerin belirtilip belirtilmediğini doğrulayabilir. "Kim" veya "Nerede" gibi sorular için adlandırılmış varlık tanıma aracı, alınan belgelerden ilgili "Kişi" ve "Yer" adlarını bulur. Only the relevant paragraphs are selected for ranking. [ açıklama gerekli ]
Bir vektör uzay modeli aday cevapları sınıflandırabilir. Kontrol etmek eğer cevap soru tipi analizi aşamasında belirlenen doğru tipte ise. Bir çıkarım tekniği adayların cevaplarını doğrulayabilir. Daha sonra bu adayların her birine, içerdiği soru kelimesi sayısına ve bu kelimelerin adaya ne kadar yakın olduğuna göre bir puan verilir; ne kadar çok ve yakınsa o kadar iyidir. Cevap daha sonra ayrıştırılarak kompakt ve anlamlı bir gösterime çevrilir. Önceki örnekte beklenen çıktı yanıtı "1 Ekim"dir.
Matematik soru cevaplama
[değiştir | kaynağı değiştir]Ask Platypus ve Wikidata'ya dayanan, açık kaynaklı, matematiğe duyarlı bir soru cevaplama sistemi olan MathQA 2018'de yayınlandı.[19] MathQA, girdi olarak İngilizce veya Hintçe doğal dil sorusunu alır ve Wikidata'dan alınan matematiksel formülü, kullanıcının değişkenler için değerler girmesine olanak tanıyan hesaplanabilir bir forma dönüştürerek özlü bir cevap olarak döndürür. Sistem, varsa değişkenlerin ve ortak sabitlerin adlarını ve değerlerini Wikidata'dan alır. Sistemin bir test setinde ticari bir hesaplamalı matematiksel bilgi motorundan daha iyi performans gösterdiği iddia edilmektedir.[19] MathQA, Wikimedia tarafından https://mathqa.wmflabs.org/ adresinde barındırılmaktadır. 2022 yılında 15 matematik sorusu türüne cevap verecek şekilde genişletildi.[20]
MathQA metotlarının doğal dil ile formül dilini birleştirmesi gerekiyor. Mümkün yaklaşımlardan biri , Varlık Bağlantısı aracılığıyla denetlenen açıklama gerçekleştirmektir. CLEF 2020'deki "ARQMath Görevi" [21] Math Stack Exchange platformundan yeni gönderilen soruları, topluluk tarafından daha önce yanıtlanmış olan mevcut sorularla ilişkilendirme sorununu ele almak için başlatıldı. Zaten yanıtlanmış, anlamsal olarak ilişkili sorulara köprü metinleri sağlamak, kullanıcıların daha erken yanıtlar almasına yardımcı olur ancak anlamsal ilişkinin önemsiz olmaması nedeniyle zorlu bir sorundur.[22] Laboratuvar, genel amaçlı arama motorlarındaki matematiksel sorguların %20'sinin iyi biçimlendirilmiş sorular olarak ifade edilmesi gerçeğinden ilham aldı.[23] Görev iki ayrı alt görevden oluşuyordu. Görev 1: "Cevap alma" eski gönderi cevaplarını yeni sorulan sorularla eşleştirme ve Görev 2: "Formül alma" eski gönderi formüllerini yeni sorularla eşleştirme. Formül dilini içeren matematik alanıyla başlayarak, hedef daha sonra görevi diğer alanlara (örneğin kimya, biyoloji vb. gibi STEM disiplinleri) genişletmektir; bu alanlarda diğer özel gösterim türleri (örneğin kimyasal formüller) kullanılır.[21][22]
Matematiksel soru cevaplamanın tersi olan matematik sorusu üretme de araştırılmıştır. PhysWikiQuiz fizik sorusu oluşturma ve test motoru, Wikidata'dan matematiksel formülleri, bunları oluşturan tanımlayıcılar (değişkenlerin adları ve değerleri) hakkındaki anlamsal bilgilerle birlikte alır.[24] Daha sonra formüller yeniden düzenlenerek bir dizi formül varyantı oluşturulur. Daha sonra değişkenler rastgele değerlerle değiştirilerek her bir öğrencinin testine uygun çok sayıda farklı soru üretilir. PhysWikiquiz, Wikimedia tarafından https://physwikiquiz.wmflabs.org/ adresinde barındırılmaktadır.
İlerleme
[değiştir | kaynağı değiştir]Son zamanlarda soru cevap sistemleri genişletildi ek bilgi alanlarını kapsayacak şekilde yıllar [25] Örneğin, zamansal ve coğrafi soruları, tanım ve terminoloji sorularını, biyografik soruları, çok dilli soruları ve ses, görüntü [26] ve video [27] içeriğiyle ilgili soruları otomatik olarak yanıtlamak üzere sistemler geliştirilmiştir. Güncel soru cevap araştırma konuları şunlardır:
- etkileşim—soruların veya cevapların açıklığa kavuşturulması[daha geniş açıklama gerekli] [28]
- cevap yeniden kullanımı veya önbelleğe alma [29]
- anlamsal ayrıştırma [30]
- cevap sunumu[daha geniş açıklama gerekli] [31]
- bilgi temsili ve anlamsal çıkarım [32]
- sosyal medya analizi[daha geniş açıklama gerekli] soru cevaplama sistemleriyle
- duygu analizi [33]
- tematik rollerin kullanımı [34]
- Görsel soru cevaplama için resim alt yazısı [35]
- Somutlaştırılmış soru cevaplama [36]
2011 yılında IBM tarafından geliştirilen bir soru cevaplama bilgisayar sistemi olan Watson, Jeopardy! yarışmasında iki gösteri maçında yarıştı. Brad Rutter ve Ken Jennings'e karşı önemli bir farkla kazandı.[37] Facebook Research, DrQA sistemini [38] açık kaynak lisansı altında kullanıma sundu. Bu sistem bilgi kaynağı olarak Wikipedia'yı kullanır.[2] Deepset tarafından geliştirilen açık kaynaklı çerçeve Haystack, açık alan soru cevaplama ile üretken soru cevaplamayı birleştirir ve domain adaptation destekler underlying industry use cases için dil modelleri .[39][40]
GPT-4 [37], Gemini [38] gibi Büyük Dil Modelleri (LLM'ler) [36], daha karmaşık anlayış ve metin üretimi sağlayan başarılı QA sistemlerine örnektir. Metin, görüntü ve ses gibi çeşitli biçimlerdeki bilgileri işleyebilen ve anlayabilen Çok Modlu [39] QA Sistemleri ile birleştirildiğinde, LLM'ler QA sistemlerinin yeteneklerini önemli ölçüde iyileştirir.
Kaynakça
[değiştir | kaynağı değiştir]- ^ Philipp Cimiano; Christina Unger; John McCrae (1 Mart 2014). Ontology-Based Interpretation of Natural Language. Morgan & Claypool Publishers. ISBN 978-1-60845-990-2.
- ^ a b A bot will complete this citation soon. Click here to jump the queue arXiv:[1].
- ^ Roser Morante, Martin Krallinger, Alfonso Valencia and Walter Daelemans. Machine Reading of Biomedical Texts about Alzheimer's Disease. CLEF 2012 Evaluation Labs and Workshop. September 17, 2012
- ^ GREEN JR, Bert F; ve diğerleri. (1961). "Baseball: an automatic question-answerer" (PDF). Western Joint IRE-AIEE-ACM Computer Conference: 219-224. 30 Nisan 2025 tarihinde kaynağından arşivlendi (PDF)30 Mayıs 2025.
- ^ Woods, William A; Kaplan, R. (1977). "Lunar rocks in natural English: Explorations in natural language question answering". Linguistic Structures Processing 5. 5: 521-569.
- ^ "EAGLi platform - Question Answering in MEDLINE". candy.hesge.ch. 2 Aralık 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 2 Aralık 2021.
- ^ Hirschman, L. & Gaizauskas, R. (2001) Natural Language Question Answering. The View from Here 29 Ocak 2012 tarihinde Wayback Machine sitesinde arşivlendi.. Natural Language Engineering (2001), 7:4:275-300 Cambridge University Press.
- ^ A bot will complete this citation soon. Click here to jump the queue arXiv:[2].
- ^ A bot will complete this citation soon. Click here to jump the queue arXiv:[3].
- ^ "Amazon". 28 Nisan 2025 tarihinde kaynağından arşivlendi. Erişim tarihi: 30 Mayıs 2025.
- ^ "Prompting Guide". 14 Haziran 2025 tarihinde kaynağından arşivlendi. Erişim tarihi: 30 Mayıs 2025.
- ^ "Microsoft RAG". 21 Mayıs 2025 tarihinde kaynağından arşivlendi. Erişim tarihi: 30 Mayıs 2025.
- ^ "Retrieval Augmented Generation (RAG) in Natural Language Processing". 2 Şubat 2024 tarihinde kaynağından arşivlendi. Erişim tarihi: 30 Mayıs 2025.
- ^ Lin, J. (2002). The Web as a Resource for Question Answering: Perspectives and Challenges 4 Ağustos 2022 tarihinde Wayback Machine sitesinde arşivlendi.. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC 2002).
- ^ Moldovan, Dan, et al. "Cogex: A logic prover for question answering 27 Ocak 2018 tarihinde Wayback Machine sitesinde arşivlendi.." Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology-Volume 1. Association for Computational Linguistics, 2003.
- ^ Furbach, Ulrich, Ingo Glöckner, and Björn Pelzer. "An application of automated reasoning in natural language question answering." Ai Communications 23.2-3 (2010): 241–265.
- ^ Sun, Haitian; Dhingra, Bhuwan; Zaheer, Manzil; Mazaitis, Kathryn; Salakhutdinov, Ruslan; Cohen, William (2018). "Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text". Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels, Belgium. ss. 4231-4242. doi:10.18653/v1/D18-1455.
- ^ Harabagiu, Sanda; Hickl, Andrew (2006). "Methods for using textual entailment in open-domain question answering". Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the ACL - ACL '06. ss. 905-912. doi:10.3115/1220175.1220289.
- ^ a b Moritz Schubotz; Philipp Scharpf; ve diğerleri. (12 Eylül 2018). "Introducing MathQA: a Math-Aware question answering system". Information Discovery and Delivery. Emerald Publishing Limited. 46 (4): 214-224. arXiv:1907.01642
. doi:10.1108/IDD-06-2018-0022.
- ^ Scharpf, P. Schubotz, M. Gipp, B. Mining Mathematical Documents for Question Answering via Unsupervised Formula Labeling 10 Şubat 2023 tarihinde Wayback Machine sitesinde arşivlendi. ACM/IEEE Joint Conference on Digital Libraries, 2022.
- ^ a b Oard, Douglas W.; Agarwal, Anurag; Mansouri, Behrooz (2020), "Overview of ARQMath 2020: CLEF Lab on Answer Retrieval for Questions on Math", Experimental IR Meets Multilinguality, Multimodality, and Interaction, Lecture Notes in Computer Science, 12260, Cham: Springer International Publishing, ss. 169-193, doi:10.1007/978-3-030-58219-7_15, ISBN 978-3-030-58218-09 Haziran 2021 Birden fazla yazar-name-list parameters kullanıldı (yardım);
|ad=ve|soyadı=eksik (yardım) - ^ a b Scharpf; ve diğerleri. (4 Aralık 2020). ARQMath Lab: An Incubator for Semantic Formula Search in zbMATH Open?. OCLC 1228449497.
- ^ Mansouri, Behrooz; Zanibbi, Richard; Oard, Douglas W. (June 2019). "Characterizing Searches for Mathematical Concepts". 2019 ACM/IEEE Joint Conference on Digital Libraries (JCDL). IEEE. ss. 57-66. doi:10.1109/jcdl.2019.00019. ISBN 978-1-7281-1547-4.
- ^ Scharpf, Philipp; Schubotz, Moritz; Spitz, Andreas; Greiner-Petter, Andre; Gipp, Bela (2022). "Collaborative and AI-aided Exam Question Generation using Wikidata in Education". arXiv:2211.08361 . doi:10.13140/RG.2.2.30988.18568.
- ^ Paşca, Marius (2005). "Book Review New Directions in Question Answering Mark T. Maybury (editor) (MITRE Corporation) Menlo Park, CA: AAAI Press and Cambridge, MA: The MIT Press, 2004, xi+336 pp; paperbound, ISBN 0-262-63304-3, $40.00, £25.95". Computational Linguistics. 31 (3): 413-417. doi:10.1162/089120105774321055.
- ^ Anderson, Peter, et al. "Bottom-up and top-down attention for image captioning and visual question answering." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.
- ^ A bot will complete this citation soon. Click here to jump the queue arXiv:[4].
- ^ Quarteroni, Silvia, and Suresh Manandhar. "Designing an interactive open-domain question answering system 7 Mart 2025 tarihinde Wayback Machine sitesinde arşivlendi.." Natural Language Engineering 15.1 (2009): 73–95.
- ^ Light, Marc, et al. "Reuse in Question Answering: A Preliminary Study." New Directions in Question Answering. 2003.
- ^ Yih, Wen-tau, Xiaodong He, and Christopher Meek. "Semantic parsing for single-relation question answering 13 Ağustos 2020 tarihinde Wayback Machine sitesinde arşivlendi.." Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 2014.
- ^ Perera, R., Nand, P. and Naeem, A. 2017. Utilizing typed dependency subtree patterns for answer sentence generation in question answering systems.
- ^ de Salvo Braz, Rodrigo, et al. "An inference model for semantic entailment in natural language 24 Aralık 2022 tarihinde Wayback Machine sitesinde arşivlendi.." Machine Learning Challenges Workshop. Springer, Berlin, Heidelberg, 2005.
- ^ "BitCrawl by Hobson Lane". 27 Ekim 2012 tarihinde kaynağından arşivlendi. Erişim tarihi: 29 Mayıs 2012.
- ^ Perera, R. and Perera, U. 2012. Towards a thematic role based target identification model for question answering. Webarşiv şablonunda hata:
|url=value. Boş. - ^ Anderson, Peter, et al. "Bottom-up and top-down attention for image captioning and visual question answering 27 Mayıs 2025 tarihinde Wayback Machine sitesinde arşivlendi.." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.
- ^ Das, Abhishek, et al. "Embodied question answering 7 Mart 2025 tarihinde Wayback Machine sitesinde arşivlendi.." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.
- ^ Markoff, John (16 Şubat 2011). "On 'Jeopardy!' Watson Win is All but Trivial". The New York Times. 7 Mart 2025 tarihinde kaynağından arşivlendi. Erişim tarihi: 30 Mayıs 2025.
- ^ "DrQA". 28 Eylül 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 30 Mayıs 2025.
- ^ Tunstall, Lewis (5 Temmuz 2022). Natural Language Processing with Transformers: Building Language Applications with Hugging Face. 2nd. O'Reilly UK Ltd. s. Chapter 7. ISBN 978-1098136796.
- ^ "Haystack documentation". deepset. 4 Kasım 2022 tarihinde kaynağından arşivlendi. Erişim tarihi: 4 Kasım 2022.
Daha fazla okuma
[değiştir | kaynağı değiştir]- Dragomir R. Radev, John Prager, and Valerie Samn. Ranking suspected answers to natural language questions using predictive annotation 26 Ağustos 2011 tarihinde Wayback Machine sitesinde arşivlendi.. In Proceedings of the 6th Conference on Applied Natural Language Processing, Seattle, WA, May 2000.
- John Prager, Eric Brown, Anni Coden, and Dragomir Radev. Question-answering by predictive annotation 23 Ağustos 2011 tarihinde Wayback Machine sitesinde arşivlendi.. In Proceedings, 23rd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, Athens, Greece, July 2000.
- Hutchins, W. John; Harold L. Somers (1992). An Introduction to Machine Translation
. Londra: Academic Press. ISBN 978-0-12-362830-5. - L. Fortnow, Steve Homer (2002/2003). A Short History of Computational Complexity. In D. van Dalen, J. Dawson, and A. Kanamori, editors, The History of Mathematical Logic. North-Holland, Amsterdam.
- Tunstall, Lewis (5 Temmuz 2022). Natural Language Processing with Transformers: Building Language Applications with Hugging Face (2nd bas.). O'Reilly UK Ltd. s. Chapter 7. ISBN 978-1098136796.
