Testu kopuru handiak prozesatzeko big data teknikak

• Z. Beloki ^[1] ; X. Artola ^[1] ; A. Soroa ^[1]
  1. [1] Euskal Herriko Unibertsitatea/Universidad del País Vasco
• Localización: I. IkergazteNazioarteko ikerketa euskaraz. Kongresuko artikulu-bilduma: 2015eko maiatzaren 13, 14 eta 15a. Durango, Euskal Herria / Iñaki Alegría Loinaz (ed. lit.) , Ainhoa Latatu (ed. lit.), Miren Josu Ormaetxeberria (ed. lit.), 2015, ISBN 978-84-8438-539-4, págs. 589-598
• Idioma: euskera
• Enlaces
  • Texto Completo Libro
• Resumen

  • Eskura dauzkagun datu kopuru erraldoiak prozesatzeko, zaharkituta gelditu dira XXI. mendearenhasieran erabiltzen ziren prozesaketa-teknikak eta algoritmoak. Gaur egun sistema banatuak erabiltzendira, prozesaketa makina batean baino gehiagotan eginez. Gauza berbera gertatzen da hizkuntzarenprozesamenduan ere. Corpusak edo testu-bilduma handiak prozesatzeko, makina bat baino gehiagokoinguruneak beharrezkoak bihurtu dira dagoeneko. Lan honetan, testu-dokumentu kopuru handiak ingurune banatuetan prozesatzeko teknikak aztertuko ditugu. Horretarako, makina birtualetan oinarritutakosistema bat eraiki dugu, Storm konputazio banatuko frameworka erabiliz. Esperimentu batzuk ereaurkeztu ditugu, eta hainbat ezarpenekin lortutako errendimenduaren hobekuntzak.