O projekcie

Celem projektu FBC-TeNe jest zwiększenie dostępności cyfrowych zbiorów ISP polskich instytucji kultury i nauki poprzez rozbudowę serwisu Federacji Bibliotek Cyfrowych (FBC) w zakresie wyszukiwania obiektów cyfrowych na podstawie zawartości tekstowej i nutowej. W rezultacie docelowe grupy użytkowników uzyskają możliwość dotarcia do niedostępnych dotychczas informacji oraz znacznego zwiększenia efektywności swoich działań w zakresie przeszukiwania zasobów ISP.

Kluczowe grupy docelowych użytkowników planowanego rozwiązania obejmują naukowców, edukatorów i edukowanych, kuratorów i twórców kultury i sztuki oraz użytkowników prywatnych, zainteresowanych kulturą i nauką, w tym niepełnosprawnych.

FBC

FBC to działający od 2007r. serwis internetowy stworzony przez Poznańskie Centrum Superkomputerowo-Sieciowy. Agreguje dane z ponad 120 dostępnych w internecie repozytoriów, bibliotek, archiwów, muzeów i galerii cyfrowych oraz umożliwia użytkownikom przeszukiwanie tych rozproszonych zasobów w jednym portalu, a przez to szybkie dotarcie do ogromnej liczby materiałów (ponad 6,5 mln). Wynikiem wyszukiwania są odnośniki do obiektów znajdujących się w agregowanych przez FBC kolekcjach cyfrowych. Obecnie, dane podlegające agregacji obejmują wyłącznie metadane materiałów udostępnianych przez poszczególne kolekcje cyfrowe.

Przedmiotem projektu FBC TeNe jest rozbudowa funkcjonalności FBC polegająca na rozszerzeniu agregacji z metadanych materiałów o ich zawartość tekstową i nutową. Dzięki temu możliwe będzie przeszukiwanie treści materiałów, co wpłynie na zwiększenie ich dostępności oraz na znaczną poprawę efektywności procesu wyszukiwania.

FBC udostępnia informacje o materiałach różnych typów w wielu formach cyfrowych: od dokumentów tekstowych przez materiały audiowizualne do tzw. muzykaliów (np. dokumentów nutowych). Uzyskanie możliwości przeszukania zawartości materiału wymaga jego konwersji do postaci, która może zostać poddana indeksacji oraz realizacji wyszukiwania, dostosowanego do typu materiału. W przypadku dokumentów tekstowych, które poddane zostały cyfryzacji poprzez zeskanowanie, konieczne jest przeprowadzenie operacji pozyskiwania reprezentacji tekstowej, np. OCR (ang. Optical Character Recognition). W przypadku skanów utworów muzycznych konieczne jest z kolei wykonanie operacji pozyskiwania reprezentacji nutowej, np. OMR (ang. Optical Music Recognition) w celu uzyskania symbolicznego zapisu muzycznego i konwersji do różnych formatów (np. MIDI). Dlatego w ramach projektu opracowane zostaną mechanizmy pozyskiwania reprezentacji tekstowej, bazujące na OCR oraz pozyskiwania reprezentacji nutowej, bazujące na OMR. W przypadku dokumentów muzycznych konieczne będzie również wprowadzenie nowych kryteriów wyszukiwania oraz odpowiednia realizacja tego procesu. Ponadto, wzbogacone zostaną funkcje portalu FBC polegające na usprawnieniu mobilnej jego wersji, utworzeniu nowoczesnych filtrów, które standaryzują dostęp do zasobów oraz wprowadzeniu ułatwień w dostępie do zasobów dla osób z niepełnosprawnościami, zwłaszcza niewidomych i słabowidzących (zgodność z WCAG na poziomie wymaganym przez Krajowe Ramy Interoperacyjności).

Rezultaty projektu zwiększą dostęp do treści i jej przeszukiwania docelowym grupom użytkowników oraz wpłyną na zakres i jakość samego procesu wyszukiwania. Dodatkowo, rezultaty projektu będą miały wpływ na zwiększenie liczby opisów obiektów cyfrowych widocznych w ogólnokrajowej wyszukiwarce FBC. Ponieważ FBC jest jedynym oficjalnym agregatorem treści dla ogólnoeuropejskiej wyszukiwarki Europeana, promocja dóbr kultury i nauki następować będzie w skali europejskiej.

MIRELA

MIRELA to muzyczna biblioteka cyfrowa działająca na bazie systemu dLibra. Jest ona częścią platformy cyfrowej tworzonej do badań muzykologicznych oraz udostępniania zbiorów polskiej muzyki ludowej, wyposażonej w narzędzia pozyskiwania, przetwarzania i wyszukiwania informacji muzycznej. MIRELA zawiera obecnie próbki utworów muzyki ludowej oraz ich metadane pochodzące ze Zbiorów Fonograficznych Instytutu Sztuki PAN.

W ramach projektu FBC TeNe planowane jest udostępnienie kolekcji muzyki ludowej zebranej i opracowanej przez Instytut Sztuki PAN oraz inne instytucje w ramach Mirela, które do tej pory nie były agregowane w FBC.

Finansowanie

Projekt FBC TeNe został dofinansowany z Funduszy Europejskich w ramach Programu Operacyjnego Polska Cyfrowa na lata 2014-2020 (projekt nr POPC.02.04.00-00-0012/20-00).

Całkowita kwota wydatków kwalifikowalnych Projektu wynosi: 1 772 880,00 zł.

Dofinansowanie Funduszy Europejskich wynosi: 1 500 388,34 zł.

Technologie

OCR

Optyczne rozpoznawanie znaków, OCR (ang. optical character recognition) – to technika służąca do wyodrębniania i rozpoznawania znaków z plików graficznych, np. skanów czy zdjęć. Dzięki specjalnemu oprogramowaniu w sposób automatyczny można uzyskać tekst z pliku graficznego. Dzięki temu ten tekst może zostać poddany maszynowej obróbce. 

Dzieła pisane: książki, czasopisma, artykuły i inne stanowią ok 90% zasobów zebranych w ramach FBC. Do tej pory użytkownicy mogli odnaleźć daną pozycję wyłącznie używając metadanych dostarczonych przez osoby opisujące dany obiekt w bibliotece czy muzeum. Takie dane (np. tytuł, autor czy opis) często były niewystarczające do odnalezienia interesującej użytkownika pozycji. Brak wyszukiwania pełnotekstowego był często wskazywany jako problematyczny dla użytkowników w prowadzonych przez PCSS badaniach użytkowników bibliotek cyfrowych. Dzięki wykorzystaniu technik OCR ten chcemy rozwiązać ten problem. 

Dzięki wykorzystaniu technik OCR dokumenty tekstowe w FBC zostaną wzbogacone o tzw. “warstwę tekstową”. Wyszukiwarka FBC będzie ją przeszukiwać by odnaleźć dopasowanie do zapytania użytkownika. 

Proces OCR będzie się odbywał automatycznie z wykorzystaniem specjalistycznego oprogramowania. Obserwujemy coraz lepsze wyniki rozpoznania przez tego rodzaju narzędzia, a to dzięki coraz szerszemu wykorzystywaniu nowoczesnych technologii z dziedziny sztucznej inteligencji i uczenia maszynowego, takich jak sieci neuronowe.

Docelowo proces OCR będzie odbywał się w FBC podczas indeksowania zbiorów z źródeł danych – czyli podczas dodawania dokumentów do bazy danych FBC.

OMR

Dziedzina badań zajmująca się  komputerowym dekodowaniem i interpretacją zapisu nutowego utworów muzycznych w  w dokumentach graficznych (np. skan, fotografia) w sposób analogiczny do tego, jak interpretuje ten zapis człowiek. Celem OMR jest nauczenie komputera czytania i interpretowania zapisu nutowego partytury muzycznej i utworzenie wersji do odczytu maszynowegojh np. w formacie pliku MIDI  (do odtwarzania) lub MusicXML (dla układu strony internetowej).

Optyczne rozpoznawanie nut drukowanych rozpoczęto pod koniec lat 60 MIT kiedy pierwszy skanery obrazów stały się dostępne dla instytutów badawczych. Ze względu na ograniczoną pamięć wczesnych komputerów,  próby ograniczały się tylko do kilku taktów muzycznych.

W 1984 roku japońska grupa badawcza z Uniwersytet Waseda zbudowała wyspecjalizowanego robota o nazwie WABOT (WAseda roBOT), który był w stanie czytać nuty znajdujące się przed nim i akompaniować  piosenkarzowi na organach elektrycznych.

Wczesne badania nad OMR zostały przeprowadzone przez Ichiro Fujinaga, Nicholasa Cartera, Kia Ng, Davida Bainbridge’a i Tima Bella. Badacze ci opracowali wiele technik, które są nadal używane.

Pierwsza komercyjna aplikacja OMR, MIDISCAN (obecnie SmartScore), został wydany w 1991 roku przez Musitek Corporation.

Dostępność smartfony z dobrymi kamerami i wystarczającą mocą obliczeniową utorował drogę do rozwiązań mobilnych, w których użytkownik robi zdjęcie smartfonem, a urządzenie bezpośrednio przetwarza obraz.