Konwerter raport z ewaluacji wewnętrznej

Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”

współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

Raport z ewaluacji wewnętrznej produktu finalnego

w ramach projektu innowacyjnego „Interaktywny system współpracy w zakresie

komercjalizacji wynalazków i badań naukowych”

Autor raportu: Martyna Przewoźnik

Menedżer Projektów Naukowych

Łódź, maj 2013



Spis treści

1. WPROWADZENIE ............................................................................................................................................... 3

2. OCENA WIEDZY UŻYTKOWNIKÓW I ODBIORCÓW KONWERTERA W ZAKRESIE

KOMERCJALIZACJI PRZED I PO TESTOWANIU APLIKACJI ....................................................................... 4

3. OCENA EFEKTYWNOŚCI PRODUKTU FINALNEGO – INNOWACYJNEGO NARZĘDZIA DO

OPRACOWYWANIA DOKUMENTACJI PRZEDINWESTYCYJNEJ: KONWERTERA ................................ 7

4. OCENA ZADOWOLENIA GRUPY TESTUJĄCEJ Z UDZIAŁU W PROJEKCIE ...................................... 15

5. OCENA EFEKTÓW PRACY Z KONWERTEREM – WYGENEROWANEJ DOKUMENTACJI

PRZEDINWESTYCYJNEJ ..................................................................................................................................... 21

6. PODSUMOWANIE I WNIOSKI KOŃCOWE ................................................................................................ 22



1. Wprowadzenie

Niniejszy raport przedstawia opracowanie wyników ewaluacji wewnętrznej wstępnej wersji

produktu finalnego – aplikacji Konwerter, stworzonej w ramach projektu „Interaktywny system

współpracy w zakresie komercjalizacji wynalazków i badań naukowych”. Ewaluacja wewnętrzna

prowadzona była przez cały okres testowania przez Menadżera Projektów Naukowych.

Celem ewaluacji wewnętrznej było bieżące monitorowanie procesu testowania oraz dokonanie

oceny funkcjonalności, efektywności i skuteczności wypracowanego w ramach projektu

innowacyjnego narzędzia. Informacje zebrane podczas okresu testowania zostaną wykorzystane

podczas tworzenia ostatecznej wersji produktu finalnego, wprowadzania zmian i poprawek.

W okresie testowania wstępnej wersji produktu finalnego przeprowadzone zostały spotkania

bezpośrednie z grupą testującą –2 spotkania dla grupy Użytkowników oraz dla grupy Odbiorców

(1 spotkanie rozpoczynające, 1 spotkanie podsumowujące), na których odbyły się panele

dyskusyjne, podsumowania oraz dokonana została ocena efektów testowania. Omówione

zostały problemy i trudności związane z modelem i funkcjonalnościami aplikacji.

Do ewaluacji wewnętrznej zastosowane zostały następujące narzędzia badawcze:

Ankiety wejścia/wyjścia przeprowadzone w trakcie spotkań z grupą testującą, badające

poziom wiedzy w zakresie przedsiębiorczości akademickiej, transferu wiedzy

i komercjalizacji wiedzy;

Karty konsultacji wypełniane przez Użytkowników i Odbiorców podczas testowania

aplikacji;

Wywiady pogłębione z przedstawicielami grup Użytkowników i Odbiorców, mające na

celu uzyskanie informacji na temat konieczności wprowadzenia zmian w modelu

komercjalizacji badań naukowych przez Konwerter;

Ankiety badające zadowolenie uczestników z udziału w projekcie (wykonywane na

każdym z 2 spotkań każdej z grup testujących);

Projekty opracowane przez Użytkowników i Odbiorców, które powstały w ramach

testowania produktu finalnego wraz z dokumentacją generowaną przez Konwerter (10

projektów).



2. Ocena wiedzy Użytkowników i Odbiorców Konwertera w zakresie

komercjalizacji przed i po testowaniu aplikacji

Innowacyjna aplikacja Konwerter ma na celu głównie opracowywanie projektów naukowych

i tworzenie na ich podstawie dokumentacji przedinwestycyjnej, która można zaprezentować

potencjalnym inwestorom. Posiada także Bazę Wiedzy, która jest narzędziem pomocniczym

wykorzystywanym w trakcie wypełniania aplikacji. Osoba korzystająca z aplikacji podczas

uzupełniania paneli może skorzystać z podpowiedzi, dzięki którym może szczegółowo zapoznać

się z omawianymi zagadnieniami i przełożyć je na opracowywany przez siebie projekt.

W aplikacji dostępne są również pretesty i posttesty badające wiedzę wejściową i wyjściową

z danego obszaru tematycznego (panelu). Te funkcje aplikacji mają na celu zwiększenie wiedzy

i praktycznych umiejętności osób korzystających z aplikacji na temat procesu komercjalizacji

i transferu wiedzy. Aby sprawdzić, czy korzystanie z aplikacji Konwerter faktycznie wpływa na

wzrost wiedzy z zakresu komercjalizacji, a tym samym, aby zbadać efektywność Bazy Wiedzy

oraz pretestów i posttestów, w ramach ewaluacji wewnętrznej przeprowadzono testy

kompetencyjne.

Użytkownicy Konwertera, czyli pracownicy jednostek zajmujących się transferem technologii

mają już dużą wiedzę na temat procesu komercjalizacji. Jednak korzystanie z Konwertera może

pomóc im w uzupełnieniu wiedzy lub przypomnieniu pewnych informacji. Dodatkowo na

uzupełnienie i aktualizację wiedzy Użytkowników mogły mieć również wpływ szkolenia, w

których wzięli oni udział.

Test kompetencyjny, który Użytkownicy wypełniali przed rozpoczęciem testowania aplikacji

Konwerter zawierał 15 pytań z zakresu komercjalizacji wiedzy, transferu wiedzy i technologii

oraz przedsiębiorczości akademickiej. Za każdą dobrą odpowiedź na pytanie przyznawany był 1

punkt, a za odpowiedź błędną nie było punktu. Maksymalnie do zdobycia było więc 15

punktów. Wyniki testu pokazują, że Użytkownicy już w momencie przystępowania do

testowania mieli dość dużą wiedzę z badanego zakresu. Wyniki pierwszego testu w grupie

Użytkowników mieszczą się w granicach od 8 do 11 punktów (od 47% do 87% poprawnych

odpowiedzi). Średnio jest to 9,8 punktów (65%). Na zakończenie testowania Użytkownicy

wypełniali drugi test kompetencyjny, który również zawierał pytania z zakresu komercjalizacji

wiedzy, transferu wiedzy i technologii oraz przedsiębiorczości akademickiej. Drugi test zawierał

20 pytań z zakresów tematycznych objętych szkoleniami. Tu również można było uzyskać 1

punkt za każdą prawidłową odpowiedź, zatem maksymalna liczba punktów wynosi 20. Wyniki

tego testu są bardzo dobre, a co najważniejsze – są lepsze niż testu początkowego. W grupie 1

punktacja uczestników projektu zawiera się w przedziale od 10 do 18 punktów (od 50% do 90%

poprawnych odpowiedzi), a średnia wynosi 14,1 punktów (71%).



Rysunek 1. Średnie wyniki testów kompetencyjnych w grupie Użytkowników

Wyniki testów w grupie Użytkowników pokazują zatem, że poziom wiedzy respondentów

w zakresie komercjalizacji wiedzy i transferu technologii oraz przedsiębiorczości akademickiej

wzrósł po okresie testowania aplikacji i odbyciu szkoleń. Daje to podstawy, aby stwierdzić, że

funkcje w aplikacji Konwerter takie jak Baza Wiedzy oraz pretesty i posttesty oraz szkolenia

przeprowadzone w ramach projektu są efektywne w grupie Użytkowników.

Odbiorcy Konwertera również zostali poddani badaniu wiedzy przed i po testowaniu. Jednak ze

względu na to, że dla grupy Odbiorców nie było przewidziane szkolenie, ocena wzrostu wiedzy

została dokonana za pomocą kwestionariusza samooceny, który Odbiorcy wypełniali przed

rozpoczęciem testowania i po jego zakończeniu. Kwestionariusz zawierał 7 pytań dotyczących

samooceny wiedzy w zakresie komercjalizacji. Respondenci oceniali swoją wiedzę na skali od 0

(brak wiedzy na dany temat) do 6 (pełna wiedza na dany temat). Z odpowiedzi policzono

średnie dla całej grupy. Wyniki badania przedstawia poniższy wykres.

87% 90%

47% 50%

65%

79%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Test 1 Test 2

Maksimum Minimum Średnia



Rysunek 2. Wyniki kwestionariusza samooceny wiedzy zrealizowanego w grupie Odbiorców

przed rozpoczęciem i po zakończeniu testowania

Wyniki kwestionariusza samooceny wykazują, że subiektywne odczucie wiedzy badanych

Odbiorców jest po zakończeniu okresu testowania większe niż przed jego rozpoczęciem. We

wszystkich analizowanych obszarach średnie oceny wiedzy dokonywane na zakończenie

testowania są wyższe niż na początku tego okresu. Można zatem stwierdzić, że testowanie

aplikacji Konwerter, która zawiera takie elementy jak Baza Wiedzy oraz pretesty i posttesty,

a także konsultacje z Menedżerem Projektów Naukowych i wspólna praca oraz konsultacje

z Użytkownikami Konwertera miały pozytywny wpływ na wiedzę Odbiorców aplikacji w

zakresie komercjalizacji.

1,4

1,1

3,0

1,6

2,2

1,7

3,0

2,9

2,1

3,4

2,5

3,3

2,3

3,6

0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0

Jak oceniasz swoją wiedzę na temat możliwościochrony własności intelektualnej?

Jak oceniasz swoją wiedzę na temat możliwościformalnej współpracy sfery nauki i biznesu?

Jak pewnie czułbyś się w sytuacji zaprezentowaniasię przed inwestorem?

Jak szybko i trafnie potrafiłbyś znaleźć źródłofinansowania dla swojego pomysłu na biznes?

Jak oceniasz swoją wiedzę na temat konstruowaniabiznesplanów?

Jak oceniasz swoją wiedzę na temat sposobówfinansowania pomysłu na biznes?

Jak oceniasz swoje umiejętności zaprezentowaniapomysłu na biznes przed inwestorem?

Przed testowaniem Po testowaniu



3. Ocena efektywności produktu finalnego – innowacyjnego narzędzia do

opracowywania dokumentacji przedinwestycyjnej: Konwertera

W toku testowania innowacyjnego narzędzia, które powstało w ramach projektu „Interaktywny

system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” Menedżer

Projektów Naukowych prowadził konsultacje i spotkania z grupą testującą, podczas których

wypełniane były karty oceny aplikacji oraz prowadzone były indywidualne wywiady

z Użytkownikami i Odbiorcami aplikacji. Na podstawie informacji zebranych podczas tych

spotkań można wyciągnąć wnioski dotyczące efektywności i skuteczności Konwertera.

W kartach oceny, które Użytkownicy i Odbiorcy aplikacji Konwerter wypełniali podczas

testowania zawarto pytania dotyczące każdego z elementów aplikacji. Respondenci oceniali

każdy z elementów na skali od 1 (ocena bardzo zła) do 5 (ocena bardzo dobra). Z ocen tych

policzono średnie dla grupy Użytkowników i Odbiorców. Na początku zapytano o proces

rejestracji i logowania do aplikacji.

Rysunek 3. Ocena procesu rejestracji i logowania do aplikacji Konwerter

Zarówno długość procesu rejestracji, jak i długość procesu logowania zostały pozytywnie

ocenione przez Użytkowników i Odbiorców Konwertera. Rozpoczęcie korzystania z Konwertera

nie wiązało się z żadnymi problemami.

Kolejnym ocenianym elementem Konwertera był panel główny aplikacji. Jest w nim dostępna

instrukcja obsługi oraz krótki opis każdego z 5 paneli Konwertera. Z menu głównego jest dostęp

do wszystkich paneli.

4,4

4,6

4,3

4,8

0 1 2 3 4 5

Długość procesu rejestracji

Długość procesu logowania

Użytkownicy Odbiorcy



Rysunek 4. Ocena panelu głównego Konwertera

Grupa testująca pozytywnie oceniła panel główny pod względem jego czytelności

i przejrzystości – zarówno Użytkownicy, jak i Odbiorcy wystawiali w tym przypadku oceny dobre

i bardzo dobre. Nieco słabiej, ale nadal w większości pozytywnie oceniono układ graficzny

aplikacji w jej panelu głównym. Nieco lepiej grafikę ocenili Odbiorcy niż Użytkownicy.

Kolejnym ocenianym elementem były panele Konwertera – czyli ten element, za pomocą

którego uzupełnia się dane, które następnie są konwertowane do dokumentacji docelowej. Na

początku testerzy Konwertera oceniali: możliwość przemieszczania pomiędzy panelami, układ

graficzny i funkcjonowanie od strony technicznej paneli aplikacji.

Rysunek 5. Ocena paneli szczegółowych Konwertera

Według respondentów, możliwość przechodzenia pomiędzy kolejnymi panelami Konwertera

nie sprawia trudności, czy problemów – ten element został wysoko oceniony zarówno przez

Użytkowników, jak i przez Odbiorców testujących aplikację. Ocena układu graficznego jest

4,2

3,4

4,2

3,8

0 1 2 3 4 5

Czytelność/przejrzystość

Układ graficzny


4,3

3,4

4,0

4,2

4,2

4,0

0 1 2 3 4 5

Możliwość przechodzenia międzykolejnymi panelami

Układ graficzny

Funkcjonowanie od stronytechnicznej




znacznie lepsza wśród Odbiorców, którzy generalnie nie mieli do niego zastrzeżeń. Nieco

bardziej krytyczni byli Użytkownicy – średnia ocena grafiki na poziomie 3,4.

Dodatkowo Użytkownicy i Odbiorcy oceniali każdy z paneli Konwertera pod względem:

zawartości merytorycznej panelu, adekwatności pytań do potrzeb panelu oraz długości

wypełniania panelu. Wyniki oceny przedstawia poniższa tabela:

Tabela 1. Ocena szczegółowa paneli Konwertera

Elementy oceny

Zawartość merytoryczna

Adekwatność pytań

Długość

U O U O U O

Audyt pomysłu 4,2 4,0 4,3 4,1 3,9 4,0

Akcelerator rynkowy 3,4 4,0 3,9 3,7 4,5 4,3

Produktowa analiza technologii 3,8 4,4 3,7 3,7 4,0 4,4

Algorytm badania wartości prac badawczych

3,6 3,5 3,4 3,2 2,3 2,4

Rekomendowany sposób finansowania

3,8 3,5 3,8 3,3 4,7 4,2

Wyniki oceny poszczególnych paneli są w większości pozytywne. Stosunkowo najsłabiej

wypadł panel „Algorytm badania wartości prac badawczych”. Jest to najdłuższy z 5 paneli

i właśnie jego długość została najsłabiej oceniona przez grupę testującą. Warto podkreślić, że

zawartość merytoryczna wszystkich 5 paneli została przez Użytkowników i Odbiorców

Konwertera oceniona bardzo dobrze lub dobrze.

Badani testerzy Konwertera mieli również możliwość oceny Bazy Wiedzy, która jest elementem

aplikacji, zawierającym podpowiedzi do wypełniania poszczególnych pól w aplikacji oraz

stanowi zbiór cennych informacji o procesie komercjalizacji. Respondenci oceniali Bazę Wiedzy

pod względem: merytoryki, przydatności i funkcjonalności.



Rysunek 6. Ocena Bazy Wiedzy Konwertera

Ocena Bazy Wiedzy wypadła dobrze. Bardzo wysoko badani ocenili merytoryczną stronę tej

części aplikacji Konwerter. Również przydatność Bazy Wiedzy zdaniem respondentów jest

wysoka. Nieco słabiej, zwłaszcza w grupie Użytkowników oceniono funkcjonowanie Bazy

Wiedzy – otrzymano kilka zgłoszeń dotyczących tego, że podpowiedzi nie działały prawidłowo.

Za każdym razem te zgłoszenia były przesyłane do informatyków czuwających nad działaniem

aplikacji.

Użytkownicy i Odbiorcy testujący aplikację Konwerter oceniali również pretesty i posttesty, czyli

element sprawdzających ich wiedzę przed i po wypełnieniu poszczególnych paneli aplikacji.

Rysunek 7. Ocena pretestów i posttestów Konwertera

W porównaniu z innymi elementami aplikacji, ocena pretestów i posttestów wypadła nieco

słabiej. Pretesty i posttesty zostały słabiej ocenione w grupie Użytkowników niż wśród

4,2

3,8

2,9

3,9

3,9

3,7

0 1 2 3 4 5

Merytoryka

Przydatność

Funkcjonowanie


3,0

2,9

2,7

3,6

3,1

3,5

0 1 2 3 4 5

Przydatność

Funkcjonowanie

Jakość merytoryczna




Odbiorców. Użytkownicy najwięcej zastrzeżeń mieli do jakości merytorycznej pretestów

i posttestów. Może to wynikać z faktu, że przedstawiciele tej grupy mają dużą wiedzę z zakresu

komercjalizacji i odpowiadanie na pytania z tego zakresu było dla nich mało ciekawe. Pojawiały

się także zastrzeżenia dotyczące adekwatności pytań do tematyki poszczególnych paneli

Konwertera. Szczegółowe uwagi i zastrzeżenia badanych omówione zostaną w dalszej części

tego rozdziału raportu.

Na koniec procesu oceny Konwertera, grupa testująca została poproszona o wyrażenie opinii na

temat wygenerowanego abstraktu oraz dokumentacji przedinwestycyjnej – czyli efektu pracy

z Konwerterem. Badani mieli również możliwość wypowiedzieć się na temat czasu, jaki musieli

poświęcić na wpisanie danych do aplikacji, aby tą dokumentację wygenerować.

Rysunek 8. Ocena Abstraktu i Dokumentacji oraz czasu wypełniania Konwertera

Zarówno abstrakt, jak i dokumentacja przedinwestycyjna generowane przez Konwerter

wypadły bardzo dobrze w ocenie badanych Użytkowników i Odbiorców. Pozytywnie oceniono

możliwość tworzenia abstraktu, jego wygląd, a także kompletność, układ graficzny i długość

wygenerowanej dokumentacji. Słabiej wypadła natomiast ocena długości wypełniania danych

w całej aplikacji. Zarówno Użytkownicy, jak i Odbiorcy w większości uznali, że sam proces

wypełniania trwa za długo.

Podsumowując wyniki badania w oparciu o karty oceny aplikacji można stwierdzić, że zarówno

Użytkownicy, jak i Odbiorcy aplikacji w większości analizowanych aspektów oceniają ją

pozytywnie. Bardzo dobrze lub dobrze badani oceniali zawartość merytoryczną i przydatność

poszczególnych elementów aplikacji, ich funkcjonalność i działanie. Układ graficzny aplikacji

4,4

4,0

4,4

4,1

4,1

2,9

4,0

4,0

4,5

4,1

4,0

2,7

0 1 2 3 4 5

Możliwość tworzenia Abstraktu

Wygląd wygenerowanego Abstraktu

Kompletność wygenerowanejdokumentacji

Układ graficzny/poprawność logicznawygenerowanej dokumentacji

Długość wygenerowanejdokumentacji

Długość wypełniania danych w całejaplikacji




został oceniony przeciętnie – nie jest zdaniem badanych zły, ale mógłby być lepszy. Najsłabiej

wypada ocena długości procesu uzupełniania aplikacji, szczególnie panelu „Algorytm badania

wartości prac badawczych” – większość badanych uważa, że proces wypełniania danych trwa

zbyt długo.

Podczas testowania Menedżer Projektów Naukowych prowadził także rozmowy, wywiady

indywidualne na temat Konwertera i pracy z aplikacją. Również w kartach oceny Użytkownicy

i Odbiorcy mieli możliwość wyrażenia swoich uwag i propozycji zmian w formie opisowych

odpowiedzi. Na podstawie informacji zebranych tymi metodami można wyciągnąć następujące

wnioski:

1. Testowanie przebiegało sprawnie i bez większych trudności.

2. Proces rejestracji i logowanie w większości przypadków nie sprawił żadnych

problemów. W jednym przypadku był problem z rejestracją – link aktywacyjny nie został

dostarczony na podany adres e-mail. Mogło mieć to jednak związek z zabezpieczeniami

poczty na serwerze służbowym jednego z Użytkowników.

„Rejestracja jak i logowanie przebiegają sprawnie i bez większych zaskoczeń. Nie

mam uwag”.

„Rejestracja w systemie nie wymaga podawania nadmiernej liczby danych”.

„Problemy z zarejestrowaniem nowego użytkownika. Link aktywujący konto nie

został wysłany przez system”.

3. Aplikacja zdaniem testerów jest intuicyjna, łatwo jest się po niej poruszać, nie jest

potrzebna żadna dodatkowa instrukcja obsługi. Konwerter oceniany jest jako przejrzysty

i schludny.

„Aplikacja wykonana poprawnie, przejrzyście. Interfejs nie zawiera zbędnych

elementów”.

„Podział modułów na panele ułatwia prace z aplikacją. Aplikacja jest przejrzysta i

czytelna. Jednak przyciski nawigacji powinny być bardziej widoczne”.

„Aplikacja pod względem intuicyjności nie wyróżnia się niczym szczególnym”.

4. Grafika zdaniem testerów jest przejrzysta i schludna, jednak nie robi wrażenia.

Zdaniem niektórych badanych jest mało ciekawa, niewyróżniająca się.

„Jak na projekt innowacyjny oprawa graficzna jest dość wtórna”.

„Grafika Konwertera jest poprawna, nie jest zaawansowana, ale jak na potrzeby

aplikacji wystarczająca”.

„Układ graficzny jest zbyt sterylny”.

5. Merytorycznie Konwerter został oceniony pozytywnie. Zdaniem wszystkich

Użytkowników dokumentacja przedinwestycyjna, która zostałaby przygotowana za

pomocą aplikacji, pod warunkiem, że zostanie ona w pełni wypełniona, będzie

poprawna i pozwoli potencjalnemu inwestorowi na dokonanie oceny projektu. Zdaniem

Odbiorców praca z Konwerterem umożliwia również rozpatrzenie takich kwestii,



o których wcześniej nie myśleli, nie zastanawiali się nad nimi myśląc o własnym

projekcie, np. jeśli chodzi o analizę ryzyka. Zdaniem zdecydowanej większości osób

testujących Konwertera, pytania w poszczególnych panelach są adekwatne do potrzeb

i w efekcie przekładają się na wartościowe informacje w dokumentacji

przedinwestycyjnej. Pojawiło się kilka uwag odnośnie sformułowania pytań pod

względem stylistycznym oraz gramatycznym. Kilka osób zwróciło również uwagę na

szczegółowe sformułowania, które ich zdaniem były niezrozumiałe lub zbyt mało

wyjaśnione – wszystkie te szczegółowe uwagi na bieżąco przekazywano Kierownikowi

Projektu.

„Zawartość merytoryczna panelu jest adekwatna do zadań, jakie ma spełniać

dana część aplikacji”.

„Pytania i ich zawartość są adekwatnie do tematu panelu”.

„Pytania w tym module pozwalają na przeprowadzenie analizy rynku”.

6. Zastrzeżenia Użytkowników i Odbiorców Konwertera dotycząc długości procesu

wypełniania aplikacji. Zdaniem większości badanych trwa to zbyt długo, a niektóre

pytania są za bardzo szczegółowe. Jednak przedstawiciele Użytkowników, którzy mają

doświadczenie w przygotowywaniu dokumentacji dla inwestorów oraz

w opracowywaniu projektów do komercjalizacji wiedzą, że im bardziej szczegółowo

przedstawione są informacje, tym większe są szanse na pozyskanie inwestora.

„Aplikacja jest bardzo obszerna, bardzo duża ilość pytań oraz ich szczegółowość

powoduje, że proces uzupełniania, aplikacji jest bardzo długi”.

„Cały proces wypełniania aplikacji jest długi i żmudny. Jednakże biorąc pod

uwagę oczekiwania potencjalnych inwestorów, porządnie przygotowana

dokumentacja wymaga czasu”.

Użytkownicy i Odbiorcy przekazali wiele cennych uwag i sugestii zmian w aplikacji. Uwagi

dotyczące kwestii technicznych (np. problemy z logowaniem, niedziałające odnośniki do Bazy

Wiedzy, czy kalendarz) były na bieżąco zgłaszane informatykom czuwającym nad poprawnością

działania aplikacji. Te usterki, które dało się usunąć bez konieczności powodowania przerw

w działaniu aplikacji były usuwane na bieżąco. Poza tymi uwagami technicznymi pojawiały się

propozycje zmian, które najczęściej dotyczyły następujących obszarów:

Kalendarz – mało funkcjonalny, problem ze zmianą roku.

Baza Wiedzy – niektóre hasła są niejasne, Baza mogłaby być podzielona na kategorie,

zawierać jakieś przykłady. Podział haseł alfabetycznie nie jest wystarczający.

Pretesty i posttesty – pytania się niekiedy powtarzają, czasem pytania nie są adekwatne

do tematyki panelu, nie od razu wyświetlają się wyniki – nie jest intuicyjne to, czy trzeba

kliknąć „zapisz”, czy „dalej”.

Ponadto Użytkownicy i Odbiorcy proponują także:



Wprowadzenie opcji uzupełniania jednego projektu przez kilka osób – praca zespołowa.

Wprowadzenie możliwości dodawania załączników do dokumentacji.

Wprowadzenie tylko 1 pretestu na początku korzystania z aplikacji i 1 posttestu na

zakończenie – przed wygenerowaniem dokumentacji.

Wprowadzenie opcji, dzięki której informacje podane w rejestracji pojawiałyby się

automatycznie podczas uzupełniania Konwertera.

Możliwość dodawania kolejnych pomysłodawców powinna być bardziej widoczna (znak

„+” jest mało widoczny).

Dodanie opcji „wstecz” podczas uzupełniania aplikacji – w każdym panelu jest „dalej”

i „zapisz”, a „wstecz” brakuje.

Pytania pominięte (nieuzupełnione) nie powinny się pojawiać w dokumentacji.

Bardziej szczegółowe pytania powinny być zgrupowane w kilka bardziej ogólnych.

Wszystkie te sugestie zmian zostały przekazane Kierownikowi Projektu, będą one omawiane

i konsultowane z informatykami pod względem możliwości ich wprowadzenia. Zmiany i

sugestie testerów będą w miarę możliwości wprowadzone do wersji finalnej Konwertera.



4. Ocena zadowolenia grupy testującej z udziału w projekcie

W okresie testowania Menedżer Projektów Naukowych dwukrotnie spotkał się z uczestnikami

grupy testującej – na początku oraz na zakończenie testowania. Podczas tych spotkań zarówno

Użytkownicy, jak i Odbiorcy testowali aplikację Konwerter, zadawali pytania i zgłaszali uwagi

dotyczące funkcjonowania i efektywności aplikacji. Uczestnicy tych spotkań zostali poproszeni

także o wypełnienie krótkiej ankiety, mającej na celu zbadanie ich zadowolenia i komfortu na

spotkaniach. W ankiecie badani oceniali poszczególne aspekty spotkań na skali od 1 (bardzo źle)

do 5 (bardzo dobrze). Z ocen tych policzono średnie dla każdej z grup.

Wyniki badania w grupie Odbiorców są bardzo dobre – przedstawiciele tej grupy są

w zdecydowanej większość zadowoleni zarówno z organizacji spotkań, jak i z ich jakości oraz

pozytywnie ocenili prowadzącego spotkania Menedżera Projektów Naukowych.

Rysunek 9. Ocena jakości spotkań w grupie Odbiorców, zorganizowanych w ramach

testowania aplikacji Konwerter

Badani Odbiorcy bardzo dobrze lub dobrze ocenili przebieg testowania Konwertera zarówno

podczas spotkania rozpoczynającego, jak i podczas spotkania kończącego testowanie. Wszyscy

badani otrzymali w zadowalającym stopniu odpowiedzi na dręczące ich pytania dotyczące

testowanego narzędzia.

4,5

4,5

4,8

4,9

1,0 2,0 3,0 4,0 5,0

Czy Pana/i zdaniem testowanie przebiegłosprawnie?

W jakim stopniu podczas spotkań dostał/a Pan/iodpowiedź na dręczące pytania?

Na początku testowania Na zakończenie testowania



Rysunek 10. Ocena organizacji spotkań w grupie Odbiorców, zorganizowanych w ramach


Badani Odbiorcy nie mieli także zastrzeżeń do organizacji spotkań – wszyscy uczestnicy zarówno

spotkania rozpoczynającego, jak i kończącego testowanie pozytywnie wypowiedzieli się

odnośnie warunków lokalowych, wyposażenia sali, cateringu oraz atmosfery panującej podczas

spotkań.

Rysunek 11. Ocena osoby prowadzącej spotkania w grupie Odbiorców, zorganizowane w

ramach testowania aplikacji Konwerter

4,8

4,9

4,8

4,9

5,0

5,0

5,0

5,0

1,0 2,0 3,0 4,0 5,0

Warunki spotkań

Wyposażenie sali

Catering

Atmosfera podczas spotkania


4,8

4,5

4,7

4,8

5,0

4,9

5,0

5,0

1,0 2,0 3,0 4,0 5,0

Umiejętność odpowiadania na pytania

Umiejętność tłumaczenia szczególnie trudnychkwestii

Umiejętność właściwego organizowania czasuspotkania

Dbanie o dobrą atmosferę podczas spotkania




Bardzo dobrze został również oceniony Menedżer Projektów Naukowych, który prowadził

spotkania w ramach testowania. Uczestnicy spotkań ocenili pozytywnie umiejętności

odpowiadania na pytania, tłumaczenia szczególnie trudnych kwestii, oraz organizowania czasu,

a także dbania o dobrą atmosferę.

Rysunek 12. Ocena stopnia spełnienia oczekiwań Odbiorców względem spotkań

zorganizowanych w ramach testowania Konwertera

Wyniki ankiety przeprowadzonej podczas spotkań z grupą Odbiorców pokazują, że uczestnicy

spotkań są z nich zadowoleni – spotkania spełniły ich oczekiwania.

Podobną ankietę wypełniali podczas spotkań Użytkownicy Konwertera. Oni również zostali

poproszeni o ocenę jakości spotkań, ich organizacji oraz o ocenę osoby prowadzącej spotkania.

Wyniki badania pokazują, że również Użytkownicy są zadowoleni z udziału w tych spotkaniach.

4,7 5,0

1,0

2,0

3,0

4,0

5,0

Czy spotkanie spełniło Pana/ Pani oczekiwania?




Rysunek 13. Ocena jakości spotkań w grupie Użytkowników, zorganizowanych w ramach


Wszyscy badani Użytkownicy, którzy wzięli udział w spotkaniach w ramach testowania uznali, że

testowanie przebiegło sprawnie oraz, że otrzymali odpowiedzi na dręczące ich pytania.

Rysunek 14. Ocena organizacji spotkań w grupie Użytkowników, zorganizowanych w


Badani Użytkownicy, podobnie jak Odbiorcy nie mieli zastrzeżeń do organizacji spotkań –

wszyscy uczestnicy zarówno spotkania rozpoczynającego, jak i kończącego testowanie

pozytywnie wypowiedzieli się odnośnie warunków lokalowych, wyposażenia sali, cateringu oraz

atmosfery panującej podczas spotkań.

4,5

4,5

4,8

4,9

1,0 2,0 3,0 4,0 5,0

Czy Pana/i zdaniem testowanie przebiegłosprawnie?

W jakim stopniu podczas spotkań dostał/a Pan/iodpowiedź na dręczące pytania?


4,5

4,5

3,8

4,0

4,7

5,0

4,3

4,3

1,0 2,0 3,0 4,0 5,0

Warunki spotkań

Wyposażenie sali

Catering

Atmosfera podczas spotkania




Rysunek 15. Ocena osoby prowadzącej spotkania w grupie Użytkowników, zorganizowane w


Użytkownicy aplikacji Konwerter, którzy wzięli udział w spotkaniach ocenili także prowadzącego

je Menedżera Projektów Naukowych. Ocena ta wypadła pozytywnie. Wysoko zostało ocenione

przygotowanie i wiedza merytoryczna, sposób przekazywania informacji oraz umiejętność

odpowiadania na pytania. Umiejętność tłumaczenia szczególnie trudnych kwestii została przez

Użytkowników oceniona lepiej na drugim spotkaniu niż przy pierwszym kontakcie. Może to

świadczyć o tym, że Menedżer po zapoznaniu się z grupą i jej wymaganiami dostosował formę

i zakres spotkań do potrzeb uczestników. Dość dobrze wypadła również ocena organizowania

czasu spotkania, a bardzo dobrze uczestnicy spotkań ocenili ich atmosferę.

4,0

4,0

4,0

3,8

3,8

4,0

4,3

4,0

4,3

4,7

4,0

4,7

1,0 2,0 3,0 4,0 5,0

Przygotowanie i wiedza merytorycznaprowadzącego

Sposób przekazywania informacji

Umiejętność odpowiadania na pytania

Umiejętność tłumaczenia szczególnie trudnychkwestii

Umiejętność właściwego organizowania czasuspotkania

Dbanie o dobrą atmosferę podczas spotkania




Rysunek 16. Ocena stopnia spełnienia oczekiwań Użytkowników względem spotkań

zorganizowanych w ramach testowania Konwertera

Wyniki ankiety przeprowadzonej podczas spotkań z grupą Użytkowników pokazują, że

uczestnicy spotkań są z nich zadowoleni – spotkania spełniły ich oczekiwania.

4,0 4,3

1,0

2,0

3,0

4,0

5,0

Czy spotkanie spełniło Pana/ Pani oczekiwania?




5. Ocena efektów pracy z Konwerterem – wygenerowanej dokumentacji

przedinwestycyjnej

W toku ewaluacji wewnętrznej ostatnim elementem oceny była wygenerowana dokumentacja

przedinwestycyjna. W ramach testowania powstało 10 projektów, które opracowali wspólnie

Użytkownicy i Odbiorcy biorący udział w testowaniu:

1. Mobilny lokalizator studencki;

2. Koloidy srebra z Uniwersytetu Łódzkiego;

3. Pozyskiwanie substancji probiotycznych z odpadów przemysłu browarniczego;

4. Działanie przeciwbakteryjne olejków eterycznych na gronkowca;

5. Serwis/portal internetowy;

6. Wykorzystanie biosurfaktantów w przemyśle kosmetycznym;

7. Zastosowanie pochodnych kwasów poli(oksyalkileno) ditiofosforowych jako

wielofunkcyjnych dodatków do środków o niskiej zawartości fosforu;

8. Lokalizator restauracji;

9. Mini konsola – przenośna mini konsola oparta na systemie iOS;

10. Eko-rower bez łańcucha.

Na podstawie analizy wygenerowanej dokumentacji przedinwestycyjnej ww. projektów

dokonanej wspólnie przez Menedżera Projektów Naukowych oraz Użytkowników i Odbiorców

wyciągnięto następujące wnioski:

Dokumentacja ma przejrzystą strukturę, chociaż brakuje w niej spisu treści, który

ułatwiałby znalezienie potrzebnych informacji bez przeglądania całości.

Zawartość dokumentacji oczywiście zależy od tego, w jakim stopniu osoba wypełniająca

aplikację ją uzupełni. Wpisanie małej ilości danych powoduje, że w dokumentacji są luki

i źle się ją czyta. Utrudnieniem w dobrym odbiorze tekstu dokumentacji jest również to,

że widoczne są w niej nieuzupełnione pytania.

Kolejność poszczególnych elementów dokumentacji jest prawidłowa i logiczna.

Grafika dokumentacji jest dość monotonna. Niektóre elementy tekstu mogłyby być

bardziej wyróżnione, aby czytanie było urozmaicone. Wykresy są niezbyt czytelne –

kolory się zlewają. Analiza SWOT po wydruku również jest mało czytelna.

Wygląd i zawartość abstraktu nie budzi zastrzeżeń.



6. Podsumowanie i wnioski końcowe

Wyniki z ewaluacji wewnętrznej produktu finalnego pozwalają na stwierdzenie, że innowacyjne

narzędzie – Konwerter komercjalizacji prac naukowych w zasadzie spełnia oczekiwania

Odbiorców i Użytkowników.

Użytkownicy i Odbiorcy pozytywnie ocenili każdy z paneli Konwertera pod względem:

zawartości merytorycznej, adekwatności pytań do potrzeb oraz długości wypełniania panelu.

Wyniki badania pokazują, że wszystkie umieszczone panele Konwertera będą przydatne jego

Użytkownikom i Odbiorcom. W ocenie osób testujących nieco słabiej w porównaniu z innymi

wypadł panel „Algorytm badania wartości prac badawczych”. Problemem przy tym panelu

wskazywanym przez osoby testujące była jego długość – jest to najdłuższy z 5 paneli.

Jednakże zawartość merytoryczna wszystkich 5 paneli została przez Użytkowników

i Odbiorców Konwertera oceniona bardzo dobrze lub dobrze.

Grupa testująca miała niewielkie zastrzeżenia odnośnie grafiki Konwertera. Testujące osoby

wskazywały na możliwość zastosowania bardziej oryginalnej grafiki. Jednakże nie ma to

większego wpływu na wypełnianie aplikacji i generowanie dokumentacji przedinwestycyjnej.

Wygląd i zawartość abstraktu nie budzi zastrzeżeń.

Osoby testujące oceniły Bazę Wiedzy, jako bardzo przydatne narzędzie w procesie uzupełniania

aplikacji. Jednocześnie wskazali na konieczność „uproszczenia” niektórych haseł, znajdujących

się w Bazie Wiedzy.

Osoby testujące widzą potrzebę uzupełniania pretestów i posttestów, jednakże wskazali kilka

cennych uwag, które zostaną uwzględnione przy tworzeniu finalnej wersji Konwertera.

Sam proces testowania został oceniony zarówno przez Odbiorców jak i przez Użytkowników

bardzo dobrze lub dobrze. Osoby testujące aplikację Konwerter, które wzięły udział

w spotkaniach zorganizowanych w ramach testowania oceniły w sposób bardzo dobry

prowadzącego je Menedżera Projektów Naukowych.

Na podstawie wyników ewaluacji wewnętrznej można stwierdzić, że Konwerter po

wprowadzeniu niewielkich poprawek będzie narzędziem efektywnym i skutecznym oraz

przydatnym dla jego Użytkowników i Odbiorców.

Konwerter raport z ewaluacji wewnętrznej

Documents

Transcript of Konwerter raport z ewaluacji wewnętrznej