Post on 22-Mar-2016
description
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Raport z ewaluacji wewnętrznej produktu finalnego
w ramach projektu innowacyjnego „Interaktywny system współpracy w zakresie
komercjalizacji wynalazków i badań naukowych”
Autor raportu: Martyna Przewoźnik
Menedżer Projektów Naukowych
Łódź, maj 2013
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Spis treści
1. WPROWADZENIE ............................................................................................................................................... 3
2. OCENA WIEDZY UŻYTKOWNIKÓW I ODBIORCÓW KONWERTERA W ZAKRESIE
KOMERCJALIZACJI PRZED I PO TESTOWANIU APLIKACJI ....................................................................... 4
3. OCENA EFEKTYWNOŚCI PRODUKTU FINALNEGO – INNOWACYJNEGO NARZĘDZIA DO
OPRACOWYWANIA DOKUMENTACJI PRZEDINWESTYCYJNEJ: KONWERTERA ................................ 7
4. OCENA ZADOWOLENIA GRUPY TESTUJĄCEJ Z UDZIAŁU W PROJEKCIE ...................................... 15
5. OCENA EFEKTÓW PRACY Z KONWERTEREM – WYGENEROWANEJ DOKUMENTACJI
PRZEDINWESTYCYJNEJ ..................................................................................................................................... 21
6. PODSUMOWANIE I WNIOSKI KOŃCOWE ................................................................................................ 22
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
1. Wprowadzenie
Niniejszy raport przedstawia opracowanie wyników ewaluacji wewnętrznej wstępnej wersji
produktu finalnego – aplikacji Konwerter, stworzonej w ramach projektu „Interaktywny system
współpracy w zakresie komercjalizacji wynalazków i badań naukowych”. Ewaluacja wewnętrzna
prowadzona była przez cały okres testowania przez Menadżera Projektów Naukowych.
Celem ewaluacji wewnętrznej było bieżące monitorowanie procesu testowania oraz dokonanie
oceny funkcjonalności, efektywności i skuteczności wypracowanego w ramach projektu
innowacyjnego narzędzia. Informacje zebrane podczas okresu testowania zostaną wykorzystane
podczas tworzenia ostatecznej wersji produktu finalnego, wprowadzania zmian i poprawek.
W okresie testowania wstępnej wersji produktu finalnego przeprowadzone zostały spotkania
bezpośrednie z grupą testującą –2 spotkania dla grupy Użytkowników oraz dla grupy Odbiorców
(1 spotkanie rozpoczynające, 1 spotkanie podsumowujące), na których odbyły się panele
dyskusyjne, podsumowania oraz dokonana została ocena efektów testowania. Omówione
zostały problemy i trudności związane z modelem i funkcjonalnościami aplikacji.
Do ewaluacji wewnętrznej zastosowane zostały następujące narzędzia badawcze:
Ankiety wejścia/wyjścia przeprowadzone w trakcie spotkań z grupą testującą, badające
poziom wiedzy w zakresie przedsiębiorczości akademickiej, transferu wiedzy
i komercjalizacji wiedzy;
Karty konsultacji wypełniane przez Użytkowników i Odbiorców podczas testowania
aplikacji;
Wywiady pogłębione z przedstawicielami grup Użytkowników i Odbiorców, mające na
celu uzyskanie informacji na temat konieczności wprowadzenia zmian w modelu
komercjalizacji badań naukowych przez Konwerter;
Ankiety badające zadowolenie uczestników z udziału w projekcie (wykonywane na
każdym z 2 spotkań każdej z grup testujących);
Projekty opracowane przez Użytkowników i Odbiorców, które powstały w ramach
testowania produktu finalnego wraz z dokumentacją generowaną przez Konwerter (10
projektów).
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
2. Ocena wiedzy Użytkowników i Odbiorców Konwertera w zakresie
komercjalizacji przed i po testowaniu aplikacji
Innowacyjna aplikacja Konwerter ma na celu głównie opracowywanie projektów naukowych
i tworzenie na ich podstawie dokumentacji przedinwestycyjnej, która można zaprezentować
potencjalnym inwestorom. Posiada także Bazę Wiedzy, która jest narzędziem pomocniczym
wykorzystywanym w trakcie wypełniania aplikacji. Osoba korzystająca z aplikacji podczas
uzupełniania paneli może skorzystać z podpowiedzi, dzięki którym może szczegółowo zapoznać
się z omawianymi zagadnieniami i przełożyć je na opracowywany przez siebie projekt.
W aplikacji dostępne są również pretesty i posttesty badające wiedzę wejściową i wyjściową
z danego obszaru tematycznego (panelu). Te funkcje aplikacji mają na celu zwiększenie wiedzy
i praktycznych umiejętności osób korzystających z aplikacji na temat procesu komercjalizacji
i transferu wiedzy. Aby sprawdzić, czy korzystanie z aplikacji Konwerter faktycznie wpływa na
wzrost wiedzy z zakresu komercjalizacji, a tym samym, aby zbadać efektywność Bazy Wiedzy
oraz pretestów i posttestów, w ramach ewaluacji wewnętrznej przeprowadzono testy
kompetencyjne.
Użytkownicy Konwertera, czyli pracownicy jednostek zajmujących się transferem technologii
mają już dużą wiedzę na temat procesu komercjalizacji. Jednak korzystanie z Konwertera może
pomóc im w uzupełnieniu wiedzy lub przypomnieniu pewnych informacji. Dodatkowo na
uzupełnienie i aktualizację wiedzy Użytkowników mogły mieć również wpływ szkolenia, w
których wzięli oni udział.
Test kompetencyjny, który Użytkownicy wypełniali przed rozpoczęciem testowania aplikacji
Konwerter zawierał 15 pytań z zakresu komercjalizacji wiedzy, transferu wiedzy i technologii
oraz przedsiębiorczości akademickiej. Za każdą dobrą odpowiedź na pytanie przyznawany był 1
punkt, a za odpowiedź błędną nie było punktu. Maksymalnie do zdobycia było więc 15
punktów. Wyniki testu pokazują, że Użytkownicy już w momencie przystępowania do
testowania mieli dość dużą wiedzę z badanego zakresu. Wyniki pierwszego testu w grupie
Użytkowników mieszczą się w granicach od 8 do 11 punktów (od 47% do 87% poprawnych
odpowiedzi). Średnio jest to 9,8 punktów (65%). Na zakończenie testowania Użytkownicy
wypełniali drugi test kompetencyjny, który również zawierał pytania z zakresu komercjalizacji
wiedzy, transferu wiedzy i technologii oraz przedsiębiorczości akademickiej. Drugi test zawierał
20 pytań z zakresów tematycznych objętych szkoleniami. Tu również można było uzyskać 1
punkt za każdą prawidłową odpowiedź, zatem maksymalna liczba punktów wynosi 20. Wyniki
tego testu są bardzo dobre, a co najważniejsze – są lepsze niż testu początkowego. W grupie 1
punktacja uczestników projektu zawiera się w przedziale od 10 do 18 punktów (od 50% do 90%
poprawnych odpowiedzi), a średnia wynosi 14,1 punktów (71%).
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 1. Średnie wyniki testów kompetencyjnych w grupie Użytkowników
Wyniki testów w grupie Użytkowników pokazują zatem, że poziom wiedzy respondentów
w zakresie komercjalizacji wiedzy i transferu technologii oraz przedsiębiorczości akademickiej
wzrósł po okresie testowania aplikacji i odbyciu szkoleń. Daje to podstawy, aby stwierdzić, że
funkcje w aplikacji Konwerter takie jak Baza Wiedzy oraz pretesty i posttesty oraz szkolenia
przeprowadzone w ramach projektu są efektywne w grupie Użytkowników.
Odbiorcy Konwertera również zostali poddani badaniu wiedzy przed i po testowaniu. Jednak ze
względu na to, że dla grupy Odbiorców nie było przewidziane szkolenie, ocena wzrostu wiedzy
została dokonana za pomocą kwestionariusza samooceny, który Odbiorcy wypełniali przed
rozpoczęciem testowania i po jego zakończeniu. Kwestionariusz zawierał 7 pytań dotyczących
samooceny wiedzy w zakresie komercjalizacji. Respondenci oceniali swoją wiedzę na skali od 0
(brak wiedzy na dany temat) do 6 (pełna wiedza na dany temat). Z odpowiedzi policzono
średnie dla całej grupy. Wyniki badania przedstawia poniższy wykres.
87% 90%
47% 50%
65%
79%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Test 1 Test 2
Maksimum Minimum Średnia
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 2. Wyniki kwestionariusza samooceny wiedzy zrealizowanego w grupie Odbiorców
przed rozpoczęciem i po zakończeniu testowania
Wyniki kwestionariusza samooceny wykazują, że subiektywne odczucie wiedzy badanych
Odbiorców jest po zakończeniu okresu testowania większe niż przed jego rozpoczęciem. We
wszystkich analizowanych obszarach średnie oceny wiedzy dokonywane na zakończenie
testowania są wyższe niż na początku tego okresu. Można zatem stwierdzić, że testowanie
aplikacji Konwerter, która zawiera takie elementy jak Baza Wiedzy oraz pretesty i posttesty,
a także konsultacje z Menedżerem Projektów Naukowych i wspólna praca oraz konsultacje
z Użytkownikami Konwertera miały pozytywny wpływ na wiedzę Odbiorców aplikacji w
zakresie komercjalizacji.
1,4
1,1
3,0
1,6
2,2
1,7
3,0
2,9
2,1
3,4
2,5
3,3
2,3
3,6
0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0
Jak oceniasz swoją wiedzę na temat możliwościochrony własności intelektualnej?
Jak oceniasz swoją wiedzę na temat możliwościformalnej współpracy sfery nauki i biznesu?
Jak pewnie czułbyś się w sytuacji zaprezentowaniasię przed inwestorem?
Jak szybko i trafnie potrafiłbyś znaleźć źródłofinansowania dla swojego pomysłu na biznes?
Jak oceniasz swoją wiedzę na temat konstruowaniabiznesplanów?
Jak oceniasz swoją wiedzę na temat sposobówfinansowania pomysłu na biznes?
Jak oceniasz swoje umiejętności zaprezentowaniapomysłu na biznes przed inwestorem?
Przed testowaniem Po testowaniu
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
3. Ocena efektywności produktu finalnego – innowacyjnego narzędzia do
opracowywania dokumentacji przedinwestycyjnej: Konwertera
W toku testowania innowacyjnego narzędzia, które powstało w ramach projektu „Interaktywny
system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” Menedżer
Projektów Naukowych prowadził konsultacje i spotkania z grupą testującą, podczas których
wypełniane były karty oceny aplikacji oraz prowadzone były indywidualne wywiady
z Użytkownikami i Odbiorcami aplikacji. Na podstawie informacji zebranych podczas tych
spotkań można wyciągnąć wnioski dotyczące efektywności i skuteczności Konwertera.
W kartach oceny, które Użytkownicy i Odbiorcy aplikacji Konwerter wypełniali podczas
testowania zawarto pytania dotyczące każdego z elementów aplikacji. Respondenci oceniali
każdy z elementów na skali od 1 (ocena bardzo zła) do 5 (ocena bardzo dobra). Z ocen tych
policzono średnie dla grupy Użytkowników i Odbiorców. Na początku zapytano o proces
rejestracji i logowania do aplikacji.
Rysunek 3. Ocena procesu rejestracji i logowania do aplikacji Konwerter
Zarówno długość procesu rejestracji, jak i długość procesu logowania zostały pozytywnie
ocenione przez Użytkowników i Odbiorców Konwertera. Rozpoczęcie korzystania z Konwertera
nie wiązało się z żadnymi problemami.
Kolejnym ocenianym elementem Konwertera był panel główny aplikacji. Jest w nim dostępna
instrukcja obsługi oraz krótki opis każdego z 5 paneli Konwertera. Z menu głównego jest dostęp
do wszystkich paneli.
4,4
4,6
4,3
4,8
0 1 2 3 4 5
Długość procesu rejestracji
Długość procesu logowania
Użytkownicy Odbiorcy
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 4. Ocena panelu głównego Konwertera
Grupa testująca pozytywnie oceniła panel główny pod względem jego czytelności
i przejrzystości – zarówno Użytkownicy, jak i Odbiorcy wystawiali w tym przypadku oceny dobre
i bardzo dobre. Nieco słabiej, ale nadal w większości pozytywnie oceniono układ graficzny
aplikacji w jej panelu głównym. Nieco lepiej grafikę ocenili Odbiorcy niż Użytkownicy.
Kolejnym ocenianym elementem były panele Konwertera – czyli ten element, za pomocą
którego uzupełnia się dane, które następnie są konwertowane do dokumentacji docelowej. Na
początku testerzy Konwertera oceniali: możliwość przemieszczania pomiędzy panelami, układ
graficzny i funkcjonowanie od strony technicznej paneli aplikacji.
Rysunek 5. Ocena paneli szczegółowych Konwertera
Według respondentów, możliwość przechodzenia pomiędzy kolejnymi panelami Konwertera
nie sprawia trudności, czy problemów – ten element został wysoko oceniony zarówno przez
Użytkowników, jak i przez Odbiorców testujących aplikację. Ocena układu graficznego jest
4,2
3,4
4,2
3,8
0 1 2 3 4 5
Czytelność/przejrzystość
Układ graficzny
Użytkownicy Odbiorcy
4,3
3,4
4,0
4,2
4,2
4,0
0 1 2 3 4 5
Możliwość przechodzenia międzykolejnymi panelami
Układ graficzny
Funkcjonowanie od stronytechnicznej
Użytkownicy Odbiorcy
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
znacznie lepsza wśród Odbiorców, którzy generalnie nie mieli do niego zastrzeżeń. Nieco
bardziej krytyczni byli Użytkownicy – średnia ocena grafiki na poziomie 3,4.
Dodatkowo Użytkownicy i Odbiorcy oceniali każdy z paneli Konwertera pod względem:
zawartości merytorycznej panelu, adekwatności pytań do potrzeb panelu oraz długości
wypełniania panelu. Wyniki oceny przedstawia poniższa tabela:
Tabela 1. Ocena szczegółowa paneli Konwertera
Elementy oceny
Zawartość merytoryczna
Adekwatność pytań
Długość
U O U O U O
Audyt pomysłu 4,2 4,0 4,3 4,1 3,9 4,0
Akcelerator rynkowy 3,4 4,0 3,9 3,7 4,5 4,3
Produktowa analiza technologii 3,8 4,4 3,7 3,7 4,0 4,4
Algorytm badania wartości prac badawczych
3,6 3,5 3,4 3,2 2,3 2,4
Rekomendowany sposób finansowania
3,8 3,5 3,8 3,3 4,7 4,2
Wyniki oceny poszczególnych paneli są w większości pozytywne. Stosunkowo najsłabiej
wypadł panel „Algorytm badania wartości prac badawczych”. Jest to najdłuższy z 5 paneli
i właśnie jego długość została najsłabiej oceniona przez grupę testującą. Warto podkreślić, że
zawartość merytoryczna wszystkich 5 paneli została przez Użytkowników i Odbiorców
Konwertera oceniona bardzo dobrze lub dobrze.
Badani testerzy Konwertera mieli również możliwość oceny Bazy Wiedzy, która jest elementem
aplikacji, zawierającym podpowiedzi do wypełniania poszczególnych pól w aplikacji oraz
stanowi zbiór cennych informacji o procesie komercjalizacji. Respondenci oceniali Bazę Wiedzy
pod względem: merytoryki, przydatności i funkcjonalności.
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 6. Ocena Bazy Wiedzy Konwertera
Ocena Bazy Wiedzy wypadła dobrze. Bardzo wysoko badani ocenili merytoryczną stronę tej
części aplikacji Konwerter. Również przydatność Bazy Wiedzy zdaniem respondentów jest
wysoka. Nieco słabiej, zwłaszcza w grupie Użytkowników oceniono funkcjonowanie Bazy
Wiedzy – otrzymano kilka zgłoszeń dotyczących tego, że podpowiedzi nie działały prawidłowo.
Za każdym razem te zgłoszenia były przesyłane do informatyków czuwających nad działaniem
aplikacji.
Użytkownicy i Odbiorcy testujący aplikację Konwerter oceniali również pretesty i posttesty, czyli
element sprawdzających ich wiedzę przed i po wypełnieniu poszczególnych paneli aplikacji.
Rysunek 7. Ocena pretestów i posttestów Konwertera
W porównaniu z innymi elementami aplikacji, ocena pretestów i posttestów wypadła nieco
słabiej. Pretesty i posttesty zostały słabiej ocenione w grupie Użytkowników niż wśród
4,2
3,8
2,9
3,9
3,9
3,7
0 1 2 3 4 5
Merytoryka
Przydatność
Funkcjonowanie
Użytkownicy Odbiorcy
3,0
2,9
2,7
3,6
3,1
3,5
0 1 2 3 4 5
Przydatność
Funkcjonowanie
Jakość merytoryczna
Użytkownicy Odbiorcy
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Odbiorców. Użytkownicy najwięcej zastrzeżeń mieli do jakości merytorycznej pretestów
i posttestów. Może to wynikać z faktu, że przedstawiciele tej grupy mają dużą wiedzę z zakresu
komercjalizacji i odpowiadanie na pytania z tego zakresu było dla nich mało ciekawe. Pojawiały
się także zastrzeżenia dotyczące adekwatności pytań do tematyki poszczególnych paneli
Konwertera. Szczegółowe uwagi i zastrzeżenia badanych omówione zostaną w dalszej części
tego rozdziału raportu.
Na koniec procesu oceny Konwertera, grupa testująca została poproszona o wyrażenie opinii na
temat wygenerowanego abstraktu oraz dokumentacji przedinwestycyjnej – czyli efektu pracy
z Konwerterem. Badani mieli również możliwość wypowiedzieć się na temat czasu, jaki musieli
poświęcić na wpisanie danych do aplikacji, aby tą dokumentację wygenerować.
Rysunek 8. Ocena Abstraktu i Dokumentacji oraz czasu wypełniania Konwertera
Zarówno abstrakt, jak i dokumentacja przedinwestycyjna generowane przez Konwerter
wypadły bardzo dobrze w ocenie badanych Użytkowników i Odbiorców. Pozytywnie oceniono
możliwość tworzenia abstraktu, jego wygląd, a także kompletność, układ graficzny i długość
wygenerowanej dokumentacji. Słabiej wypadła natomiast ocena długości wypełniania danych
w całej aplikacji. Zarówno Użytkownicy, jak i Odbiorcy w większości uznali, że sam proces
wypełniania trwa za długo.
Podsumowując wyniki badania w oparciu o karty oceny aplikacji można stwierdzić, że zarówno
Użytkownicy, jak i Odbiorcy aplikacji w większości analizowanych aspektów oceniają ją
pozytywnie. Bardzo dobrze lub dobrze badani oceniali zawartość merytoryczną i przydatność
poszczególnych elementów aplikacji, ich funkcjonalność i działanie. Układ graficzny aplikacji
4,4
4,0
4,4
4,1
4,1
2,9
4,0
4,0
4,5
4,1
4,0
2,7
0 1 2 3 4 5
Możliwość tworzenia Abstraktu
Wygląd wygenerowanego Abstraktu
Kompletność wygenerowanejdokumentacji
Układ graficzny/poprawność logicznawygenerowanej dokumentacji
Długość wygenerowanejdokumentacji
Długość wypełniania danych w całejaplikacji
Użytkownicy Odbiorcy
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
został oceniony przeciętnie – nie jest zdaniem badanych zły, ale mógłby być lepszy. Najsłabiej
wypada ocena długości procesu uzupełniania aplikacji, szczególnie panelu „Algorytm badania
wartości prac badawczych” – większość badanych uważa, że proces wypełniania danych trwa
zbyt długo.
Podczas testowania Menedżer Projektów Naukowych prowadził także rozmowy, wywiady
indywidualne na temat Konwertera i pracy z aplikacją. Również w kartach oceny Użytkownicy
i Odbiorcy mieli możliwość wyrażenia swoich uwag i propozycji zmian w formie opisowych
odpowiedzi. Na podstawie informacji zebranych tymi metodami można wyciągnąć następujące
wnioski:
1. Testowanie przebiegało sprawnie i bez większych trudności.
2. Proces rejestracji i logowanie w większości przypadków nie sprawił żadnych
problemów. W jednym przypadku był problem z rejestracją – link aktywacyjny nie został
dostarczony na podany adres e-mail. Mogło mieć to jednak związek z zabezpieczeniami
poczty na serwerze służbowym jednego z Użytkowników.
„Rejestracja jak i logowanie przebiegają sprawnie i bez większych zaskoczeń. Nie
mam uwag”.
„Rejestracja w systemie nie wymaga podawania nadmiernej liczby danych”.
„Problemy z zarejestrowaniem nowego użytkownika. Link aktywujący konto nie
został wysłany przez system”.
3. Aplikacja zdaniem testerów jest intuicyjna, łatwo jest się po niej poruszać, nie jest
potrzebna żadna dodatkowa instrukcja obsługi. Konwerter oceniany jest jako przejrzysty
i schludny.
„Aplikacja wykonana poprawnie, przejrzyście. Interfejs nie zawiera zbędnych
elementów”.
„Podział modułów na panele ułatwia prace z aplikacją. Aplikacja jest przejrzysta i
czytelna. Jednak przyciski nawigacji powinny być bardziej widoczne”.
„Aplikacja pod względem intuicyjności nie wyróżnia się niczym szczególnym”.
4. Grafika zdaniem testerów jest przejrzysta i schludna, jednak nie robi wrażenia.
Zdaniem niektórych badanych jest mało ciekawa, niewyróżniająca się.
„Jak na projekt innowacyjny oprawa graficzna jest dość wtórna”.
„Grafika Konwertera jest poprawna, nie jest zaawansowana, ale jak na potrzeby
aplikacji wystarczająca”.
„Układ graficzny jest zbyt sterylny”.
5. Merytorycznie Konwerter został oceniony pozytywnie. Zdaniem wszystkich
Użytkowników dokumentacja przedinwestycyjna, która zostałaby przygotowana za
pomocą aplikacji, pod warunkiem, że zostanie ona w pełni wypełniona, będzie
poprawna i pozwoli potencjalnemu inwestorowi na dokonanie oceny projektu. Zdaniem
Odbiorców praca z Konwerterem umożliwia również rozpatrzenie takich kwestii,
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
o których wcześniej nie myśleli, nie zastanawiali się nad nimi myśląc o własnym
projekcie, np. jeśli chodzi o analizę ryzyka. Zdaniem zdecydowanej większości osób
testujących Konwertera, pytania w poszczególnych panelach są adekwatne do potrzeb
i w efekcie przekładają się na wartościowe informacje w dokumentacji
przedinwestycyjnej. Pojawiło się kilka uwag odnośnie sformułowania pytań pod
względem stylistycznym oraz gramatycznym. Kilka osób zwróciło również uwagę na
szczegółowe sformułowania, które ich zdaniem były niezrozumiałe lub zbyt mało
wyjaśnione – wszystkie te szczegółowe uwagi na bieżąco przekazywano Kierownikowi
Projektu.
„Zawartość merytoryczna panelu jest adekwatna do zadań, jakie ma spełniać
dana część aplikacji”.
„Pytania i ich zawartość są adekwatnie do tematu panelu”.
„Pytania w tym module pozwalają na przeprowadzenie analizy rynku”.
6. Zastrzeżenia Użytkowników i Odbiorców Konwertera dotycząc długości procesu
wypełniania aplikacji. Zdaniem większości badanych trwa to zbyt długo, a niektóre
pytania są za bardzo szczegółowe. Jednak przedstawiciele Użytkowników, którzy mają
doświadczenie w przygotowywaniu dokumentacji dla inwestorów oraz
w opracowywaniu projektów do komercjalizacji wiedzą, że im bardziej szczegółowo
przedstawione są informacje, tym większe są szanse na pozyskanie inwestora.
„Aplikacja jest bardzo obszerna, bardzo duża ilość pytań oraz ich szczegółowość
powoduje, że proces uzupełniania, aplikacji jest bardzo długi”.
„Cały proces wypełniania aplikacji jest długi i żmudny. Jednakże biorąc pod
uwagę oczekiwania potencjalnych inwestorów, porządnie przygotowana
dokumentacja wymaga czasu”.
Użytkownicy i Odbiorcy przekazali wiele cennych uwag i sugestii zmian w aplikacji. Uwagi
dotyczące kwestii technicznych (np. problemy z logowaniem, niedziałające odnośniki do Bazy
Wiedzy, czy kalendarz) były na bieżąco zgłaszane informatykom czuwającym nad poprawnością
działania aplikacji. Te usterki, które dało się usunąć bez konieczności powodowania przerw
w działaniu aplikacji były usuwane na bieżąco. Poza tymi uwagami technicznymi pojawiały się
propozycje zmian, które najczęściej dotyczyły następujących obszarów:
Kalendarz – mało funkcjonalny, problem ze zmianą roku.
Baza Wiedzy – niektóre hasła są niejasne, Baza mogłaby być podzielona na kategorie,
zawierać jakieś przykłady. Podział haseł alfabetycznie nie jest wystarczający.
Pretesty i posttesty – pytania się niekiedy powtarzają, czasem pytania nie są adekwatne
do tematyki panelu, nie od razu wyświetlają się wyniki – nie jest intuicyjne to, czy trzeba
kliknąć „zapisz”, czy „dalej”.
Ponadto Użytkownicy i Odbiorcy proponują także:
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Wprowadzenie opcji uzupełniania jednego projektu przez kilka osób – praca zespołowa.
Wprowadzenie możliwości dodawania załączników do dokumentacji.
Wprowadzenie tylko 1 pretestu na początku korzystania z aplikacji i 1 posttestu na
zakończenie – przed wygenerowaniem dokumentacji.
Wprowadzenie opcji, dzięki której informacje podane w rejestracji pojawiałyby się
automatycznie podczas uzupełniania Konwertera.
Możliwość dodawania kolejnych pomysłodawców powinna być bardziej widoczna (znak
„+” jest mało widoczny).
Dodanie opcji „wstecz” podczas uzupełniania aplikacji – w każdym panelu jest „dalej”
i „zapisz”, a „wstecz” brakuje.
Pytania pominięte (nieuzupełnione) nie powinny się pojawiać w dokumentacji.
Bardziej szczegółowe pytania powinny być zgrupowane w kilka bardziej ogólnych.
Wszystkie te sugestie zmian zostały przekazane Kierownikowi Projektu, będą one omawiane
i konsultowane z informatykami pod względem możliwości ich wprowadzenia. Zmiany i
sugestie testerów będą w miarę możliwości wprowadzone do wersji finalnej Konwertera.
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
4. Ocena zadowolenia grupy testującej z udziału w projekcie
W okresie testowania Menedżer Projektów Naukowych dwukrotnie spotkał się z uczestnikami
grupy testującej – na początku oraz na zakończenie testowania. Podczas tych spotkań zarówno
Użytkownicy, jak i Odbiorcy testowali aplikację Konwerter, zadawali pytania i zgłaszali uwagi
dotyczące funkcjonowania i efektywności aplikacji. Uczestnicy tych spotkań zostali poproszeni
także o wypełnienie krótkiej ankiety, mającej na celu zbadanie ich zadowolenia i komfortu na
spotkaniach. W ankiecie badani oceniali poszczególne aspekty spotkań na skali od 1 (bardzo źle)
do 5 (bardzo dobrze). Z ocen tych policzono średnie dla każdej z grup.
Wyniki badania w grupie Odbiorców są bardzo dobre – przedstawiciele tej grupy są
w zdecydowanej większość zadowoleni zarówno z organizacji spotkań, jak i z ich jakości oraz
pozytywnie ocenili prowadzącego spotkania Menedżera Projektów Naukowych.
Rysunek 9. Ocena jakości spotkań w grupie Odbiorców, zorganizowanych w ramach
testowania aplikacji Konwerter
Badani Odbiorcy bardzo dobrze lub dobrze ocenili przebieg testowania Konwertera zarówno
podczas spotkania rozpoczynającego, jak i podczas spotkania kończącego testowanie. Wszyscy
badani otrzymali w zadowalającym stopniu odpowiedzi na dręczące ich pytania dotyczące
testowanego narzędzia.
4,5
4,5
4,8
4,9
1,0 2,0 3,0 4,0 5,0
Czy Pana/i zdaniem testowanie przebiegłosprawnie?
W jakim stopniu podczas spotkań dostał/a Pan/iodpowiedź na dręczące pytania?
Na początku testowania Na zakończenie testowania
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 10. Ocena organizacji spotkań w grupie Odbiorców, zorganizowanych w ramach
testowania aplikacji Konwerter
Badani Odbiorcy nie mieli także zastrzeżeń do organizacji spotkań – wszyscy uczestnicy zarówno
spotkania rozpoczynającego, jak i kończącego testowanie pozytywnie wypowiedzieli się
odnośnie warunków lokalowych, wyposażenia sali, cateringu oraz atmosfery panującej podczas
spotkań.
Rysunek 11. Ocena osoby prowadzącej spotkania w grupie Odbiorców, zorganizowane w
ramach testowania aplikacji Konwerter
4,8
4,9
4,8
4,9
5,0
5,0
5,0
5,0
1,0 2,0 3,0 4,0 5,0
Warunki spotkań
Wyposażenie sali
Catering
Atmosfera podczas spotkania
Na początku testowania Na zakończenie testowania
4,8
4,5
4,7
4,8
5,0
4,9
5,0
5,0
1,0 2,0 3,0 4,0 5,0
Umiejętność odpowiadania na pytania
Umiejętność tłumaczenia szczególnie trudnychkwestii
Umiejętność właściwego organizowania czasuspotkania
Dbanie o dobrą atmosferę podczas spotkania
Na początku testowania Na zakończenie testowania
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Bardzo dobrze został również oceniony Menedżer Projektów Naukowych, który prowadził
spotkania w ramach testowania. Uczestnicy spotkań ocenili pozytywnie umiejętności
odpowiadania na pytania, tłumaczenia szczególnie trudnych kwestii, oraz organizowania czasu,
a także dbania o dobrą atmosferę.
Rysunek 12. Ocena stopnia spełnienia oczekiwań Odbiorców względem spotkań
zorganizowanych w ramach testowania Konwertera
Wyniki ankiety przeprowadzonej podczas spotkań z grupą Odbiorców pokazują, że uczestnicy
spotkań są z nich zadowoleni – spotkania spełniły ich oczekiwania.
Podobną ankietę wypełniali podczas spotkań Użytkownicy Konwertera. Oni również zostali
poproszeni o ocenę jakości spotkań, ich organizacji oraz o ocenę osoby prowadzącej spotkania.
Wyniki badania pokazują, że również Użytkownicy są zadowoleni z udziału w tych spotkaniach.
4,7 5,0
1,0
2,0
3,0
4,0
5,0
Czy spotkanie spełniło Pana/ Pani oczekiwania?
Na początku testowania Na zakończenie testowania
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 13. Ocena jakości spotkań w grupie Użytkowników, zorganizowanych w ramach
testowania aplikacji Konwerter
Wszyscy badani Użytkownicy, którzy wzięli udział w spotkaniach w ramach testowania uznali, że
testowanie przebiegło sprawnie oraz, że otrzymali odpowiedzi na dręczące ich pytania.
Rysunek 14. Ocena organizacji spotkań w grupie Użytkowników, zorganizowanych w
ramach testowania aplikacji Konwerter
Badani Użytkownicy, podobnie jak Odbiorcy nie mieli zastrzeżeń do organizacji spotkań –
wszyscy uczestnicy zarówno spotkania rozpoczynającego, jak i kończącego testowanie
pozytywnie wypowiedzieli się odnośnie warunków lokalowych, wyposażenia sali, cateringu oraz
atmosfery panującej podczas spotkań.
4,5
4,5
4,8
4,9
1,0 2,0 3,0 4,0 5,0
Czy Pana/i zdaniem testowanie przebiegłosprawnie?
W jakim stopniu podczas spotkań dostał/a Pan/iodpowiedź na dręczące pytania?
Na początku testowania Na zakończenie testowania
4,5
4,5
3,8
4,0
4,7
5,0
4,3
4,3
1,0 2,0 3,0 4,0 5,0
Warunki spotkań
Wyposażenie sali
Catering
Atmosfera podczas spotkania
Na początku testowania Na zakończenie testowania
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 15. Ocena osoby prowadzącej spotkania w grupie Użytkowników, zorganizowane w
ramach testowania aplikacji Konwerter
Użytkownicy aplikacji Konwerter, którzy wzięli udział w spotkaniach ocenili także prowadzącego
je Menedżera Projektów Naukowych. Ocena ta wypadła pozytywnie. Wysoko zostało ocenione
przygotowanie i wiedza merytoryczna, sposób przekazywania informacji oraz umiejętność
odpowiadania na pytania. Umiejętność tłumaczenia szczególnie trudnych kwestii została przez
Użytkowników oceniona lepiej na drugim spotkaniu niż przy pierwszym kontakcie. Może to
świadczyć o tym, że Menedżer po zapoznaniu się z grupą i jej wymaganiami dostosował formę
i zakres spotkań do potrzeb uczestników. Dość dobrze wypadła również ocena organizowania
czasu spotkania, a bardzo dobrze uczestnicy spotkań ocenili ich atmosferę.
4,0
4,0
4,0
3,8
3,8
4,0
4,3
4,0
4,3
4,7
4,0
4,7
1,0 2,0 3,0 4,0 5,0
Przygotowanie i wiedza merytorycznaprowadzącego
Sposób przekazywania informacji
Umiejętność odpowiadania na pytania
Umiejętność tłumaczenia szczególnie trudnychkwestii
Umiejętność właściwego organizowania czasuspotkania
Dbanie o dobrą atmosferę podczas spotkania
Na początku testowania Na zakończenie testowania
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 16. Ocena stopnia spełnienia oczekiwań Użytkowników względem spotkań
zorganizowanych w ramach testowania Konwertera
Wyniki ankiety przeprowadzonej podczas spotkań z grupą Użytkowników pokazują, że
uczestnicy spotkań są z nich zadowoleni – spotkania spełniły ich oczekiwania.
4,0 4,3
1,0
2,0
3,0
4,0
5,0
Czy spotkanie spełniło Pana/ Pani oczekiwania?
Na początku testowania Na zakończenie testowania
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
5. Ocena efektów pracy z Konwerterem – wygenerowanej dokumentacji
przedinwestycyjnej
W toku ewaluacji wewnętrznej ostatnim elementem oceny była wygenerowana dokumentacja
przedinwestycyjna. W ramach testowania powstało 10 projektów, które opracowali wspólnie
Użytkownicy i Odbiorcy biorący udział w testowaniu:
1. Mobilny lokalizator studencki;
2. Koloidy srebra z Uniwersytetu Łódzkiego;
3. Pozyskiwanie substancji probiotycznych z odpadów przemysłu browarniczego;
4. Działanie przeciwbakteryjne olejków eterycznych na gronkowca;
5. Serwis/portal internetowy;
6. Wykorzystanie biosurfaktantów w przemyśle kosmetycznym;
7. Zastosowanie pochodnych kwasów poli(oksyalkileno) ditiofosforowych jako
wielofunkcyjnych dodatków do środków o niskiej zawartości fosforu;
8. Lokalizator restauracji;
9. Mini konsola – przenośna mini konsola oparta na systemie iOS;
10. Eko-rower bez łańcucha.
Na podstawie analizy wygenerowanej dokumentacji przedinwestycyjnej ww. projektów
dokonanej wspólnie przez Menedżera Projektów Naukowych oraz Użytkowników i Odbiorców
wyciągnięto następujące wnioski:
Dokumentacja ma przejrzystą strukturę, chociaż brakuje w niej spisu treści, który
ułatwiałby znalezienie potrzebnych informacji bez przeglądania całości.
Zawartość dokumentacji oczywiście zależy od tego, w jakim stopniu osoba wypełniająca
aplikację ją uzupełni. Wpisanie małej ilości danych powoduje, że w dokumentacji są luki
i źle się ją czyta. Utrudnieniem w dobrym odbiorze tekstu dokumentacji jest również to,
że widoczne są w niej nieuzupełnione pytania.
Kolejność poszczególnych elementów dokumentacji jest prawidłowa i logiczna.
Grafika dokumentacji jest dość monotonna. Niektóre elementy tekstu mogłyby być
bardziej wyróżnione, aby czytanie było urozmaicone. Wykresy są niezbyt czytelne –
kolory się zlewają. Analiza SWOT po wydruku również jest mało czytelna.
Wygląd i zawartość abstraktu nie budzi zastrzeżeń.
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
6. Podsumowanie i wnioski końcowe
Wyniki z ewaluacji wewnętrznej produktu finalnego pozwalają na stwierdzenie, że innowacyjne
narzędzie – Konwerter komercjalizacji prac naukowych w zasadzie spełnia oczekiwania
Odbiorców i Użytkowników.
Użytkownicy i Odbiorcy pozytywnie ocenili każdy z paneli Konwertera pod względem:
zawartości merytorycznej, adekwatności pytań do potrzeb oraz długości wypełniania panelu.
Wyniki badania pokazują, że wszystkie umieszczone panele Konwertera będą przydatne jego
Użytkownikom i Odbiorcom. W ocenie osób testujących nieco słabiej w porównaniu z innymi
wypadł panel „Algorytm badania wartości prac badawczych”. Problemem przy tym panelu
wskazywanym przez osoby testujące była jego długość – jest to najdłuższy z 5 paneli.
Jednakże zawartość merytoryczna wszystkich 5 paneli została przez Użytkowników
i Odbiorców Konwertera oceniona bardzo dobrze lub dobrze.
Grupa testująca miała niewielkie zastrzeżenia odnośnie grafiki Konwertera. Testujące osoby
wskazywały na możliwość zastosowania bardziej oryginalnej grafiki. Jednakże nie ma to
większego wpływu na wypełnianie aplikacji i generowanie dokumentacji przedinwestycyjnej.
Wygląd i zawartość abstraktu nie budzi zastrzeżeń.
Osoby testujące oceniły Bazę Wiedzy, jako bardzo przydatne narzędzie w procesie uzupełniania
aplikacji. Jednocześnie wskazali na konieczność „uproszczenia” niektórych haseł, znajdujących
się w Bazie Wiedzy.
Osoby testujące widzą potrzebę uzupełniania pretestów i posttestów, jednakże wskazali kilka
cennych uwag, które zostaną uwzględnione przy tworzeniu finalnej wersji Konwertera.
Sam proces testowania został oceniony zarówno przez Odbiorców jak i przez Użytkowników
bardzo dobrze lub dobrze. Osoby testujące aplikację Konwerter, które wzięły udział
w spotkaniach zorganizowanych w ramach testowania oceniły w sposób bardzo dobry
prowadzącego je Menedżera Projektów Naukowych.
Na podstawie wyników ewaluacji wewnętrznej można stwierdzić, że Konwerter po
wprowadzeniu niewielkich poprawek będzie narzędziem efektywnym i skutecznym oraz
przydatnym dla jego Użytkowników i Odbiorców.