Serwis Rzeczypospolitej Polskiej
Platforma GovTech
Wykonanie oprogramowania wykorzystującego AI do analizy tekstowej wzorców umów stosowanych w obrocie konsumenckim pod kątem wyszukiwania niedozwolonych klauzul we wzorcach umów w relacji B2C
OBSERWUJ KONKURS
Otrzymasz powiadomienia o zmianach i upływających terminach
pula nagród
50 000,00zł brutto
maksymalny budżet wdrożenia
1 450 000,00zł brutto
Funkcjonowanie dziś, opis potrzeby

UOKiK organizuje Konkurs w ramach realizacji projektu współfinansowanego ze środków UE pt. "Artificial Intelligence for Consumer Protection Empowerment". Jego celem jest przygotowanie narzędzia AI, które mogłoby w znaczący sposób przyczynić się do zwiększenia efektywności i skuteczności wykrywania potencjalnych naruszeń praw konsumentów. Projekt jest odpowiedzią na zidentyfikowaną potrzebę przyspieszenia procesu analizy dużej ilości danych przetwarzanych przez Urząd, a także zautomatyzowania czynności, które mogą być wykonywane przy wykorzystaniu sztucznej inteligencji i uwolnienia ograniczonych zasobów ludzkich. Aktualnie Urząd funkcjonuje głównie w schemacie reaktywnym: negatywne zdarzenie konsumenckie (np. postanowienie zawarte w umowie z konsumentem wyłączające odpowiedzialność przedsiębiorcy lub postanowienie uprawniające przedsiębiorcę do nałożenia wysokiej kary umownej) -> poszkodowany konsument -> zgłoszenie do UOKiK -> ocena stanu faktycznego -> reakcja organu nadzoru (wszczęcie postępowania administracyjnego, wysłanie wezwania do przedsiębiorcy, wydanie decyzji administracyjnej zakazującej określonych praktyk).

Zdjęcia
Funkcjonowanie dziś, opis potrzeby
Oczekiwana zmiana

Zamawiający planuje, iż w wyniku wdrożenia Systemu Docelowego dojdzie do zwiększenia efektywności wykrywania naruszeń praw konsumentów we wzorcach umownych analizowanych przez Urząd dzięki zwiększeniu możliwości automatycznej analizy dużej ilości wzorców umów stosowanych w obrocie konsumenckim. W rezultacie pozwoli to na szybkie i skuteczne eliminowanie z obrotu niedozwolonych klauzul, a także szerszy, celowany monitoring wzorców umownych zamieszczonych w Internecie. Zastosowanie Systemu Docelowego pozwoli wesprzeć pracowników Urzędu we wstępnej ocenie postanowień wzorców umownych poprzez zwrócenie uwagi na konkretne postanowienia, które mogą mieć charakter niedozwolony.
W związku z wdrożeniem Systemu Docelowego powinna nastąpić możliwość przestawienia działania Zamawiającego na schemat proaktywny, w którym to Urząd samodzielnie wyszukuje wzorce umowne stosowane w wybranym segmencie gospodarki i dokonuje automatycznej wstępnej ich kontroli pod kątem występowania postanowień niedozwolonych. W wyniku takiego działania pracownicy Urzędu, mogliby skoncentrować swoje wysiłki na konkretnych segmentach gospodarki oraz konkretnych wzorcach umownych (i przedsiębiorcach je stosujących), w których może dochodzić do największych nadużyć w zakresie stosowania postanowień abuzywnych. Takie podejście spowodowałoby, że Urząd mógłby reagować zanim dojdzie do pokrzywdzenia konsumentów, a zakres planowanych działań mógłby być większy niż dotychczas.

Wymagania funkcjonalne

A. Dodawanie wzorców umownych do analizy - podstawową funkcją Systemu Docelowego będzie analiza wzorców umownych (regulaminów, ogólnych warunków umownych, umów i innych tekstów prawniczych) - dodanych przez pracownika Urzędu lub znalezionych przez crawlera internetowego - pod kątem występowania w nich klauzul abuzywnych (postanowień niedozwolonych), o których mowa w art. 385[1] §1 Kodeksu cywilnego.

B. Analiza wzorca umownego dokonana przez System - System powinien dokonać analizy pojedynczego wzorca umownego (łącznie z wykonaniem OCR, wskazaniem klauzul umownych jako abuzywne oraz zapisaniem informacji w systemie). System powinien również udostępniać pracownikowi Urzędu propozycje uzasadnienia prawnego (stworzone w oparciu o uzasadnienia znajdujące się w bazie danych) wskazującego powody, dla których znaleziona klauzula umowna może zostać uznana za niedozwoloną.

C. OCR (Optical Character Recognition – optyczne rozpoznawanie znaków) - System powinien umożliwiać transformację na edytowalny tekst zeskanowych wzorców umownych, jak również dokumentów pozyskanych przez Urząd od podmiotów/osób trzecich, a następnie zeskanowych przez pracownika Urzędu jako zdjęcie do formatu .pdf, .png lub równoważny. Skanowane będą również w ramach systemu uzasadnienia prawne orzeczeń sądowych, celem uzupełnienia zbioru w bazie danych.

D. Baza danych - na potrzeby uczenia się Systemu w procesie jego wdrażania będzie składała się z postanowień abuzywnych zamieszczonych w takich dokumentach jak: rejestr klauzul niedozwolonych dostępny na stronie internetowej UOKiK pod adresem uokik.gov.pl, wyroki sądowe w sprawach dotyczących klauzul abuzywnych znajdujących się w rejestrze (orzeczenia Sądu Ochrony Konkurencji i Konsumentów, Sądu Apelacyjnego w Warszawie oraz Sądu Najwyższego), wyroki sądowe z odwołań od decyzji Prezesa UOKiK wydanych w oparciu o art. 23b-c ustawy o ochronie konkurencji i konsumentów oraz formularze przygotowane przez pracowników Urzędu. Docelowo System powinien umożliwiać automatyczną weryfikację wprowadzonych przez pracownika UOKiK orzeczeń sądowych pod kątem wyodrębnienia z niech (na potrzeby zbudowania bazy danych) uzasadnienia prawnego istotnego z punktu widzenia ocenianej klauzuli abuzywnej.

E. Uzupełnianie bazy danych przez pracownika Urzędu - System powinien posiadać odpowiednią funkcjonalność w ramach dostępnego interfejsu, w ramach której możliwe będzie ręczne wpisywanie w formularzu nowych klauzul abuzywnych wraz z uzasadnieniem prawnym i innymi elementami do istniejącej już bazy danych w Systemie.

F. Uczenie się Systemu pod nadzorem pracownika Urzędu - System w ramach analizy wzorców umownych powinien pokazywać pracownikowi Urzędu wynik przedmiotowych analiz i pozostawiać mu ostateczną decyzję dotyczącą tego, czy wskazane przez System klauzule są niedozwolone czy zgodne z dobrymi obyczajami. Wybory dokonywane przez pracowników Urzędu powinny być zapisywane w Systemie i uwzględniane przy kolejnych dokonywanych analizach wzorców umów i klasyfikowania określonych postanowień jako abuzywnych.

G. Crawler (funkcjonalność dodatkowa, ale niezbędna) - System powinien być wyposażony w moduł do przeszukiwania internetu w zakresie wzorców umownych (dostępnych zarówno w formatach takich, jak .pdf - w tym pliki graficzne - i inne podobne oraz zamieszczonych bezpośrednio w treści strony internetowej, jak regulaminy sklepów internetowych) lub treści postanowień umownych według kryteriów wskazanych przez pracownika Urzędu.

H. Dostępność oraz interfejs - System powinien być dostępny z poziomu przeglądarki internetowej po wpisaniu odpowiedniego adresu internetowego, wyłącznie przy podłączeniu pracownika do infrastruktury teleinformatycznej Urzędu.

Szczegółowe wymagania dotyczące funkcjonalności Systemu Docelowego, a także warunków technicznych i sprzętowych zostały opisane w pkt. 6 Regulaminu Konkursu.

 

Harmonogram
Przyjmowanie rozwiązań - I etap od 19.10.2021 10:00 do 19.10.2021 16:00
Ocena propozycji 26.10.2021 23:59
Przyjmowanie rozwiązań - II etap od 09.11.2021 10:00 do 09.11.2021 16:00
Ogłoszenie wyników do 23.11.2021 23:59
Szczegóły I etapu konkursu

Opracowanie studialne na I Etapie polega na przedstawieniu wyników pozwalających na ocenę skuteczności modelu binarnej klasyfikacji postanowień umownych. Model binarnej klasyfikacji ma na celu określenie czy dany fragment wzorca umownego jest postanowieniem abuzywnym (niedozwolonym postanowieniem umownym) czy też jest poprawnym (dozwolonym) zapisem umownym.
Zbiór danych treningowych dostępny jest na stronie Govtech poświęconej niniejszemu Konkursowi od dnia ogłoszenia Konkursu. Zbiór danych testowych (podlegających ocenie) zostanie zamieszczony na ww. stronie GovTech w dniu 19.10.2021r. Każdy Uczestnik będzie mógł pobrać zbiór treningowy (plik w formacie .csv) zawierający fragmenty wzorców umów w formie tekstowej oraz przypisaną do nich klasę KLAUZULA ABUZYWNA albo POPRAWNE POSTANOWIENIE. Fragmenty umów zostały ręcznie zanotowane przez pracowników Zamawiającego.
W dniu, w którym upływa termin złożenia Opracowania studialnego– zgodnie z Regulaminem - udostępniony zostanie Uczestnikom na stronie Govtech poświęconej niniejszemu Konkursowi zbiór danych testowych zawierający postanowienia umowne, dla których należy wskazać czy są postanowieniami abuzywnymi czy też poprawnymi postanowieniami umownymi.
Poprawność modelu oceniana jest poprzez wartość metryki F1-score (weighted), czyli średniej harmonicznej precyzji oraz dokładności modelu ważonej licznością klas.
W celu zgłoszenia Opracowania studialnego Uczestnik wysyła plik lub pliki formacie .jsonl, według wzoru wskazanego w załączniku nr 2, z kolumnami wskazującymi ID postanowienia oraz odpowiadającej temu postanowieniu klasy.

Szczegółowy opis zadania konkursowego na I Etapie został przedstawiony w pkt. 8 Regulaminu Konkursu.

Dane testowe dla I etapu konkursu zostały opublikowane na stronie konkursu w dniu 19.10.2021r. o godz. 10:00.

Pliki udostępniane w I etapie
Kryteria oceny I etapu
poprawność modelu - waga 100%
W pierwszym etapie autorzy najlepszych prac otrzymają nagrody finansowe. oraz zaproszenie do złożenia prac w drugim etapie
1 miejsce: 10 000,00 PLN
2 miejsce: 10 000,00 PLN
3 miejsce: 10 000,00 PLN
4 miejsce: 10 000,00 PLN
5 miejsce: 10 000,00 PLN
Szczegóły II etapu konkursu

Praca Konkursowa na II Etapie składa się z dwóch niezależnych elementów, które będą następnie osobno oceniane przez Sąd Konkursowy, tj:


A. sposób wykrywania klauzul abuzywnych w różnych źródłach danych [tekst, pdf, zdjęcia]

Ocenie podlega skuteczność modelu wykrywającego fragmenty zawierające klauzule abuzywne, jednakże zamiast gotowych fragmentów postanowień umownych, każdy Uczestnik II Etapu otrzymuje realne wzorce umowne w formatach takich jak *.doc, *.docx, *.pdf, *.png, *.jpg. W celu otrzymania tekstów owych wzorców należy wyekstrahować owe teksty z plików między innymi korzystając z narzędzi typu OCR. 
Zbiór danych treningowych, składający się z plików zawierających wzorce umowne oraz zbiór formularzy wskazujących wzorzec oraz znalezione przez pracowników Zamawiającego klauzule abuzywne, zostanie udostępniony na stronie Konkursu w dniu 26.10.2021 r. o godz. 10:00.
Zbiór danych testowych, składający się z plików zawierających wzorce umowne bez formularzy z klauzulami abuzywnymi, zostanie udostępniony na stronie Konkursu w dniu 9.11.2021r. o godz. 10:00.
Poprawność modelu oceniana jest poprzez wartość metryki F1-score (weighted). F1-score liczone dla problemu sekwencyjnego tagowania z minimalnym pokrycie odpowiadających sobie sekwencji równym 50%.
W celu zgłoszenia Pracy konkursowej Uczestnik wysyła uzupełnione o wynik działania modelu plik lub pliki formacie .jsonl według wzoru zgodnie z załącznikiem nr 5 do Regulaminu.


B. opis koncepcji i architektury rozwiązania dla Systemu Docelowego


Celem przedstawienia opisu koncepcji i architektury rozwiązania dla Systemu Docelowego, Uczestnik powinien przedstawić odpowiedzi na każde z następujących zagadnień wskazanych i opisanych w Regulaminie Konkursu (maksymalnie na 2000 znaków):

  • System umożliwia edytowanie wzorców umownych, np. poprawianie błędów OCR w tekście umów,
  • System pozwala na douczenie modelu wykrywania klauzul abuzywnych,
  • Sterowanie wrażliwością modelu wykrywania klauzul abuzywnych,
  • Wersjonowanie modelu wykrywania klauzul abuzywnych,
  • Architektura modelu do wykrywania klauzul abuzywnych,
  • Interfejs anotacji wzorców klauzulami abuzywnymi,
  • Planowany sposób przeprowadzenia modernizacji, rozwijania aplikacji,
  • Wymagania sprzętowe dla maszyn odpowiedzialnych za trenowanie modeli uczenia maszynowego,
  • Wymagania sprzętowe dla maszyn odpowiedzialnych za inferencję / generowanie predykcji dla modeli uczenia maszynowego,
  • Raportowanie procesu anotacji,
  • Raportowanie jakości modelu wykrywania klauzul abuzywnych,
  • Raportowanie jakości systemu OCR,
  • Silnik indeksowania i przeszukiwania wzorców umownych oraz wyszukiwania klauzul abuzywnych,
  • Rozszerzanie zbioru klauzul abuzywnych i poprawnych postanowień umownych,
  • Przewidywana roczna kosztochłonność utrzymania Systemu Docelowego (TCO, total cost of ownership),
  • Wykorzystanie funkcjonalności Systemu Docelowego do innych zadań Zamawiającego

 

Szczegółowy opis zadania konkursowego na II Etapie został przedstawiony w pkt. 8 Regulaminu Konkursu.

Kryteria oceny II etapu
Skuteczność modelu wykrywania klauzul abuzywnych w różnych źródłach danych - waga 70%
Skuteczność modelu wykrywania klauzul abuzywnych w różnych źródłach danych [tekst, pdf, zdjęcia] oceniana jest poprzez wartość metryki F1-score (weighted). F1-score liczone dla problemu sekwencyjnego tagowania z minimalnym pokrycie odpowiadających sobie sekwencji równym 50%.
Opis koncepcji rozwiązania - waga 30%
Opis koncepcji rozwiązania ma na celu przedstawienie m.in.: - architektury modeli uczenia maszynowego, ich trenowania, procesu produktyzacji oraz zarządzania nimi, - wykorzystywanych technologii oraz procesu wdrożenia, - możliwości wsparcia dla procesu wskazywania klauzul abuzywnych przez anotatorów, - możliwości raportowania systemu.
Nagroda dla najlepszej pracy w II etapie
Nagrodą w II etapie jest zaproszenie do negocjacji umowy na wykonanie całości systemu (wykonanie uszczegółowienia pracy konkursowej)
Zasady dotyczące praw autorskich majątkowych oraz licencji zwrotnej

Wykonawca zapewni w zakresie Systemu Docelowego udzielenie Zamawiającemu licencji deweloperskich i innych, które są niezbędne do prawidłowego korzystania z Systemu na zasadach i polach eksploatacyjnych wskazanych w pkt 14 Regulaminu. Udzielone licencje powinny również umożliwiać pełne korzystanie przez Zamawiającego z wykonanego Systemu Docelowego po okresie 3 lat od jego odbioru.

Pozostałe zapisy mające wpływ na umowę

Umowa na wykonanie systemu AI zawarta w ramach postępowania o udzielenie zamówienia publicznego z wolnej ręki może być zawarta tylko z tym uczestnikiem konkursu, który:

  1. posiada zdolność do czynności prawnych;
  2. nie naruszy praw i dóbr osobistych podmiotów trzecich w związku z dostarczonymi Rozwiązaniami Konkursowymi;
  3. wykorzysta przekazywane przez Zamawiającego dane i informacje wyłącznie na potrzeby realizacji Systemu Docelowego;
  4. nie podlega wykluczeniu z Konkursu na podstawie art. 108 ust. 1 PZP, a także 109 ust. 1 PZP;
  5. nie jest członkiem Sądu Konkursowego lub nie jest powiązany z członkami Sądu Konkursowego, w sposób określony w pkt 13.3. Regulaminu;
  6. nie jest zatrudniony u Zamawiającego lub nie jest powiązany w sposób bezpośredni z Zamawiającym, w sposób określony w pkt 13.3. Regulaminu
  7. spełnia wymagania wskazane w pkt 13.4. Regulaminu w zakresie posiadanych możliwości osobowych umożliwiających wykonanie Systemu Docelowego i dysponuje następującymi zasobami osobowymi:
  • Kierownik Projektu (jedna osoba),
  • Data Scientist [opcjonalnie NLP Researcher / NLP Engineer / ML Engineer] (2 osoby),
  • Data Engineer (1 osoba),
  • Główny Projektant (jedna osoba),
  • Główny Programista (jedna osoba),
  • Business Translator (jedna osoba),
  • Główny Tester (jedna osoba),
  • Eksperci ds. wdrożenia i utrzymania w liczbie minimum 2 osób,
  • Zespół Programistów w liczbie minimum 4 osób,

Szczegółowe informacje dotyczące wymaganego doświadczenia ww. osób zostały wskazane w Regulaminie Konkursu. Zamawiający nie dopuszcza łączenia roli Kierownika Projektu i Głównego Testera z innymi rolami. Dopuszczalne jest łączenie pozostałych, maksymalnie dwóch ról, przez jedną osobę.

Prace związane z wykonaniem Systemu Docelowego i wdrożeniem go u Zamawiającego wraz z jego odbiorem powinny zakończyć się do 31 grudnia 2022 roku.

Wykonawca powinien przenieść prawa autorskie majątkowe lub przekazać licencje do Systemu Docelowego na warunkach wskazanych w Regulaminie Konkursu.

Wykonawca ma obowiązek udzielić gwarancji jakości i rękojmi na zasadach opisanych w Regulaminie Konkursu.

Wypłata wynagrodzenia za wykonanie i wdrożenie Systemu Docelowego będzie podzielona na trzy etapy. Pierwsza transza do 30% wartości zamówienia zostanie wypłacone po przekazaniu prototypu Systemu Docelowego, druga do 30% wartości zamówienia wypłacone będzie po dostarczeniu sprzętu komputerowego do Zamawiającego, a pozostała część wynagrodzenia wypłacone będzie po odbiorze końcowym.

W zakresie pozostałych wymagań, innych niż wskazanych powyżej, związanych z treścią umowy zawartej w ramach postępowania o udzielenie zamówienia publicznego z wolnej ręki znajdą się postanowienia dotyczące m.in: zabezpieczenia prawidłowego wykonania umowy, kar umownych czy kwestii odstąpienia od umowy oraz siły wyższej. Szczegółowe rozwiązanie w tym zakresie przedstawione zostało w Regulaminie Konkursu.

Szczególne warunki konkursu
  • Uczestnicy komunikują się z Zamawiającym za pomocą Platformy GovTech.
  • Zamawiający udziela wyjaśnień dotyczących Regulaminu niezwłocznie, jednak nie później niż na 2 (dwa) dni przed upływem terminu na składania Rozwiązania Konkursowego na Etapie I, pod warunkiem, że wniosek o wyjaśnienie Regulaminu wpłynie co najmniej na 4 (słownie:
    cztery) dni przez terminem składania Rozwiązań Konkursowych na Etapie I. Jeżeli prośba o wyjaśnienie treści Regulaminu wpłynęła po upływie terminu lub dotyczy udzielonych już odpowiedzi i wyjaśnień, Zamawiający może udzielić wyjaśnień albo pozostawić takie wnioski
    bez odpowiedzi.
Kontakt
Anna Bilska-Cicha
tel. 523455644
anna.bilska-cicha@uokik.gov.pl
Pytania i odpowiedzi
Czy konieczne jest pełnomocnictwo dla osoby, z której konta na platformie GovTech będzie składane zgłoszenie i praca konkursowa? Czy istnieje możliwość złożenia zgłoszenia przed 19.10.2021?
Konto na platformie GovTech powinno być utworzone na dane osoby upoważnionej do przesłania prac konkursowych. W celu przedłożenia pełnomocnictwa wraz ze zgłoszeniem do konkursu przez ePUAP można skorzystać ze wzoru dostępnego na platformie GovTech w momencie składania zgłoszenia (wygeneruje się ono w dniu 19.10.2021 r.), bądź już teraz przygotować je w formie standardowego dokumentu zawierającego dane spółki/instytucji, dane osoby upoważnionej do jej reprezentacji oraz zakres pełnomocnictwa (np. do zgłoszenia się do konkursu i złożenia prac konkursowych). Pełnomocnictwo podpisane elektronicznym podpisem kwalifikowanym (por. pkt 7.4. Regulaminu Konkursu) należy załączyć wraz ze zgłoszeniem do konkursu (również podpisane elektronicznym podpisem kwalifikowanym) przez ePUAP na skrzynkę podawczą UOKiK jako pismo ogólne. Do platformy ePUAP będzie prowadził odnośnik w procedurze zgłoszeniowej pracy konkursowej na platformie GovTech, która to procedura będzie aktywna (specjalny przycisk na górze strony Konkursu, po lewej stronie względem "Obserwuj Konkurs") od 10.00 do 16.00 w dniu 19.10.2021 r. W ePUAP na skrzynkę podawczą UOKiK należy przesłać zgłoszenie (i ewentualne pełnomocnictwo - oba prawidłowo podpisane). Zgłoszenie również musi być opatrzone elektronicznym podpisem kwalifikowanym osoby/osób uprawnionej/uprawnionych do reprezentacji spółki bądź wyznaczonego pełnomocnika. W przypadku konsorcjum, zgłoszenie do konkursu wysłane przez ePUAP i podpisane elektronicznym podpisem kwalifikowanym musi złożyć osoba, która ma stosowne pełnomocnictwo (prawidłowo podpisane) od wszystkich podmiotów wchodzących w skład konsorcjum. Wcześniejsze przesłanie zgłoszenia do udziału w konkursie jest możliwe poza platformą konkursową na adres skrzynki podawczej ePUAP UOKiK, niemniej w celu złożenia pracy konkursowej konieczne będzie aktywowanie zgłoszenia do konkursu przez platformę Govtech, zgodnie z zasadami wskazanymi powyżej. Tylko w ten sposób możliwe jest przesłanie Opracowania Studialnego.
Regulamin Serwisu i zasady prywatności nie są dostępne na stronie. Nie działa podany w stopce strony link "Regulamin serwisu i zasady prywatności" https://konkursy.govtech.gov.p l/_pliki/Regulamin-platformy-G ovtech.pdf
Chwilowa niedostępność regulaminu serwisu związana była z prowadzonymi pracami aktualizacyjnymi. Aktualna wersja Regulaminu serwisu jest dostępna pod adresem https://konkursy.govtech.gov.p l/_pliki/Regulamin-platformy-G ovtech.pdf od 6 października 2021r.
W regulaminie napisane jest, że uczestnikiem może być osoba fizyczna. Zakładając, że podszedłbym do konkursu samodzielnie, właśnie jako osoba fizyczna, to czy w przypadku sukcesu i wymogu zbudowania zespołu czy możliwym jest scedowanie moich praw na firmę w której jestem zatrudniony? Chodzi o to, że jako osoba fizyczna nie jestem w stanie skompletować zespołu o którym mowa w pkt 13.4 regulaminu. Czy mogę wtedy zbudować zespół w oparciu o mojego pracodawcę? Czy może od samego początku to wyłącznie pracodawca może być uczestnikiem?
Do konkursu Uczestnicy mogą przystąpić wspólnie z innymi podmiotami (w formie konsorcjum), w tym z innymi osobami fizycznymi. Nie jest jednak możliwa zmiana podmiotowa (de facto zmiana Uczestnika) po zakończeniu konkursu, a więc na etapie negocjacji umowy, kiedy Zamawiający będzie weryfikował spełnienie wymagań dot. składu osobowego zespołu po stronie przyszłego Wykonawcy.
W toku zapoznawania się z informacjami konkursowymi napotkaliśmy wątpliwość w przedmiocie tego na jakim etapie musimy mieć skompletowany zespół, mianowicie: czy po ewentualnym przejściu drugiego etapu mamy jeszcze na to czas?
Spełnienie kryteriów osobowych, wymaganych do podpisania ze Zwycięzcą umowy w ramach postępowania o udzielenie zamówienia publicznego w trybie z wolnej ręki, jest wymagane na etapie zawierania ww. umowy i będzie weryfikowane przez Zamawiającego w momencie negocjowania jej warunków.
Kiedy dokładnie będą wystawione dane testowe oraz do kiedy należy odesłać wyniki? Pytamy się gdyż wydaje się nam że jest niespójność w opisie przedmiotu zamówienia: najpierw: "Przyjmowanie rozwiązań - I etap od 19.10.2021 10:00 do 19.10.2021 16:00", a następnie: "Zbiór danych testowych (podlegających ocenie) zostanie zamieszczony na ww. stronie GovTech w dniu 20.10.2021r."

Data odpowiedzi: 2021-10-01 13:08

Dane testowe w I etapie konkursu zostaną udostępnione 19.10.2021r. o godz. 10:00. Wyniki należy przesłać do godz. 16:00 tego samego dnia (19.10.2021r.). Błąd, który pojawił się w treści ogłoszenia, został poprawiony.
Czy jest dopuszczalne samodzielne wzbogacenie udostępnionego zbioru treningowego?

Data odpowiedzi: 2021-10-01 13:10

Regulamin konkurs nie wyklucza takiej możliwości, a zatem dopuszczalne jest samodzielnie wzbogacenie zbioru treningowego.
Czy POPRAWNE POSTANOWIENIE, o którym mowa jest w opisie etapu I, jest równoważne z BEZPIECZNYM POSTANOWIENIEM UMOWNYM występującym w danych treningowych?

Data odpowiedzi: 2021-10-06 10:33

Tak, są to klasy równoważne.
Czy system ma wykrywać tylko postanowienia abuzywne, a resztę kwalifikować jako postanowienia poprawne zakładając że wszystko co nie jest abuzywne jest poprawne?

Data odpowiedzi: 2021-10-06 10:35

System docelowy ma wskazywać klauzule abuzywne we wzorcach umownych. Kwestia czy będzie on binarnie oceniał abuzywność, czy też zwróci prawdopodobieństwo abuzywności, czy też pewność modelu co do abuzywności, jest kwestią otwartą na etapie wdrażania Systemu docelowego. Na cele etapu 1 Konkursu zawsze to jest klasyfikacja binarna, jednak w docelowej wersji systemu można sobie wyobrazić przypadek, kiedy model określa prawdopodobieństwo abuzywności danego fragmentu tekstu. W taki sposób można ustawiać sobie określone pewności i pracownicy UOKiK mogliby powiększać lub zmniejszać liczbę podejrzanych fragmentów w zależności od wskazanej wartości prawdopodobieństwa.
Czy w Etapie I analiza danych testowych odbywa się u Wykonawcy i Wykonawca wysyła tylko wyniki do Zamawiającego czy też jest to wspólne (Wykonawcy i Zamawiającego) sprawdzenie "na żywo"? / W jaki sposób Zamawiający ma zamiar zweryfikować czy plik z wynikami będzie przygotowany ręcznie czy przez system?

Data odpowiedzi: 2021-10-06 10:37

Wykonawca wysyła tylko wynik prac przygotowanego algorytmu do Zamawiającego i to po stronie Zamawiającego odbywa się ocena wyników przesłanych przez Wykonawcę. Okres czasu na przygotowanie predykcji dla zbioru testowego jest możliwie krótki (6 godzin), bardzo prosto wykonać predykcje w sposób automatyczny. Ręczna ocena przez ekspertów kilku tysięcy tekstów byłaby w tym czasie dosyć trudna. Ponadto każdy Uczestnik zobowiązany jest do przestrzegania Regulaminu Konkursu, który wskazuje, że na etapie I należy wykonać Rozwiązanie Konkursowe w ramach stworzonego modelu binarnej klasyfikacji danych. Ponadto w pkt 3.5. zostało wskazane, iż Rozwiązania Konkursowe mają być efektem prac uwzględniających najnowsze rozwiązania technologiczne oraz metodologiczne w zakresie analizy tekstu.
W danych treningowych występują rekordy które wydają się być niepoprawne, przykład: "Jeżeli na stronie internetowej www." ma przypisaną klasę BEZPIECZNE_POSTANOWIENIE_UMOWN E. Czy jest oczekiwanie Zamawiającego aby system wykrył takie teksty jako "Bezpieczne postanowienie umowne"?

Data odpowiedzi: 2021-10-06 10:51

Model binarny jest tylko 1. etapem w Konkursie i na jego podstawie nie planuje się uzyskać modelu docelowego wykrywającego klauzule abuzywne.
W jakim formacie (txt, doc, pdf, jpg, csv) będą dane testowe?

Data odpowiedzi: 2021-10-06 10:55

Dane treningowe i testowe etapu 1 będą w takiej samej formie (plik .csv wygenerowany na podstawie Data Frame z pandas). W danych testowych nie będzie wskazanej klasy.
W danych treningowych znalazłem taki wpis: "W przypadku, gdy opakowanie przesyłki nosi znamiona uszkodzenia lub, gdy plomby (taśmy) są zerwane należy nie przyjmować przesyłki i w obecności kuriera sporządzić protokół szkody oraz skontaktować się jak najszybciej ze sprzedawcą w celu,KLAUZULA_ABUZYWNA;;;" Wydaje mi się, że powyższe stwierdzenie nie jest klauzulą abuzywną. Jeśli natomiast sprawdzenie przesyłki byłoby niezbędnym warunkiem uwzględnienia roszczeń klienta z tytułu uszkodzenia, to wtedy klauzula taka byłaby abuzywna. Proszę o potwierdzenie.

Data odpowiedzi: 2021-10-06 10:59

Potwierdzamy prawidłowe sklasyfikowanie ww. wpisu jako klauzuli abuzywnej.
W opisie zadania mowa o modelu binarnej klasyfikacji, natomiast zaproponowana metoda dostarczania wyników nie daje organizatorowi konkursu żadnego narzędzie do weryfikacji czy przesłane wyniki pochodzą od wytrenowanego na przesłanym zbiorze treningowym modelu binarnej klasyfikacji, a nie np. zostały opracowanego przez wystarczająco duży zespół studentów prawa. W regulaminie nie znalazłem żadnych informacji na ten temat, stąd pytanie jak to będzie weryfikowane w czasie oceny wyników.

Data odpowiedzi: 2021-10-06 11:01

Okres czasu na przygotowanie predykcji dla zbioru testowego jest możliwie krótki (6 godzin), bardzo prosto wykonać predykcje w sposób automatyczny. Ręczna ocena przez ekspertów kilku tysięcy tekstów byłaby w tym czasie dosyć trudna. Ponadto każdy Uczestnik zobowiązany jest do przestrzegania Regulaminu Konkursu, który wskazuje, że na etapie I należy wykonać Rozwiązanie Konkursowe w ramach stworzonego modelu binarnej klasyfikacji danych. Ponadto w pkt 3.5. zostało wskazane, iż Rozwiązania Konkursowe mają być efektem prac uwzględniających najnowsze rozwiązania technologiczne oraz metodologiczne w zakresie analizy tekstu.
Wg regulaminu - H. W celu zgłoszenia Opracowania studialnego Uczestnik wysyła plik lub pliki formacie .jsonl, według wzoru wskazanego w załączniku nr 2, z kolumnami wskazującymi ID postanowienia oraz odpowiadającej temu postanowieniu klasy. Jednak załącznik nr 2 nie posiada ID postanowienia, a cały tekst postanowienia. Proszę wyjaśnić, jak powinno wyglądać zgłoszenie opracowania studialnego przez Uczestnika?

Data odpowiedzi: 2021-10-06 11:03

ID postanowienia i tekst postanowienia są w tym przypadku tym samym.
Zgodnie z pkt. 2.3 Regulaminu warunkiem koniecznym dla wzięcia udziału w Konkursie jest przesłanie zgłoszenia na adres elektronicznej skrzynki podawczej Zamawiającego. Czy przez tę skrzynkę należy rozumieć dostępną w systemie ePUAP skrzynkę /UOKiK/SkrytkaESP i czy w takim wypadku dostępne są specjalne formularze - czy może wystarczające jest skorzystanie z pisma ogólnego? W wypadku zgłoszenia dokonywanego przez system ePUAP, czy dopuszczalne jest zastosowanie podpisu zaufanego zamiast podpisu kwalifikowanego? Czy możliwe jest podpisanie przez Uczestników biorących wspólnie udział w Konkursie pełnomocnictwa, o którym mowa w pkt. 7.4 Regulaminu również podpisem zaufanym?

Data odpowiedzi: 2021-10-06 12:01

Możliwość przesyłania zgłoszenia przy pośrednictwie Platformy Govtech będzie możliwa w dniu 19 października od godziny 10.00, kiedy zostanie udostępniony zbiór testowy dla I etapu Konkursu. W ramach Platformy Govtech przyszły Uczestnik będzie miał możliwość wygenerowania formularza zgłoszeniowego z podstawowymi danymi identyfikacyjnymi, jak nazwa czy forma organizacyjna (oraz formularza pełnomocnictwa, które należy następnie wydrukować, wypełnić, zeskanować, a następnie podpisać elektronicznym podpisem kwalifikowanym). Następnie przyszły Uczestnik zostanie przekierowany osobnym przyciskiem do systemu ePUAP, gdzie będzie mógł złożyć zgłoszenie na skrzynkę podawczą UOKiK jako pismo ogólne. Do tego pisma złożonego w formie elektronicznej należy dołączyć podpisane elektronicznym podpisem kwalifikowanym zgłoszenie do konkursu oraz pełnomocnictwa (jeżeli mają zastosowanie). Nie jest dopuszczalne opatrzenie zgłoszenia do konkursu wyłącznie podpisem zaufanym - brak elektronicznego podpisu kwalifikowanego oznaczać będzie nieważność zgłoszenia do konkursu (art. 63 ust. 1 ustawy z dnia 11 września 2019 r. prawo zamówień publicznych). Elektronicznym podpisem kwalifikowanym muszą być również opatrzone wszystkie pełnomocnictwa. W dalszej kolejności, w ramach Platformy Govtech, Uczestnik będzie miał możliwość załączenia Opracowania Studialnego, które nie może być podpisane w żadnej formie (musi być zachowana anonimowość).
W regulaminie jest informacja: "Podmioty, które chcą wziąć udział w Konkursie zobligowane są do dokonywania zgłoszenia do Konkursu podpisanego kwalifikowanym podpisem elektronicznym za pośrednictwem elektronicznej skrzynki podawczej Zamawiającego (...)". W jaki dokładnie sposób należy zgłosić swój udział w konkursie? Czy jest jakiś wzór zgłoszenia, który należy wysłać na skrzynkę podawczą?

Data odpowiedzi: 2021-10-06 12:14

Możliwość przesyłania zgłoszenia przy pośrednictwie Platformy Govtech będzie możliwa w dniu 19 października od godziny 10.00, kiedy zostanie udostępniony zbiór testowy dla I etapu Konkursu. W ramach Platformy Govtech przyszły Uczestnik będzie miał możliwość wygenerowania formularza zgłoszeniowego z podstawowymi danymi identyfikacyjnymi, jak nazwa czy forma organizacyjna (oraz formularza pełnomocnictwa, które należy następnie wydrukować, wypełnić, zeskanować, a następnie podpisać elektronicznym podpisem kwalifikowanym). Następnie przyszły Uczestnik zostanie przekierowany osobnym przyciskiem do systemu ePUAP, gdzie będzie mógł złożyć zgłoszenie na skrzynkę podawczą UOKiK jako pismo ogólne. Do tego pisma złożonego w formie elektronicznej należy dołączyć podpisane elektronicznym podpisem kwalifikowanym zgłoszenie do konkursu oraz pełnomocnictwa (jeżeli mają zastosowanie). Nie jest dopuszczalne opatrzenie zgłoszenia do konkursu wyłącznie podpisem zaufanym - brak elektronicznego podpisu kwalifikowanego oznaczać będzie nieważność zgłoszenia do konkursu (art. 63 ust. 1 ustawy z dnia 11 września 2019 r. prawo zamówień publicznych). Elektronicznym podpisem kwalifikowanym muszą być również opatrzone wszystkie pełnomocnictwa. W dalszej kolejności, w ramach Platformy Govtech, Uczestnik będzie miał możliwość załączenia Opracowania Studialnego, które nie może być podpisane w żadnej formie (musi być zachowana anonimowość).
Czy dane testowe będą zawierały tylko przykłady (teksty) należące do jednej z dwóch klas (POSTANOWIENIE_ABUZYWNE, BEZPIECZNE_POSTANOWIENIE_UMOWN E), czy również będą zawierały przykłady (teksty) nie należące do żadnej z tych klas?

Data odpowiedzi: 2021-10-06 13:53

W pierwszym etapie tak. Każdy z fragmentów tekstów powinien posiadać odpowiednią klasę.
Wśród danych treningowych istnieje wpis: Odbiorca może domagać się obniżenia należności w razie udowodnienia zawinionego dostarczania wody o pogorszonej bądź złej jakości lub o ciśnieniu uniemożliwiającym normalne korzystanie z wody.,KLAUZULA_ABUZYWNA;;; Na podstawie https://www.saos.org.pl/judgme nts/10278 wydaje mi się, że samo domaganie się obniżenia należności nie jest zapisem nielegalnym. Jednakże dodanie - Obniżenie stanowić może do 10% należności - już jest. Tym samym, moim zdaniem, istnieje błąd w danych treningowych. Czy jestem w błędzie?

Data odpowiedzi: 2021-10-06 14:19

Analizowane postanowienie było kwestionowane przez Prezesa UOKiK jako niedozwolone w ramach tzw. wezwania miękkiego (art. 49a ustawy o ochronie konkurencji i konsumentów). Z uwagi na powyższe, prawidłowo zostało ono sklasyfikowane w zbiorze danych treningowych dla I etapu konkursu jako klauzula abuzywna.
W pliku treningowym w liniach 1349, 1853 i 2057 brak jest ocen klauzul.

Data odpowiedzi: 2021-10-06 14:24

Przy zmianie nazwy pliku zawierającego zbiór treningowy przed zamieszczeniem go na stronie Govtech pojawił się ten problem i został on już wyeliminowany. Poprawny plik został podmieniony na stronie Konkursu w dniu 6 października 2021 r.
Czy KLAUZULA_ABUZYWNA oraz POSTANOWIENIE_ABUZYWNE są równoważne? KLAUZULA_ABUZYWNA występuje w dane treningowe_I etap.csv. POSTANOWIENIE_ABUZYWNE występuje w Załącznik nr 2 - wyniki etap 1 - binarna klasyfikacja.jsonl

Data odpowiedzi: 2021-10-07 12:55

Tak, są to klasy równoważne.
W danych treningowych znajdują się błędy (prawdopodobnie OCRa), np w liniach: 2967, 3511, 4004.

Data odpowiedzi: 2021-10-11 13:08

Jest to celowy zabieg. Bardzo dużo dokumentów trafiających do UOKiK jest w postaci PDF lub zdjęć, stąd OCR to cześć systemu docelowego. Należy zwrócić uwagę na możliwość występowania błędów tego typu opracowując model wykrywania abuzywności.
Czy formularze zgłoszeniowe z pełnomocnictwami będą również udostępnione 19 października 2021? Czy jednak będą one dostępne wcześniej? W przypadku instytucji takich jak uczelnie otrzymanie odpowiednich pełnomocnictw będzie prawdopodobnie niewykonalne w ciągu 6 godzin.

Data odpowiedzi: 2021-10-11 14:32

Opcja zgłoszenia się do konkursu poprzez platformę GovTech będzie aktywna w dniu 19.10.2021 r. w godz. 10:00-16:00. W przypadku reprezentowania spółki/instytucji przez wyznaczonego pracownika, do wygenerowania zgłoszenia należy dołączyć pełnomocnictwo dla tego pracownika opatrzone elektronicznym podpisem kwalifikowanym przez osoby upoważnione do reprezentowania spółki/instytucji. W celu przedłożenia pełnomocnictwa wraz ze zgłoszeniem do konkursu można skorzystać ze wzoru dostępnego na platformie GovTech w momencie składania zgłoszenia (w dniu 19.10.2021 r.), bądź już teraz przygotować je w formie standardowego dokumentu zawierającego dane spółki/instytucji, dane osoby upoważnionej do jej reprezentacji oraz zakres pełnomocnictwa. Uczestnik składający zgłoszenie do udziału w konkursie za pośrednictwem platformy Govtech zostanie następnie przekierowany do systemu ePUAP, gdzie będzie mógł złożyć zgłoszenie na skrzynkę podawczą UOKiK jako pismo ogólne. Do tego pisma złożonego w formie elektronicznej należy dołączyć podpisane elektronicznym podpisem kwalifikowanym zgłoszenie do konkursu oraz pełnomocnictwa (jeżeli mają zastosowanie). W przypadku konsorcjum, zgłoszenie do konkursu wysłane przez ePUAP i podpisane elektronicznym podpisem kwalifikowanym musi złożyć osoba, która ma stosowne pełnomocnictwo (prawidłowo podpisane) od wszystkich podmiotów wchodzących w skład konsorcjum. Konto na platformie GovTech powinno być utworzone na dane osoby upoważnionej do przesłania zgłoszenia i prac konkursowych.
W punkcie 7.3. regulaminu znajduje się informacja, że Pełnomocnikiem Uczestników wspólnie biorących udział w Konkursie może być jeden z tych Uczestników, ale czy Pełnomocnikiem może nie być uczestnik i co za tym idzie, czy jeden Pełnomocnik może reprezentować kilka niezależnych zespołów?

Data odpowiedzi: 2021-10-13 17:31

Pełnomocnik musi posiadać upoważnienie od Uczestników do złożenia prac konkursowych czy zgłoszenia się do Konkursu. Jeżeli w Konkursie zamierzają wystąpić różne podmioty, ale wspólnie w ramach konsorcjum, to Pełnomocnik musi mieć upoważnienie od każdego z członków wchodzących w skład konsorcjum.
Czy dozwolone jest użycie Rejestru klauzul niedozwolonych, znajdującego się na stronie UOKiK, jako wzbogacenie zbioru treningowego? Czy nie ma zagrożenia, że identyczne klauzule będą znajdować się w zbiorze testowym? Wykorzystanie rejestru w trakcie uczenia modelu może znacząco podnieść wyniki na zbiorze testowym, jeśli przykłady będą się pokrywać

Data odpowiedzi: 2021-10-15 12:04

Jest to dozwolone działanie.
Zgodnie z załącznikiem 2, plikiem binarna klasyfikacja.jsonl, pierwszy wiersz pliku wyjściowego kończy się przecinkiem; przecinek kończący wiersz nie jest stosowany w następnych liniach przykładowego pliku. Czy jest to celowy zabieg?

Data odpowiedzi: 2021-10-15 13:02

Jest to zbędny artefakt, jsonl nie powinien kończyć linii przecinkami. Plik w zakresie załącznika nr 2 i 5 do Regulaminu Konkursu został poprawiony.
Po analizie semantycznej danych treningowych znalazłem pewne sprzeczności. Przykładowo w linii 1746 jest klauzula: "nie podlegają zwrotowi,KLAUZULA_ABUZYW NA". Jest to bardzo krótka klauzula, która nie precyzuje podmiotu w zdaniu, ani żadnych dodatkowych warunków. Tym samym wynika z tego, że nie mają one znaczenia dla oceny. Jednak jest to sprzeczne z linią 3971: ""Pobrane przez Bank prowizje i opłaty nie podlegają zwrotowi, z zastrzeżeniem postanowień § 9 pkt",BEZPIECZNE_POS TANOWIENIE_UMOWNE" lub linią 2414: "5.Czesne płatne jest przez 12 miesięcy w roku. 6.W przypadku wpłaty czesnego oraz wpisowego przy późniejszej rezygnacji z usługi - czesne i wpisowe nie podlega zwrotowi.,BEZPIECZNE_POS TANOWIENIE_UMOWNE" lub linią 3070: ""c) rozmowy kwalifikacyjnej. 3.Opłata wpisowa nie podlega zwrotowi zarówno w razie nie rozpoczęcia przez ucznia nauki, jak również przerwania nauki w późniejszym okresie.",BEZPIECZN E_POSTANOWIENIE_UMOWNE&q uot; W innym przypadku klauzula z linii 1499: "Okrycia bez przedmiotów wartościowych należy pozostawić w szatni,KLAUZULA_ABUZYWNA " jest częścią klauzuli z linii 2235: "Okrycia bez przedmiotów wartościowych należy pozostawić w szatni Za przedmioty wartościowe uważa się,BEZPIECZNE_POSTANOW IENIE_UMOWNE" oraz klauzuli z linii 1968: ""Okrycia wierzchnie bez żadnych przedmiotów wartościowych należy pozostawić w szatni – szatnia jest obowiązkowa i bezpłatna Za przedmioty wartościowe uważa się przedmioty o wartości ponad 200 złotych, pieniądze, papiery wartościowe",BEZPI ECZNE_POSTANOWIENIE_UMOW NE", które już są postanowieniami bezpiecznymi. Znalazłem 105 podobnie sprzecznych przypadków. Czy to są błędy w danych treningowych? Jeśli Państwa zdaniem, to nie są błędy w danych, to jak należy powyższe przypadki interpretować? Pozdrawiam.

Data odpowiedzi: 2021-10-16 09:36

Klauzule abuzywne mocno zależą od kontekstu ich występowania. Podczas tworzenia bazy klauzul abuzywnych, oprócz wskazania fragmentu we wzorcu umowy, gdzie owa klauzula występowała, wskazywany był również fragment który jest frazą sygnalizującą abuzywność. Jak widać czasami został wskazany bardzo krótki fragment, np. "nie podlegają zwrotowi". Tworząc docelowy model uczenia maszynowego wykrywający postanowienia potencjalnie abuzywne należy pamiętać, iż należy patrzeć na większy kontekst niż wyłącznie kilka słów. Co więcej model wykrywania abuzywności ma wskazywać fragmenty potencjalnie abuzywne, ale dopiero pracownik UOKiK będzie potwierdzał bądź odrzucał dane postanowienia w systemie docelowym.
Przykład: "( 4.Sprzedawca zastrzega sobie prawo do zmiany Regulaminu. Zmiany obowiązują z chwilą ich ogłoszenia na stronie internetowej Sklepu internetowego." powinien być oznaczony jako klauzula abuzywna.

Data odpowiedzi: 2021-10-17 17:40

Należy pamiętać, iż abuzywność danej klauzuli zależy nie tylko od jej literalnej treści, ale również od kontekstu jej występowania, jak i od treści innych postanowień wzorca umownego. O ile wskazany fragment ma charakter abuzywny wyrwany z kontekstu danego wzorca, to przy analizie innych postanowień konkretnego wzorca umownego mógł on zostać oznaczony jako dozwolony, co skutkowało takim jego skategoryzowaniem na potrzeby I etapu konkursu.
Jaki będzie rozmiar zbioru uczącego w drugim etapie? Chodzi o liczbę umów i opisanych postanowień.

Data odpowiedzi: 2021-10-17 17:42

Rozmiar zbioru treningowego i szczegóły z tym związane zostaną ujawnione w momencie jego udostępnienia, zgodnie z warunkami Regulaminu Konkursu.
ZADAJ PYTANIE
Dokumentacja postępowania
TAGI
uczenie maszynoweweb crawlerOCR
W celu świadczenia usług na najwyższym poziomie stosujemy pliki cookies. Korzystanie z naszej witryny oznacza, że będą one zamieszczane w Państwa urządzeniu. W każdym momencie można dokonać zmiany ustawień Państwa przeglądarki. Zobacz politykę cookies.