Serwis Rzeczypospolitej Polskiej
Platforma GovTech
Wykonanie oprogramowania wykorzystującego AI do analizy tekstowej wzorców umów stosowanych w obrocie konsumenckim pod kątem wyszukiwania niedozwolonych klauzul we wzorcach umów w relacji B2C
pula nagród
50 000,00zł brutto
maksymalny budżet wdrożenia
1 450 000,00zł brutto
Funkcjonowanie dziś, opis potrzeby

UOKiK organizuje Konkurs w ramach realizacji projektu współfinansowanego ze środków UE pt. "Artificial Intelligence for Consumer Protection Empowerment". Jego celem jest przygotowanie narzędzia AI, które mogłoby w znaczący sposób przyczynić się do zwiększenia efektywności i skuteczności wykrywania potencjalnych naruszeń praw konsumentów. Projekt jest odpowiedzią na zidentyfikowaną potrzebę przyspieszenia procesu analizy dużej ilości danych przetwarzanych przez Urząd, a także zautomatyzowania czynności, które mogą być wykonywane przy wykorzystaniu sztucznej inteligencji i uwolnienia ograniczonych zasobów ludzkich. Aktualnie Urząd funkcjonuje głównie w schemacie reaktywnym: negatywne zdarzenie konsumenckie (np. postanowienie zawarte w umowie z konsumentem wyłączające odpowiedzialność przedsiębiorcy lub postanowienie uprawniające przedsiębiorcę do nałożenia wysokiej kary umownej) -> poszkodowany konsument -> zgłoszenie do UOKiK -> ocena stanu faktycznego -> reakcja organu nadzoru (wszczęcie postępowania administracyjnego, wysłanie wezwania do przedsiębiorcy, wydanie decyzji administracyjnej zakazującej określonych praktyk). 

Zdjęcia
Funkcjonowanie dziś, opis potrzeby
Oczekiwana zmiana

Zamawiający planuje, iż w wyniku wdrożenia Systemu Docelowego dojdzie do zwiększenia efektywności wykrywania naruszeń praw konsumentów we wzorcach umownych analizowanych przez Urząd dzięki zwiększeniu możliwości automatycznej analizy dużej ilości wzorców umów stosowanych w obrocie konsumenckim. W rezultacie pozwoli to na szybkie i skuteczne eliminowanie z obrotu niedozwolonych klauzul, a także szerszy, celowany monitoring wzorców umownych zamieszczonych w Internecie. Zastosowanie Systemu Docelowego pozwoli wesprzeć pracowników Urzędu we wstępnej ocenie postanowień wzorców umownych poprzez zwrócenie uwagi na konkretne postanowienia, które mogą mieć charakter niedozwolony.
W związku z wdrożeniem Systemu Docelowego powinna nastąpić możliwość przestawienia działania Zamawiającego na schemat proaktywny, w którym to Urząd samodzielnie wyszukuje wzorce umowne stosowane w wybranym segmencie gospodarki i dokonuje automatycznej wstępnej ich kontroli pod kątem występowania postanowień niedozwolonych. W wyniku takiego działania pracownicy Urzędu, mogliby skoncentrować swoje wysiłki na konkretnych segmentach gospodarki oraz konkretnych wzorcach umownych (i przedsiębiorcach je stosujących), w których może dochodzić do największych nadużyć w zakresie stosowania postanowień abuzywnych. Takie podejście spowodowałoby, że Urząd mógłby reagować zanim dojdzie do pokrzywdzenia konsumentów, a zakres planowanych działań mógłby być większy niż dotychczas.

Wymagania funkcjonalne

A. Dodawanie wzorców umownych do analizy - podstawową funkcją Systemu Docelowego będzie analiza wzorców umownych (regulaminów, ogólnych warunków umownych, umów i innych tekstów prawniczych) - dodanych przez pracownika Urzędu lub znalezionych przez crawlera internetowego - pod kątem występowania w nich klauzul abuzywnych (postanowień niedozwolonych), o których mowa w art. 385[1] §1 Kodeksu cywilnego.

B. Analiza wzorca umownego dokonana przez System - System powinien dokonać analizy pojedynczego wzorca umownego (łącznie z wykonaniem OCR, wskazaniem klauzul umownych jako abuzywne oraz zapisaniem informacji w systemie). System powinien również udostępniać pracownikowi Urzędu propozycje uzasadnienia prawnego (stworzone w oparciu o uzasadnienia znajdujące się w bazie danych) wskazującego powody, dla których znaleziona klauzula umowna może zostać uznana za niedozwoloną.

C. OCR (Optical Character Recognition – optyczne rozpoznawanie znaków) - System powinien umożliwiać transformację na edytowalny tekst zeskanowych wzorców umownych, jak również dokumentów pozyskanych przez Urząd od podmiotów/osób trzecich, a następnie zeskanowych przez pracownika Urzędu jako zdjęcie do formatu .pdf, .png lub równoważny. Skanowane będą również w ramach systemu uzasadnienia prawne orzeczeń sądowych, celem uzupełnienia zbioru w bazie danych.

D. Baza danych - na potrzeby uczenia się Systemu w procesie jego wdrażania będzie składała się z postanowień abuzywnych zamieszczonych w takich dokumentach jak: rejestr klauzul niedozwolonych dostępny na stronie internetowej UOKiK pod adresem uokik.gov.pl, wyroki sądowe w sprawach dotyczących klauzul abuzywnych znajdujących się w rejestrze (orzeczenia Sądu Ochrony Konkurencji i Konsumentów, Sądu Apelacyjnego w Warszawie oraz Sądu Najwyższego), wyroki sądowe z odwołań od decyzji Prezesa UOKiK wydanych w oparciu o art. 23b-c ustawy o ochronie konkurencji i konsumentów oraz formularze przygotowane przez pracowników Urzędu. Docelowo System powinien umożliwiać automatyczną weryfikację wprowadzonych przez pracownika UOKiK orzeczeń sądowych pod kątem wyodrębnienia z niech (na potrzeby zbudowania bazy danych) uzasadnienia prawnego istotnego z punktu widzenia ocenianej klauzuli abuzywnej.

E. Uzupełnianie bazy danych przez pracownika Urzędu - System powinien posiadać odpowiednią funkcjonalność w ramach dostępnego interfejsu, w ramach której możliwe będzie ręczne wpisywanie w formularzu nowych klauzul abuzywnych wraz z uzasadnieniem prawnym i innymi elementami do istniejącej już bazy danych w Systemie.

F. Uczenie się Systemu pod nadzorem pracownika Urzędu - System w ramach analizy wzorców umownych powinien pokazywać pracownikowi Urzędu wynik przedmiotowych analiz i pozostawiać mu ostateczną decyzję dotyczącą tego, czy wskazane przez System klauzule są niedozwolone czy zgodne z dobrymi obyczajami. Wybory dokonywane przez pracowników Urzędu powinny być zapisywane w Systemie i uwzględniane przy kolejnych dokonywanych analizach wzorców umów i klasyfikowania określonych postanowień jako abuzywnych.

G. Crawler (funkcjonalność dodatkowa, ale niezbędna) - System powinien być wyposażony w moduł do przeszukiwania internetu w zakresie wzorców umownych (dostępnych zarówno w formatach takich, jak .pdf - w tym pliki graficzne - i inne podobne oraz zamieszczonych bezpośrednio w treści strony internetowej, jak regulaminy sklepów internetowych) lub treści postanowień umownych według kryteriów wskazanych przez pracownika Urzędu.

H. Dostępność oraz interfejs - System powinien być dostępny z poziomu przeglądarki internetowej po wpisaniu odpowiedniego adresu internetowego, wyłącznie przy podłączeniu pracownika do infrastruktury teleinformatycznej Urzędu.

Szczegółowe wymagania dotyczące funkcjonalności Systemu Docelowego, a także warunków technicznych i sprzętowych zostały opisane w pkt. 6 Regulaminu Konkursu.

 

Harmonogram
Przyjmowanie rozwiązań - I etap od 19.10.2021 10:00 do 19.10.2021 16:00
Ocena propozycji 26.10.2021 17:31
Przyjmowanie rozwiązań - II etap od 16.11.2021 10:00 do 16.11.2021 16:00
Ogłoszenie wyników do 30.11.2021 14:39
Szczegóły I etapu konkursu

Opracowanie studialne na I Etapie polega na przedstawieniu wyników pozwalających na ocenę skuteczności modelu binarnej klasyfikacji postanowień umownych. Model binarnej klasyfikacji ma na celu określenie czy dany fragment wzorca umownego jest postanowieniem abuzywnym (niedozwolonym postanowieniem umownym) czy też jest poprawnym (dozwolonym) zapisem umownym.
Zbiór danych treningowych dostępny jest na stronie Govtech poświęconej niniejszemu Konkursowi od dnia ogłoszenia Konkursu. Zbiór danych testowych (podlegających ocenie) zostanie zamieszczony na ww. stronie GovTech w dniu 19.10.2021r. Każdy Uczestnik będzie mógł pobrać zbiór treningowy (plik w formacie .csv) zawierający fragmenty wzorców umów w formie tekstowej oraz przypisaną do nich klasę KLAUZULA ABUZYWNA albo POPRAWNE POSTANOWIENIE. Fragmenty umów zostały ręcznie zanotowane przez pracowników Zamawiającego.
W dniu, w którym upływa termin złożenia Opracowania studialnego– zgodnie z Regulaminem - udostępniony zostanie Uczestnikom na stronie Govtech poświęconej niniejszemu Konkursowi zbiór danych testowych zawierający postanowienia umowne, dla których należy wskazać czy są postanowieniami abuzywnymi czy też poprawnymi postanowieniami umownymi.
Poprawność modelu oceniana jest poprzez wartość metryki F1-score (weighted), czyli średniej harmonicznej precyzji oraz dokładności modelu ważonej licznością klas.
W celu zgłoszenia Opracowania studialnego Uczestnik wysyła plik lub pliki formacie .jsonl, według wzoru wskazanego w załączniku nr 2, z kolumnami wskazującymi ID postanowienia oraz odpowiadającej temu postanowieniu klasy.

Szczegółowy opis zadania konkursowego na I Etapie został przedstawiony w pkt. 8 Regulaminu Konkursu.

Dane testowe dla I etapu konkursu zostały opublikowane na stronie konkursu w dniu 19.10.2021r. o godz. 10:00.

Pliki udostępniane w I etapie
Kryteria oceny I etapu
poprawność modelu - waga 100%
W pierwszym etapie autorzy najlepszych prac otrzymają nagrody finansowe. oraz zaproszenie do złożenia prac w drugim etapie
1 miejsce: 10 000,00 PLN
2 miejsce: 10 000,00 PLN
3 miejsce: 10 000,00 PLN
4 miejsce: 10 000,00 PLN
5 miejsce: 10 000,00 PLN
Wyniki oceny I etapu
LpPodmiotWynik sumaryczny
1(zanonimizowany)84.39
2(zanonimizowany)82.90
3(zanonimizowany)79.48
4(zanonimizowany)84.62
5(zanonimizowany)82.88
6(zanonimizowany)84.95
7ENELPOL SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ
Cegielniana 4A 26, Kraków
30-404 Kraków
89.84
8(zanonimizowany)88.24
9(zanonimizowany)88.94
10(zanonimizowany)76.68
11(zanonimizowany)82.83
12(zanonimizowany)79.63
13(zanonimizowany)57.59
14(zanonimizowany)89.80
15(zanonimizowany)81.30
16(zanonimizowany)88.20
17(zanonimizowany)89.13
18(zanonimizowany)87.70
19(zanonimizowany)88.93
20(zanonimizowany)88.34
21(zanonimizowany)Praca odrzucona
22(zanonimizowany)84.33
23(zanonimizowany)87.20
24(zanonimizowany)84.97
Szczegóły II etapu konkursu

Praca Konkursowa na II Etapie składa się z dwóch niezależnych elementów, które będą następnie osobno oceniane przez Sąd Konkursowy, tj:


A. sposób wykrywania klauzul abuzywnych w różnych źródłach danych [tekst, pdf, zdjęcia]

Ocenie podlega skuteczność modelu wykrywającego fragmenty zawierające klauzule abuzywne, jednakże zamiast gotowych fragmentów postanowień umownych, każdy Uczestnik II Etapu otrzymuje realne wzorce umowne w formatach takich jak *.doc, *.docx, *.pdf, *.png, *.jpg. W celu otrzymania tekstów owych wzorców należy wyekstrahować owe teksty z plików między innymi korzystając z narzędzi typu OCR. 
Zbiór danych treningowych, składający się z plików zawierających wzorce umowne oraz zbiór formularzy wskazujących wzorzec oraz znalezione przez pracowników Zamawiającego klauzule abuzywne, zostanie udostępniony na stronie Konkursu w dniu 02.11.2021 r.
Zbiór danych testowych, składający się z plików zawierających wzorce umowne bez formularzy z klauzulami abuzywnymi, zostanie udostępniony na stronie Konkursu w dniu 16.11.2021r. o godz. 10:00.
Poprawność modelu oceniana jest poprzez wartość metryki F1-score (weighted). F1-score liczone dla problemu sekwencyjnego tagowania z minimalnym pokrycie odpowiadających sobie sekwencji równym 50%.
W celu zgłoszenia Pracy konkursowej Uczestnik wysyła uzupełnione o wynik działania modelu plik lub pliki formacie .jsonl według wzoru zgodnie z załącznikiem nr 5 do Regulaminu.


B. opis koncepcji i architektury rozwiązania dla Systemu Docelowego


Celem przedstawienia opisu koncepcji i architektury rozwiązania dla Systemu Docelowego, Uczestnik powinien przedstawić odpowiedzi na każde z następujących zagadnień wskazanych i opisanych w Regulaminie Konkursu (maksymalnie na 2000 znaków):

  • System umożliwia edytowanie wzorców umownych, np. poprawianie błędów OCR w tekście umów,
  • System pozwala na douczenie modelu wykrywania klauzul abuzywnych,
  • Sterowanie wrażliwością modelu wykrywania klauzul abuzywnych,
  • Wersjonowanie modelu wykrywania klauzul abuzywnych,
  • Architektura modelu do wykrywania klauzul abuzywnych,
  • Interfejs anotacji wzorców klauzulami abuzywnymi,
  • Planowany sposób przeprowadzenia modernizacji, rozwijania aplikacji,
  • Wymagania sprzętowe dla maszyn odpowiedzialnych za trenowanie modeli uczenia maszynowego,
  • Wymagania sprzętowe dla maszyn odpowiedzialnych za inferencję / generowanie predykcji dla modeli uczenia maszynowego,
  • Raportowanie procesu anotacji,
  • Raportowanie jakości modelu wykrywania klauzul abuzywnych,
  • Raportowanie jakości systemu OCR,
  • Silnik indeksowania i przeszukiwania wzorców umownych oraz wyszukiwania klauzul abuzywnych,
  • Rozszerzanie zbioru klauzul abuzywnych i poprawnych postanowień umownych,
  • Przewidywana roczna kosztochłonność utrzymania Systemu Docelowego (TCO, total cost of ownership),
  • Wykorzystanie funkcjonalności Systemu Docelowego do innych zadań Zamawiającego

 

Szczegółowy opis zadania konkursowego na II Etapie został przedstawiony w pkt. 8 Regulaminu Konkursu.

Dane testowe dla II etapu konkursu zostały opublikowane na stronie konkursu w dniu 16.11.2021r. o godz. 9:20.

Pliki udostępniane w II etapie
Kryteria oceny II etapu
Skuteczność modelu wykrywania klauzul abuzywnych w różnych źródłach danych - waga 70%
Skuteczność modelu wykrywania klauzul abuzywnych w różnych źródłach danych [tekst, pdf, zdjęcia] oceniana jest poprzez wartość metryki F1-score (weighted). F1-score liczone dla problemu sekwencyjnego tagowania z minimalnym pokrycie odpowiadających sobie sekwencji równym 50%.
Opis koncepcji rozwiązania - waga 30%
Opis koncepcji rozwiązania ma na celu przedstawienie m.in.: - architektury modeli uczenia maszynowego, ich trenowania, procesu produktyzacji oraz zarządzania nimi, - wykorzystywanych technologii oraz procesu wdrożenia, - możliwości wsparcia dla procesu wskazywania klauzul abuzywnych przez anotatorów, - możliwości raportowania systemu.
Nagroda dla najlepszej pracy w II etapie
Nagrodą w II etapie jest zaproszenie do negocjacji umowy na wykonanie całości systemu (wykonanie uszczegółowienia pracy konkursowej)
Wyniki oceny II etapu
Poniższa tabela prezentuje oceny dokonane przez Zamawiającego po II etapie konkursu. Podmioty, których oceny dotyczą zostaną odsłonięte po zakończeniu konkursu. Jeśli Twoja praca znajduje się na liście - zaloguj się, a Twój aktualny wynik zostanie odsłonięty.
LpPodmiotWynik sumaryczny
1(zanonimizowany)0.27
2Ośrodek Przetwarzania Informacji – Państwowy Instytut Badawczy
Al. Niepodległości 188 B , Warszawa
00-608 Warszawa
0.44
3(zanonimizowany)0.31
4(zanonimizowany)0.42
5(zanonimizowany)0.25
Zasady dotyczące praw autorskich majątkowych oraz licencji zwrotnej

Wykonawca zapewni w zakresie Systemu Docelowego udzielenie Zamawiającemu licencji deweloperskich i innych, które są niezbędne do prawidłowego korzystania z Systemu na zasadach i polach eksploatacyjnych wskazanych w pkt 14 Regulaminu. Udzielone licencje powinny również umożliwiać pełne korzystanie przez Zamawiającego z wykonanego Systemu Docelowego po okresie 3 lat od jego odbioru.

Pozostałe zapisy mające wpływ na umowę

Umowa na wykonanie systemu AI zawarta w ramach postępowania o udzielenie zamówienia publicznego z wolnej ręki może być zawarta tylko z tym uczestnikiem konkursu, który:

  1. posiada zdolność do czynności prawnych;
  2. nie naruszy praw i dóbr osobistych podmiotów trzecich w związku z dostarczonymi Rozwiązaniami Konkursowymi;
  3. wykorzysta przekazywane przez Zamawiającego dane i informacje wyłącznie na potrzeby realizacji Systemu Docelowego;
  4. nie podlega wykluczeniu z Konkursu na podstawie art. 108 ust. 1 PZP, a także 109 ust. 1 PZP;
  5. nie jest członkiem Sądu Konkursowego lub nie jest powiązany z członkami Sądu Konkursowego, w sposób określony w pkt 13.3. Regulaminu;
  6. nie jest zatrudniony u Zamawiającego lub nie jest powiązany w sposób bezpośredni z Zamawiającym, w sposób określony w pkt 13.3. Regulaminu
  7. spełnia wymagania wskazane w pkt 13.4. Regulaminu w zakresie posiadanych możliwości osobowych umożliwiających wykonanie Systemu Docelowego i dysponuje następującymi zasobami osobowymi:
  • Kierownik Projektu (jedna osoba),
  • Data Scientist [opcjonalnie NLP Researcher / NLP Engineer / ML Engineer] (2 osoby),
  • Data Engineer (1 osoba),
  • Główny Projektant (jedna osoba),
  • Główny Programista (jedna osoba),
  • Business Translator (jedna osoba),
  • Główny Tester (jedna osoba),
  • Eksperci ds. wdrożenia i utrzymania w liczbie minimum 2 osób,
  • Zespół Programistów w liczbie minimum 4 osób,

Szczegółowe informacje dotyczące wymaganego doświadczenia ww. osób zostały wskazane w Regulaminie Konkursu. Zamawiający nie dopuszcza łączenia roli Kierownika Projektu i Głównego Testera z innymi rolami. Dopuszczalne jest łączenie pozostałych, maksymalnie dwóch ról, przez jedną osobę.

Prace związane z wykonaniem Systemu Docelowego i wdrożeniem go u Zamawiającego wraz z jego odbiorem powinny zakończyć się do 31 grudnia 2022 roku.

Wykonawca powinien przenieść prawa autorskie majątkowe lub przekazać licencje do Systemu Docelowego na warunkach wskazanych w Regulaminie Konkursu.

Wykonawca ma obowiązek udzielić gwarancji jakości i rękojmi na zasadach opisanych w Regulaminie Konkursu.

Wypłata wynagrodzenia za wykonanie i wdrożenie Systemu Docelowego będzie podzielona na trzy etapy. Pierwsza transza do 30% wartości zamówienia zostanie wypłacone po przekazaniu prototypu Systemu Docelowego, druga do 30% wartości zamówienia wypłacone będzie po dostarczeniu sprzętu komputerowego do Zamawiającego, a pozostała część wynagrodzenia wypłacone będzie po odbiorze końcowym.

W zakresie pozostałych wymagań, innych niż wskazanych powyżej, związanych z treścią umowy zawartej w ramach postępowania o udzielenie zamówienia publicznego z wolnej ręki znajdą się postanowienia dotyczące m.in: zabezpieczenia prawidłowego wykonania umowy, kar umownych czy kwestii odstąpienia od umowy oraz siły wyższej. Szczegółowe rozwiązanie w tym zakresie przedstawione zostało w Regulaminie Konkursu.

Szczególne warunki konkursu
  • Uczestnicy komunikują się z Zamawiającym za pomocą Platformy GovTech.
  • Zamawiający udziela wyjaśnień dotyczących Regulaminu niezwłocznie, jednak nie później niż na 2 (dwa) dni przed upływem terminu na składania Rozwiązania Konkursowego na Etapie I, pod warunkiem, że wniosek o wyjaśnienie Regulaminu wpłynie co najmniej na 4 (słownie:
    cztery) dni przez terminem składania Rozwiązań Konkursowych na Etapie I. Jeżeli prośba o wyjaśnienie treści Regulaminu wpłynęła po upływie terminu lub dotyczy udzielonych już odpowiedzi i wyjaśnień, Zamawiający może udzielić wyjaśnień albo pozostawić takie wnioski
    bez odpowiedzi.
Kontakt
Anna Bilska-Cicha
tel. 523455644
anna.bilska-cicha@uokik.gov.pl
Pytania i odpowiedzi
"Celem przedstawienia opisu koncepcji i architektury rozwiązania dla Systemu Docelowego, Uczestnik powinien przedstawić odpowiedzi na każde z następujących zagadnień wskazanych i opisanych w Regulaminie Konkursu (maksymalnie na 2000 znaków)" czy 2000 znaków na każdy z punktów niżej wymienionych, czy na całość?
Limit 2000 znaków dotyczy osobno każdego z zagadnień wskazanych w Regulaminie Konkursu, nie jest to limit na cały opis koncepcji i architektury rozwiązania.
"System powinien również udostępniać pracownikowi Urzędu propozycje uzasadnienia prawnego (stworzone w oparciu o uzasadnienia znajdujące się w bazie danych) wskazującego powody, dla których znaleziona klauzula umowna może zostać uznana za niedozwoloną." W Oczekiwaniach co do funkcjonalności systemu jest taki zapis, ale nie ma go w zakresie etapu 2 pkt B, czy to znaczy że ta funkcjonalność nie podlega ocenie w etapie 2 konkursu?
Omawiana funkcjonalność nie będzie oceniana w etapie 2 Konkursu.
Czy konieczne jest pełnomocnictwo dla osoby, z której konta na platformie GovTech będzie składane zgłoszenie i praca konkursowa? Czy istnieje możliwość złożenia zgłoszenia przed 19.10.2021?
Konto na platformie GovTech powinno być utworzone na dane osoby upoważnionej do przesłania prac konkursowych. W celu przedłożenia pełnomocnictwa wraz ze zgłoszeniem do konkursu przez ePUAP można skorzystać ze wzoru dostępnego na platformie GovTech w momencie składania zgłoszenia (wygeneruje się ono w dniu 19.10.2021 r.), bądź już teraz przygotować je w formie standardowego dokumentu zawierającego dane spółki/instytucji, dane osoby upoważnionej do jej reprezentacji oraz zakres pełnomocnictwa (np. do zgłoszenia się do konkursu i złożenia prac konkursowych). Pełnomocnictwo podpisane elektronicznym podpisem kwalifikowanym (por. pkt 7.4. Regulaminu Konkursu) należy załączyć wraz ze zgłoszeniem do konkursu (również podpisane elektronicznym podpisem kwalifikowanym) przez ePUAP na skrzynkę podawczą UOKiK jako pismo ogólne. Do platformy ePUAP będzie prowadził odnośnik w procedurze zgłoszeniowej pracy konkursowej na platformie GovTech, która to procedura będzie aktywna (specjalny przycisk na górze strony Konkursu, po lewej stronie względem "Obserwuj Konkurs") od 10.00 do 16.00 w dniu 19.10.2021 r. W ePUAP na skrzynkę podawczą UOKiK należy przesłać zgłoszenie (i ewentualne pełnomocnictwo - oba prawidłowo podpisane). Zgłoszenie również musi być opatrzone elektronicznym podpisem kwalifikowanym osoby/osób uprawnionej/uprawnionych do reprezentacji spółki bądź wyznaczonego pełnomocnika. W przypadku konsorcjum, zgłoszenie do konkursu wysłane przez ePUAP i podpisane elektronicznym podpisem kwalifikowanym musi złożyć osoba, która ma stosowne pełnomocnictwo (prawidłowo podpisane) od wszystkich podmiotów wchodzących w skład konsorcjum. Wcześniejsze przesłanie zgłoszenia do udziału w konkursie jest możliwe poza platformą konkursową na adres skrzynki podawczej ePUAP UOKiK, niemniej w celu złożenia pracy konkursowej konieczne będzie aktywowanie zgłoszenia do konkursu przez platformę Govtech, zgodnie z zasadami wskazanymi powyżej. Tylko w ten sposób możliwe jest przesłanie Opracowania Studialnego.
Czy w drugim etapie ewaluacji podlega automatyczna identyfikacja "Abuzywnych postanowień", czy "Fraz abuzywnych" wg nomenklatury używanej w formularzach udostępnionych w danych treningowych? Na przykład: Abuzywne postanowienie: "Strony zastrzegają, że naprawienie szkody wynikłej z niewykonania lub nienależytego wykonania zobowiązań niepieniężnych wynikających z niniejszej umowy nastąpi poprzez zapłatę kar umownych na zasadach poniższych (...) łączna wysokość kar umownych nie może przekroczyć 5ny brutto, o której mowa w § 4 ust. 1 niniejszego aktu". Fraza abuzywna: ... łączna wysokość kar umownych nie może przekroczyć ... Czy w tym wypadku w danych testowych zidentyfikowana sekwencja będzie porównywana z "Abuzywnym postanowieniem" - długi fragment, czy "Frazą abuzywną" - krótki fragment.
Identyfikacji będzie podlegać postanowienie abuzywne. Formularze były przygotowywane już na potrzeby samego Systemu Docelowego i zgodnie z wiedzą Zamawiającego warto wyodrębnić z danego postanowienia abuzywnego (które może być bardzo rozbudowane) tylko te elementy, które wpływają na ocenę samego niedozwolonego charakteru postanowienia. Stąd też w Formularzach została dodana rubryka związana z frazami abuzywnymi czy postanowieniami prawidłowymi (dla potrzeby uczenia w ramach Systemu Docelowego).
Czym jest anotacja, do której występują odwołania w dokumencie opis architektury rozwiązania dla systemu docelowego? W wymaganiach względem systemu opisanych na stronach 9-24 pojęcie anotacji nie zostało zdefiniowane.
System docelowy powinien umożliwiać manualną weryfikację wzorca umownego przez pracownika Urzędu i w oparciu o tę weryfikację (anotację) dochodzić ma do uzupełniania bazy danych dla Systemu docelowego (w momencie zapisania wyników anotacji). Nie oznacza to jednak, że manualna weryfikacja będzie regułą (bo zasadą będzie opieranie się na wykrywaniu klauzul abuzywnych we wzorcu przez AI) - ma być jedynie możliwością w zależności od okoliczności (np. z uwagi na branżę, z której będzie pochodzić wzorzec, jego skomplikowaną lub nowatorską treść, etc). Opis koncepcji w omawianym zakresie dotyczy sytuacji, w której to pracownik Urzędu (anotator) weryfikuje manualnie wzorzec umowny. System docelowy powinien umożliwiać intuicyjne działania w tym zakresie w obrębie Systemu i kontrolowanie tego np. przez Administratora.
Regulamin Serwisu i zasady prywatności nie są dostępne na stronie. Nie działa podany w stopce strony link "Regulamin serwisu i zasady prywatności" https://konkursy.govtech.gov.p l/_pliki/Regulamin-platformy-G ovtech.pdf
Chwilowa niedostępność regulaminu serwisu związana była z prowadzonymi pracami aktualizacyjnymi. Aktualna wersja Regulaminu serwisu jest dostępna pod adresem https://konkursy.govtech.gov.p l/_pliki/Regulamin-platformy-G ovtech.pdf od 6 października 2021r.
W regulaminie konkursu napisano: "Przyjmuje się, że dziennie nie będzie dodawanych do analizy w ramach Systemu więcej niż 200 wzorców umownych". Proszę o określenie średniej wielkości wzorca umownego w stronach lub wyrażenie w stronach maksymalnej objętości dokumentów dodawanych do analizy w ramach Systemu.
Są to elementy niezależne od Zamawiającego, bo autorem wzorca umownego jest przedsiębiorca zawierający umowę z konsumentami. Objętość wzorca umownego zależna jest zazwyczaj od sektora w jakim działa przedsiębiorca (związane jest to m.in. ze szczegółowością występujących regulacji prawnych i obowiązków informacyjnych, skomplikowanym charakterem zobowiązania) - dlatego też wzorce umowne np. z branży finansowej będą większej objętości (nawet 10-20 stron) niż wzorce przy umowach zawieranych poza lokalem przedsiębiorstwa np. na pokazach handlowych (1-2 strony). Można przyjąć, że średnia obszerność wzorca umownego nie powinna przekroczyć 10 stron.
W regulaminie napisane jest, że uczestnikiem może być osoba fizyczna. Zakładając, że podszedłbym do konkursu samodzielnie, właśnie jako osoba fizyczna, to czy w przypadku sukcesu i wymogu zbudowania zespołu czy możliwym jest scedowanie moich praw na firmę w której jestem zatrudniony? Chodzi o to, że jako osoba fizyczna nie jestem w stanie skompletować zespołu o którym mowa w pkt 13.4 regulaminu. Czy mogę wtedy zbudować zespół w oparciu o mojego pracodawcę? Czy może od samego początku to wyłącznie pracodawca może być uczestnikiem?
Do konkursu Uczestnicy mogą przystąpić wspólnie z innymi podmiotami (w formie konsorcjum), w tym z innymi osobami fizycznymi. Nie jest jednak możliwa zmiana podmiotowa (de facto zmiana Uczestnika) po zakończeniu konkursu, a więc na etapie negocjacji umowy, kiedy Zamawiający będzie weryfikował spełnienie wymagań dot. składu osobowego zespołu po stronie przyszłego Wykonawcy.
W toku zapoznawania się z informacjami konkursowymi napotkaliśmy wątpliwość w przedmiocie tego na jakim etapie musimy mieć skompletowany zespół, mianowicie: czy po ewentualnym przejściu drugiego etapu mamy jeszcze na to czas?
Spełnienie kryteriów osobowych, wymaganych do podpisania ze Zwycięzcą umowy w ramach postępowania o udzielenie zamówienia publicznego w trybie z wolnej ręki, jest wymagane na etapie zawierania ww. umowy i będzie weryfikowane przez Zamawiającego w momencie negocjowania jej warunków.
W udostępnionych danych brakuje pliku treningowego jsonl w formacie jak załącznik 5. Obawiam się, że to nie przypadek i on nie został przygotowany. Tzn. na podstawie formularzy mamy jakoś odszukać wzorce, których dotyczą i znaleźć w nich fragment abuzywny.
Załącznik 5 to przykład w jaki sposób należy przygotować dane do oceny, a nie w jaki sposób wyglądać ma struktura danych treningowych. Z uwagi na to, że docelowy system będzie pracował z plikami wymagającymi często systemu OCR udostępnione zostały konkretne wzorce.
W zidentyfikowanych w formularzach postanowieniach abuzywnych często pojawiają się wielokropki, np.: „Strony zastrzegają, że naprawienie szkody wynikłej z niewykonania lub nienależytego wykonania zobowiązań niepieniężnych wynikających z niniejszej umowy nastąpi poprzez zapłatę kar umownych na zasadach poniższych (…) łączna wysokość kar umownych nie może przekroczyć 5ny brutto, o której mowa w § 4 ust. 1 niniejszego aktu”. Czy treść pominiętą wielokropkiem należy traktować jako abuzywną, czy nie? Czy w danych ewaluacyjnych mogą pojawić się wielokropki? W jaki sposób będą porównywane z sekwencjami zidentyfikowanymi automatycznie?
Wielokropków nie należy traktować jako abuzywnych. W tych miejscach - we wzorcach umownych - znajdowały się treści nieistotne dla zrozumienia znaczenia treści postanowienia i oceny jego abuzywności. W danych testowych nie będzie formularzy, jedynie wzorce umowne, a ocenie będą podlegać całe znalezione postanowienia abuzywne.
Z jakimi systemami i w jakich zadaniach ma współpracować opracowywany system wykrywania klauzul? W ostatnim punkcie dokumentu "Opis architektury rozwiązania dla systemu docelowego" pojawia się odniesienie do innych zadań Zamawiającego. Jakie są to zadania? Brak wskazania konkretnych zadań i konkretnych systemów uniemożliwia udzielenie odpowiedzi na to pytanie.
W punkcie 6.2. Regulaminu Konkursu Zamawiający zdefiniował główne funkcje Systemu Docelowego i wymagania techniczne. Budowany system oprócz ww. wymagań może również posiadać dodatkowe w stosunku do wymaganych funkcjonalności, które mogą być - w ocenie Wykonawcy - wykorzystane w pracy Urzędu. Do Wykonawcy należy opisanie dodatkowych możliwych do wykorzystania funkcjonalności proponowanego rozwiązania.
Kiedy dokładnie będą wystawione dane testowe oraz do kiedy należy odesłać wyniki? Pytamy się gdyż wydaje się nam że jest niespójność w opisie przedmiotu zamówienia: najpierw: "Przyjmowanie rozwiązań - I etap od 19.10.2021 10:00 do 19.10.2021 16:00", a następnie: "Zbiór danych testowych (podlegających ocenie) zostanie zamieszczony na ww. stronie GovTech w dniu 20.10.2021r."

Data odpowiedzi: 2021-10-01 13:08

Dane testowe w I etapie konkursu zostaną udostępnione 19.10.2021r. o godz. 10:00. Wyniki należy przesłać do godz. 16:00 tego samego dnia (19.10.2021r.). Błąd, który pojawił się w treści ogłoszenia, został poprawiony.
Czy jest dopuszczalne samodzielne wzbogacenie udostępnionego zbioru treningowego?

Data odpowiedzi: 2021-10-01 13:10

Regulamin konkurs nie wyklucza takiej możliwości, a zatem dopuszczalne jest samodzielnie wzbogacenie zbioru treningowego.
Czy POPRAWNE POSTANOWIENIE, o którym mowa jest w opisie etapu I, jest równoważne z BEZPIECZNYM POSTANOWIENIEM UMOWNYM występującym w danych treningowych?

Data odpowiedzi: 2021-10-06 10:33

Tak, są to klasy równoważne.
Czy system ma wykrywać tylko postanowienia abuzywne, a resztę kwalifikować jako postanowienia poprawne zakładając że wszystko co nie jest abuzywne jest poprawne?

Data odpowiedzi: 2021-10-06 10:35

System docelowy ma wskazywać klauzule abuzywne we wzorcach umownych. Kwestia czy będzie on binarnie oceniał abuzywność, czy też zwróci prawdopodobieństwo abuzywności, czy też pewność modelu co do abuzywności, jest kwestią otwartą na etapie wdrażania Systemu docelowego. Na cele etapu 1 Konkursu zawsze to jest klasyfikacja binarna, jednak w docelowej wersji systemu można sobie wyobrazić przypadek, kiedy model określa prawdopodobieństwo abuzywności danego fragmentu tekstu. W taki sposób można ustawiać sobie określone pewności i pracownicy UOKiK mogliby powiększać lub zmniejszać liczbę podejrzanych fragmentów w zależności od wskazanej wartości prawdopodobieństwa.
Czy w Etapie I analiza danych testowych odbywa się u Wykonawcy i Wykonawca wysyła tylko wyniki do Zamawiającego czy też jest to wspólne (Wykonawcy i Zamawiającego) sprawdzenie "na żywo"? / W jaki sposób Zamawiający ma zamiar zweryfikować czy plik z wynikami będzie przygotowany ręcznie czy przez system?

Data odpowiedzi: 2021-10-06 10:37

Wykonawca wysyła tylko wynik prac przygotowanego algorytmu do Zamawiającego i to po stronie Zamawiającego odbywa się ocena wyników przesłanych przez Wykonawcę. Okres czasu na przygotowanie predykcji dla zbioru testowego jest możliwie krótki (6 godzin), bardzo prosto wykonać predykcje w sposób automatyczny. Ręczna ocena przez ekspertów kilku tysięcy tekstów byłaby w tym czasie dosyć trudna. Ponadto każdy Uczestnik zobowiązany jest do przestrzegania Regulaminu Konkursu, który wskazuje, że na etapie I należy wykonać Rozwiązanie Konkursowe w ramach stworzonego modelu binarnej klasyfikacji danych. Ponadto w pkt 3.5. zostało wskazane, iż Rozwiązania Konkursowe mają być efektem prac uwzględniających najnowsze rozwiązania technologiczne oraz metodologiczne w zakresie analizy tekstu.
W danych treningowych występują rekordy które wydają się być niepoprawne, przykład: "Jeżeli na stronie internetowej www." ma przypisaną klasę BEZPIECZNE_POSTANOWIENIE_UMOWN E. Czy jest oczekiwanie Zamawiającego aby system wykrył takie teksty jako "Bezpieczne postanowienie umowne"?

Data odpowiedzi: 2021-10-06 10:51

Model binarny jest tylko 1. etapem w Konkursie i na jego podstawie nie planuje się uzyskać modelu docelowego wykrywającego klauzule abuzywne.
W jakim formacie (txt, doc, pdf, jpg, csv) będą dane testowe?

Data odpowiedzi: 2021-10-06 10:55

Dane treningowe i testowe etapu 1 będą w takiej samej formie (plik .csv wygenerowany na podstawie Data Frame z pandas). W danych testowych nie będzie wskazanej klasy.
W danych treningowych znalazłem taki wpis: "W przypadku, gdy opakowanie przesyłki nosi znamiona uszkodzenia lub, gdy plomby (taśmy) są zerwane należy nie przyjmować przesyłki i w obecności kuriera sporządzić protokół szkody oraz skontaktować się jak najszybciej ze sprzedawcą w celu,KLAUZULA_ABUZYWNA;;;" Wydaje mi się, że powyższe stwierdzenie nie jest klauzulą abuzywną. Jeśli natomiast sprawdzenie przesyłki byłoby niezbędnym warunkiem uwzględnienia roszczeń klienta z tytułu uszkodzenia, to wtedy klauzula taka byłaby abuzywna. Proszę o potwierdzenie.

Data odpowiedzi: 2021-10-06 10:59

Potwierdzamy prawidłowe sklasyfikowanie ww. wpisu jako klauzuli abuzywnej.
W opisie zadania mowa o modelu binarnej klasyfikacji, natomiast zaproponowana metoda dostarczania wyników nie daje organizatorowi konkursu żadnego narzędzie do weryfikacji czy przesłane wyniki pochodzą od wytrenowanego na przesłanym zbiorze treningowym modelu binarnej klasyfikacji, a nie np. zostały opracowanego przez wystarczająco duży zespół studentów prawa. W regulaminie nie znalazłem żadnych informacji na ten temat, stąd pytanie jak to będzie weryfikowane w czasie oceny wyników.

Data odpowiedzi: 2021-10-06 11:01

Okres czasu na przygotowanie predykcji dla zbioru testowego jest możliwie krótki (6 godzin), bardzo prosto wykonać predykcje w sposób automatyczny. Ręczna ocena przez ekspertów kilku tysięcy tekstów byłaby w tym czasie dosyć trudna. Ponadto każdy Uczestnik zobowiązany jest do przestrzegania Regulaminu Konkursu, który wskazuje, że na etapie I należy wykonać Rozwiązanie Konkursowe w ramach stworzonego modelu binarnej klasyfikacji danych. Ponadto w pkt 3.5. zostało wskazane, iż Rozwiązania Konkursowe mają być efektem prac uwzględniających najnowsze rozwiązania technologiczne oraz metodologiczne w zakresie analizy tekstu.
Wg regulaminu - H. W celu zgłoszenia Opracowania studialnego Uczestnik wysyła plik lub pliki formacie .jsonl, według wzoru wskazanego w załączniku nr 2, z kolumnami wskazującymi ID postanowienia oraz odpowiadającej temu postanowieniu klasy. Jednak załącznik nr 2 nie posiada ID postanowienia, a cały tekst postanowienia. Proszę wyjaśnić, jak powinno wyglądać zgłoszenie opracowania studialnego przez Uczestnika?

Data odpowiedzi: 2021-10-06 11:03

ID postanowienia i tekst postanowienia są w tym przypadku tym samym.
Zgodnie z pkt. 2.3 Regulaminu warunkiem koniecznym dla wzięcia udziału w Konkursie jest przesłanie zgłoszenia na adres elektronicznej skrzynki podawczej Zamawiającego. Czy przez tę skrzynkę należy rozumieć dostępną w systemie ePUAP skrzynkę /UOKiK/SkrytkaESP i czy w takim wypadku dostępne są specjalne formularze - czy może wystarczające jest skorzystanie z pisma ogólnego? W wypadku zgłoszenia dokonywanego przez system ePUAP, czy dopuszczalne jest zastosowanie podpisu zaufanego zamiast podpisu kwalifikowanego? Czy możliwe jest podpisanie przez Uczestników biorących wspólnie udział w Konkursie pełnomocnictwa, o którym mowa w pkt. 7.4 Regulaminu również podpisem zaufanym?

Data odpowiedzi: 2021-10-06 12:01

Możliwość przesyłania zgłoszenia przy pośrednictwie Platformy Govtech będzie możliwa w dniu 19 października od godziny 10.00, kiedy zostanie udostępniony zbiór testowy dla I etapu Konkursu. W ramach Platformy Govtech przyszły Uczestnik będzie miał możliwość wygenerowania formularza zgłoszeniowego z podstawowymi danymi identyfikacyjnymi, jak nazwa czy forma organizacyjna (oraz formularza pełnomocnictwa, które należy następnie wydrukować, wypełnić, zeskanować, a następnie podpisać elektronicznym podpisem kwalifikowanym). Następnie przyszły Uczestnik zostanie przekierowany osobnym przyciskiem do systemu ePUAP, gdzie będzie mógł złożyć zgłoszenie na skrzynkę podawczą UOKiK jako pismo ogólne. Do tego pisma złożonego w formie elektronicznej należy dołączyć podpisane elektronicznym podpisem kwalifikowanym zgłoszenie do konkursu oraz pełnomocnictwa (jeżeli mają zastosowanie). Nie jest dopuszczalne opatrzenie zgłoszenia do konkursu wyłącznie podpisem zaufanym - brak elektronicznego podpisu kwalifikowanego oznaczać będzie nieważność zgłoszenia do konkursu (art. 63 ust. 1 ustawy z dnia 11 września 2019 r. prawo zamówień publicznych). Elektronicznym podpisem kwalifikowanym muszą być również opatrzone wszystkie pełnomocnictwa. W dalszej kolejności, w ramach Platformy Govtech, Uczestnik będzie miał możliwość załączenia Opracowania Studialnego, które nie może być podpisane w żadnej formie (musi być zachowana anonimowość).
W regulaminie jest informacja: "Podmioty, które chcą wziąć udział w Konkursie zobligowane są do dokonywania zgłoszenia do Konkursu podpisanego kwalifikowanym podpisem elektronicznym za pośrednictwem elektronicznej skrzynki podawczej Zamawiającego (...)". W jaki dokładnie sposób należy zgłosić swój udział w konkursie? Czy jest jakiś wzór zgłoszenia, który należy wysłać na skrzynkę podawczą?

Data odpowiedzi: 2021-10-06 12:14

Możliwość przesyłania zgłoszenia przy pośrednictwie Platformy Govtech będzie możliwa w dniu 19 października od godziny 10.00, kiedy zostanie udostępniony zbiór testowy dla I etapu Konkursu. W ramach Platformy Govtech przyszły Uczestnik będzie miał możliwość wygenerowania formularza zgłoszeniowego z podstawowymi danymi identyfikacyjnymi, jak nazwa czy forma organizacyjna (oraz formularza pełnomocnictwa, które należy następnie wydrukować, wypełnić, zeskanować, a następnie podpisać elektronicznym podpisem kwalifikowanym). Następnie przyszły Uczestnik zostanie przekierowany osobnym przyciskiem do systemu ePUAP, gdzie będzie mógł złożyć zgłoszenie na skrzynkę podawczą UOKiK jako pismo ogólne. Do tego pisma złożonego w formie elektronicznej należy dołączyć podpisane elektronicznym podpisem kwalifikowanym zgłoszenie do konkursu oraz pełnomocnictwa (jeżeli mają zastosowanie). Nie jest dopuszczalne opatrzenie zgłoszenia do konkursu wyłącznie podpisem zaufanym - brak elektronicznego podpisu kwalifikowanego oznaczać będzie nieważność zgłoszenia do konkursu (art. 63 ust. 1 ustawy z dnia 11 września 2019 r. prawo zamówień publicznych). Elektronicznym podpisem kwalifikowanym muszą być również opatrzone wszystkie pełnomocnictwa. W dalszej kolejności, w ramach Platformy Govtech, Uczestnik będzie miał możliwość załączenia Opracowania Studialnego, które nie może być podpisane w żadnej formie (musi być zachowana anonimowość).
Czy dane testowe będą zawierały tylko przykłady (teksty) należące do jednej z dwóch klas (POSTANOWIENIE_ABUZYWNE, BEZPIECZNE_POSTANOWIENIE_UMOWN E), czy również będą zawierały przykłady (teksty) nie należące do żadnej z tych klas?

Data odpowiedzi: 2021-10-06 13:53

W pierwszym etapie tak. Każdy z fragmentów tekstów powinien posiadać odpowiednią klasę.
Wśród danych treningowych istnieje wpis: Odbiorca może domagać się obniżenia należności w razie udowodnienia zawinionego dostarczania wody o pogorszonej bądź złej jakości lub o ciśnieniu uniemożliwiającym normalne korzystanie z wody.,KLAUZULA_ABUZYWNA;;; Na podstawie https://www.saos.org.pl/judgme nts/10278 wydaje mi się, że samo domaganie się obniżenia należności nie jest zapisem nielegalnym. Jednakże dodanie - Obniżenie stanowić może do 10% należności - już jest. Tym samym, moim zdaniem, istnieje błąd w danych treningowych. Czy jestem w błędzie?

Data odpowiedzi: 2021-10-06 14:19

Analizowane postanowienie było kwestionowane przez Prezesa UOKiK jako niedozwolone w ramach tzw. wezwania miękkiego (art. 49a ustawy o ochronie konkurencji i konsumentów). Z uwagi na powyższe, prawidłowo zostało ono sklasyfikowane w zbiorze danych treningowych dla I etapu konkursu jako klauzula abuzywna.
W pliku treningowym w liniach 1349, 1853 i 2057 brak jest ocen klauzul.

Data odpowiedzi: 2021-10-06 14:24

Przy zmianie nazwy pliku zawierającego zbiór treningowy przed zamieszczeniem go na stronie Govtech pojawił się ten problem i został on już wyeliminowany. Poprawny plik został podmieniony na stronie Konkursu w dniu 6 października 2021 r.
Czy KLAUZULA_ABUZYWNA oraz POSTANOWIENIE_ABUZYWNE są równoważne? KLAUZULA_ABUZYWNA występuje w dane treningowe_I etap.csv. POSTANOWIENIE_ABUZYWNE występuje w Załącznik nr 2 - wyniki etap 1 - binarna klasyfikacja.jsonl

Data odpowiedzi: 2021-10-07 12:55

Tak, są to klasy równoważne.
W danych treningowych znajdują się błędy (prawdopodobnie OCRa), np w liniach: 2967, 3511, 4004.

Data odpowiedzi: 2021-10-11 13:08

Jest to celowy zabieg. Bardzo dużo dokumentów trafiających do UOKiK jest w postaci PDF lub zdjęć, stąd OCR to cześć systemu docelowego. Należy zwrócić uwagę na możliwość występowania błędów tego typu opracowując model wykrywania abuzywności.
Czy formularze zgłoszeniowe z pełnomocnictwami będą również udostępnione 19 października 2021? Czy jednak będą one dostępne wcześniej? W przypadku instytucji takich jak uczelnie otrzymanie odpowiednich pełnomocnictw będzie prawdopodobnie niewykonalne w ciągu 6 godzin.

Data odpowiedzi: 2021-10-11 14:32

Opcja zgłoszenia się do konkursu poprzez platformę GovTech będzie aktywna w dniu 19.10.2021 r. w godz. 10:00-16:00. W przypadku reprezentowania spółki/instytucji przez wyznaczonego pracownika, do wygenerowania zgłoszenia należy dołączyć pełnomocnictwo dla tego pracownika opatrzone elektronicznym podpisem kwalifikowanym przez osoby upoważnione do reprezentowania spółki/instytucji. W celu przedłożenia pełnomocnictwa wraz ze zgłoszeniem do konkursu można skorzystać ze wzoru dostępnego na platformie GovTech w momencie składania zgłoszenia (w dniu 19.10.2021 r.), bądź już teraz przygotować je w formie standardowego dokumentu zawierającego dane spółki/instytucji, dane osoby upoważnionej do jej reprezentacji oraz zakres pełnomocnictwa. Uczestnik składający zgłoszenie do udziału w konkursie za pośrednictwem platformy Govtech zostanie następnie przekierowany do systemu ePUAP, gdzie będzie mógł złożyć zgłoszenie na skrzynkę podawczą UOKiK jako pismo ogólne. Do tego pisma złożonego w formie elektronicznej należy dołączyć podpisane elektronicznym podpisem kwalifikowanym zgłoszenie do konkursu oraz pełnomocnictwa (jeżeli mają zastosowanie). W przypadku konsorcjum, zgłoszenie do konkursu wysłane przez ePUAP i podpisane elektronicznym podpisem kwalifikowanym musi złożyć osoba, która ma stosowne pełnomocnictwo (prawidłowo podpisane) od wszystkich podmiotów wchodzących w skład konsorcjum. Konto na platformie GovTech powinno być utworzone na dane osoby upoważnionej do przesłania zgłoszenia i prac konkursowych.
W punkcie 7.3. regulaminu znajduje się informacja, że Pełnomocnikiem Uczestników wspólnie biorących udział w Konkursie może być jeden z tych Uczestników, ale czy Pełnomocnikiem może nie być uczestnik i co za tym idzie, czy jeden Pełnomocnik może reprezentować kilka niezależnych zespołów?

Data odpowiedzi: 2021-10-13 17:31

Pełnomocnik musi posiadać upoważnienie od Uczestników do złożenia prac konkursowych czy zgłoszenia się do Konkursu. Jeżeli w Konkursie zamierzają wystąpić różne podmioty, ale wspólnie w ramach konsorcjum, to Pełnomocnik musi mieć upoważnienie od każdego z członków wchodzących w skład konsorcjum.
Czy dozwolone jest użycie Rejestru klauzul niedozwolonych, znajdującego się na stronie UOKiK, jako wzbogacenie zbioru treningowego? Czy nie ma zagrożenia, że identyczne klauzule będą znajdować się w zbiorze testowym? Wykorzystanie rejestru w trakcie uczenia modelu może znacząco podnieść wyniki na zbiorze testowym, jeśli przykłady będą się pokrywać

Data odpowiedzi: 2021-10-15 12:04

Jest to dozwolone działanie.
Zgodnie z załącznikiem 2, plikiem binarna klasyfikacja.jsonl, pierwszy wiersz pliku wyjściowego kończy się przecinkiem; przecinek kończący wiersz nie jest stosowany w następnych liniach przykładowego pliku. Czy jest to celowy zabieg?

Data odpowiedzi: 2021-10-15 13:02

Jest to zbędny artefakt, jsonl nie powinien kończyć linii przecinkami. Plik w zakresie załącznika nr 2 i 5 do Regulaminu Konkursu został poprawiony.
Po analizie semantycznej danych treningowych znalazłem pewne sprzeczności. Przykładowo w linii 1746 jest klauzula: "nie podlegają zwrotowi,KLAUZULA_ABUZYW NA". Jest to bardzo krótka klauzula, która nie precyzuje podmiotu w zdaniu, ani żadnych dodatkowych warunków. Tym samym wynika z tego, że nie mają one znaczenia dla oceny. Jednak jest to sprzeczne z linią 3971: ""Pobrane przez Bank prowizje i opłaty nie podlegają zwrotowi, z zastrzeżeniem postanowień § 9 pkt",BEZPIECZNE_POS TANOWIENIE_UMOWNE" lub linią 2414: "5.Czesne płatne jest przez 12 miesięcy w roku. 6.W przypadku wpłaty czesnego oraz wpisowego przy późniejszej rezygnacji z usługi - czesne i wpisowe nie podlega zwrotowi.,BEZPIECZNE_POS TANOWIENIE_UMOWNE" lub linią 3070: ""c) rozmowy kwalifikacyjnej. 3.Opłata wpisowa nie podlega zwrotowi zarówno w razie nie rozpoczęcia przez ucznia nauki, jak również przerwania nauki w późniejszym okresie.",BEZPIECZN E_POSTANOWIENIE_UMOWNE&q uot; W innym przypadku klauzula z linii 1499: "Okrycia bez przedmiotów wartościowych należy pozostawić w szatni,KLAUZULA_ABUZYWNA " jest częścią klauzuli z linii 2235: "Okrycia bez przedmiotów wartościowych należy pozostawić w szatni Za przedmioty wartościowe uważa się,BEZPIECZNE_POSTANOW IENIE_UMOWNE" oraz klauzuli z linii 1968: ""Okrycia wierzchnie bez żadnych przedmiotów wartościowych należy pozostawić w szatni – szatnia jest obowiązkowa i bezpłatna Za przedmioty wartościowe uważa się przedmioty o wartości ponad 200 złotych, pieniądze, papiery wartościowe",BEZPI ECZNE_POSTANOWIENIE_UMOW NE", które już są postanowieniami bezpiecznymi. Znalazłem 105 podobnie sprzecznych przypadków. Czy to są błędy w danych treningowych? Jeśli Państwa zdaniem, to nie są błędy w danych, to jak należy powyższe przypadki interpretować? Pozdrawiam.

Data odpowiedzi: 2021-10-16 09:36

Klauzule abuzywne mocno zależą od kontekstu ich występowania. Podczas tworzenia bazy klauzul abuzywnych, oprócz wskazania fragmentu we wzorcu umowy, gdzie owa klauzula występowała, wskazywany był również fragment który jest frazą sygnalizującą abuzywność. Jak widać czasami został wskazany bardzo krótki fragment, np. "nie podlegają zwrotowi". Tworząc docelowy model uczenia maszynowego wykrywający postanowienia potencjalnie abuzywne należy pamiętać, iż należy patrzeć na większy kontekst niż wyłącznie kilka słów. Co więcej model wykrywania abuzywności ma wskazywać fragmenty potencjalnie abuzywne, ale dopiero pracownik UOKiK będzie potwierdzał bądź odrzucał dane postanowienia w systemie docelowym.
Przykład: "( 4.Sprzedawca zastrzega sobie prawo do zmiany Regulaminu. Zmiany obowiązują z chwilą ich ogłoszenia na stronie internetowej Sklepu internetowego." powinien być oznaczony jako klauzula abuzywna.

Data odpowiedzi: 2021-10-17 17:40

Należy pamiętać, iż abuzywność danej klauzuli zależy nie tylko od jej literalnej treści, ale również od kontekstu jej występowania, jak i od treści innych postanowień wzorca umownego. O ile wskazany fragment ma charakter abuzywny wyrwany z kontekstu danego wzorca, to przy analizie innych postanowień konkretnego wzorca umownego mógł on zostać oznaczony jako dozwolony, co skutkowało takim jego skategoryzowaniem na potrzeby I etapu konkursu.
Jaki będzie rozmiar zbioru uczącego w drugim etapie? Chodzi o liczbę umów i opisanych postanowień.

Data odpowiedzi: 2021-10-17 17:42

Rozmiar zbioru treningowego i szczegóły z tym związane zostaną ujawnione w momencie jego udostępnienia, zgodnie z warunkami Regulaminu Konkursu.
Czy odpowiedzi do danych testowych z 1. etapu zostaną opublikowane po ogłoszeniu wyników 1. etapu?

Data odpowiedzi: 2021-10-29 19:46

Plik z danymi testowymi z przypisanymi klasami został opublikowany na stronie Konkursu w dniu 29.10.2021r.
Witam, prosimy o udostępnienie pliku jsonl z prawidłowymi klasami dla danych testowych z etapu I w celu weryfikacji użytych modeli.

Data odpowiedzi: 2021-10-29 19:48

Plik z danymi testowymi z przypisanymi klasami został opublikowany na stronie Konkursu w dniu 29.10.2021r.
Jaki będzie format opisu koncepcji rozwiązania? W szczególności czy będzie można załączyć grafikę?

Data odpowiedzi: 2021-11-03 14:25

Zdecydowanie można załączać grafiki, architektury, diagramy. Znacząco ułatwi to zrozumienie i ocenę koncepcji. Koncepcja rozwiązania może być np. plikiem PDF z zarówno tekstem, jak i grafikami w nim osadzonymi.
Czy cała treść wzorców została przeanalizowana pod kątem występowania klauzul abuzywnych i czy udostępnione formularze opisują wszystkie wystąpienia? Innymi słowy, czy mogą się pojawić postanowienia we wzorcach, które są abuzywne, a nie zostały opisane w formularzu.

Data odpowiedzi: 2021-11-04 15:31

Formularze zostały przygotowane w oparciu o działania Prezesa Urzędu - tj. klauzule abuzywne wykryte we wzorcach umownych w toku postępowań administracyjnych oraz tzw. wystąpień miękkich (art. 49a uokik). Jeżeli w udostępnionych wzorcach umownych występują klauzule, których treść wskazuje (w ocenie osoby trzeciej), że mogą mieć charakter niedozwolony (abuzywny), a przedmiotowych postanowień nie ma w formularzach, to oznacza, że nie były one kwestionowane przez Prezesa UOKiK w toku ww. czynności.
W ramach opisu założeń Systemu Docelowego w sekcji II.8 wspomniana jest integracja Systemu z systemem informatycznym klasy SIEM(Security Information and Event Management) Zamawiającego. Jaką konkretną implementacją/dystrybucją systemu informatycznego klasy SIEM, dysponuje Zamawiający? Jaki(e) interfejs(y) do integracji eksponuje ten system?

Data odpowiedzi: 2021-11-09 10:23

Zamawiający korzysta z systemu klasy SIEM opartego o rozwiązania Energy Logserver w wersji 7.X. Rozwiązanie zbiera dane przy użyciu logów pasywnych (SYSLOG), logów z uwierzytelnieniem (CIFS,SCP), trap SNMP, Generic XML i CSV. Rozwiązanie posiadane przez Zamawiającego zapewnia również możliwość zbierania logów audytowanych z aplikacji bazodanowych takich jak: PostgreSQL, Oracle oraz MySql. Zamawiający informuje, że nie zbiera logów wszystkimi ww. sposobami przez co może istnieć konieczność dodatkowej konfiguracji posiadanego systemu klasy SIEM.
Udostępnione w II etapie dane składają się z dwóch zbiorów dokumentów - wzorców umów oraz formularzy z informacjami o wykrytych klauzulach abuzywnych. Nie znaleźliśmy jednak łatwego sposobu na powiązanie tych dwóch zbiorów. W formularzu nie ma odwołania do konkretnego pliku umowy, w której znaleziono klauzulę abuzywną.

Data odpowiedzi: 2021-11-15 08:33

Z uwagi na to, że System Docelowy będzie pracował z plikami wymagającymi często systemu OCR udostępnione zostały konkretne wzorce, a wymagane mapowanie trzeba wypracować jako część Systemu Docelowego. Stąd w ramach tego etapu sprawdzane jest również jak potencjalni Wykonawcy radzą sobie z tym zadaniem.
1. Czy każdy udostępniony formularz dotyczy któregoś z udostępnionych dokumentów? 2. Czy każdy udostępniony dokument jest opisany przez przynajmniej jeden udostępniony formularz? 3. Czy można udostępnić informacje które formularze opisują który dokument? 4. W jaki sposób będzie odbywać się ewaluacja 2. etapu? Czy wszystkie zapisy dokumentów ze zbioru testowego zostały sprawdzone czy tylko te uznane przez Prezesa UOKiK za abuzywne (które znajdują się w formularzach)? Innymi słowy: czy należy przewidywać wszystkie potencjalne postanowienia abuzywne czy przewidywać tylko te, którymi się zajmował Urząd?

Data odpowiedzi: 2021-11-15 08:36

Ad. 1 Tak. Ad. 2 Nie, gdyż w zbiorze dostępne są też poprawione wzorce umowne. Ad. 3 Wszystkie informacje, które miały zostać udostępnione na potrzeby zbioru treningowego na II etapie konkursu zostały udostępnione. Ad. 4 Formularze zostały przygotowane w oparciu o analizę wzorców umownych dokonanych przez pracownika UOKiK. Brak jest wiedzy Zamawiającego na temat "potencjalnych postanowień abuzywnych", które byłyby obecne w analizowanym wzorcu umownym, a Urząd się nimi nie zajmował.
Jeśli w danym wzorcu zostanie wykryta więcej niż 1 klauzula to czy każdą klauzulę należy umieścić w osobnej linii pliku JSONL powtarzając wartość "nazwa_pliku_wzorca"?

Data odpowiedzi: 2021-11-15 08:37

Należy umieścić ją w osobnej linii.
W jaki sposób będą oceniane rozwiązania w drugim etapie: czy wykryte przez system klauzule abuzywne będą oceniane względem 1) "klauzul, których treść wskazuje (w ocenie osoby trzeciej), że mogą mieć charakter niedozwolony (abuzywny)" CZY 2) klauzul abuzywnych "wykrytych we wzorcach umownych w toku postępowań administracyjnych oraz tzw. wystąpień miękkich"? Czyli czy wykrycie przez system klauzuli abuzywnej (w ocenie osoby trzeciej) będzie liczone jako błąd jeśli ta klauzula nie była "wykryte we wzorcach umownych w toku postępowań administracyjnych oraz tzw. wystąpień miękkich"?

Data odpowiedzi: 2021-11-15 09:14

Formularze zostały przygotowane w oparciu o działania Prezesa Urzędu - tj. klauzule abuzywne wykryte we wzorcach umownych w toku postępowań administracyjnych oraz tzw. wystąpień miękkich (art. 49a uokik). Jeżeli w udostępnionych wzorcach umownych występują klauzule, których treść wskazuje (w ocenie osoby trzeciej), że mogą mieć charakter niedozwolony (abuzywny), a przedmiotowych postanowień nie ma formularzach, to oznacza, że nie były one kwestionowane przez Prezesa UOKiK w toku ww. czynności i nie będą uznane za abuzywne. Według obowiązującego w Polsce systemu prawnego oceny postanowień wzorców umownych jako niedozwolonych uprawniony do niej jest - w ramach kontroli abstrakcyjnej - wyłącznie Prezes UOKiK.
Czy można dodać inne informacje poza odpowiedziami na pytania w ramach wstępu?

Data odpowiedzi: 2021-11-15 12:32

Przy opisie koncepcji rozwiązania ocenie podlegać będą wyłącznie odpowiedzi na zagadnienia wskazane w regulaminie, według kryteriów tam określonych.
F1-score liczone dla problemu sekwencyjnego tagowania z minimalnym pokrycie odpowiadających sobie sekwencji równym 50%." czy Zamawiający może to rozwinąć i pokazać jak to będzie liczył na przykładzie?

Data odpowiedzi: 2021-11-15 21:03

Algorytm oceny składa się kilku etapów. Najpierw teksty klauzul (z formularzy, poprawne klauzule) oraz predykowane fragmenty (fragmenty ze zgłoszenia uczestnika konkursu) są czyszczone ze znaków interpunkcyjnych. Następnie tekst dzielony jest na tokeny (słowa). Tokeny zostały wybrane z tego powodu iż, sprawdza się w ten sposób pośrednio również jakość systemu OCR. Następnie przechodzi się przez każdy wzorzec i abuzywne postanowienia w nich znalezione i sprawdzane jest czy dla danego wzorca w formularzach przygotowanych przez UOKiK występuje wskazana klauzula abuzywna. Zdecydowano się skorzystać z odległości Jaccarda na zbiorach tokenów. Każdy wynik Jaccarda większy niż 0.5 uznawany jest za poprawną odpowiedź. Jeśli nie uda się dopasować znalezionego postanowienia do żadnej klauzuli dla danego formularza znalezione postanowienie oznaczane jest jako błąd. Podobnie w przypadku kiedy istnieje klauzula wskazana przez UOKiK, ale nie został odnaleziony odpowiedni fragment przez uczestnika konkursu. Każde znalezione postanowienie lub klauzula wskazana przez UOKiK oceniana jest jako 1 w przypadku poprawnie znalezionej klauzuli oraz 0 w przypadku błędu. Finalny wynik to f1-score wyliczony na podstawie tychże ocen binarnych.
Proszę o szczegóły dotyczące miary poprawności w drugim etapie. W szczególności: 1) pokrycie 50% względem czego? klauzuli znalezionej czy referencyjnej czy ich sumy? 2) pokrycie liczone w znakach? czy musi być ciągłe? - sugerowałbym użycie np. odległości edycyjnej dzielonej przez długość fragmentu referencyjnego 3) co oznacza weighted F1? jak wartości F1 są liczone dla klasy przeciwnej do abuzywnej? Najlepiej aby został opublikowany skrypt oceniający.

Data odpowiedzi: 2021-11-15 21:04

Algorytm oceny składa się kilku etapów. Najpierw teksty klauzul (z formularzy, poprawne klauzule) oraz predykowane fragmenty (fragmenty ze zgłoszenia uczestnika konkursu) są czyszczone ze znaków interpunkcyjnych. Następnie tekst dzielony jest na tokeny (słowa). Tokeny zostały wybrane z tego powodu iż, sprawdza się w ten sposób pośrednio również jakość systemu OCR. Następnie przechodzi się przez każdy wzorzec i abuzywne postanowienia w nich znalezione i sprawdzane jest czy dla danego wzorca w formularzach przygotowanych przez UOKiK występuje wskazana klauzula abuzywna. Zdecydowano się skorzystać z odległości Jaccarda na zbiorach tokenów. Każdy wynik Jaccarda większy niż 0.5 uznawany jest za poprawną odpowiedź. Jeśli nie uda się dopasować znalezionego postanowienia do żadnej klauzuli dla danego formularza znalezione postanowienie oznaczane jest jako błąd. Podobnie w przypadku kiedy istnieje klauzula wskazana przez UOKiK, ale nie został odnaleziony odpowiedni fragment przez uczestnika konkursu. Każde znalezione postanowienie lub klauzula wskazana przez UOKiK oceniana jest jako 1 w przypadku poprawnie znalezionej klauzuli oraz 0 w przypadku błędu. Finalny wynik to f1-score wyliczony na podstawie tychże ocen binarnych.
Dokumentacja postępowania
TAGI
uczenie maszynoweweb crawlerOCR
W celu świadczenia usług na najwyższym poziomie stosujemy pliki cookies. Korzystanie z naszej witryny oznacza, że będą one zamieszczane w Państwa urządzeniu. W każdym momencie można dokonać zmiany ustawień Państwa przeglądarki. Zobacz politykę cookies.