h Y t d dl Z d dlZd dlZd dlmZ d dlmZ d dlmZ d dl m
Z
m Z d dl m
Z
ee j d r e j j! d d d
lmZ ee j) j* d Z ee e j0 vr"e j0 j3 d ee ej4 j7 d d
d dl m Z d dl m Z m Z m!Z!m"Z"m#Z#m$Z$m%Z% d dl&m'Z' d dl(m)Z) d dl*m+Z+ d dZ,d Z-d Z.d Z/ e0 Z1d Z2ed Z3ed Z4ed Z5 d dZ6d d Z7y) N)Path)product)urljoin)IntegrityError transaction)timezone reconfigureutf-8encoding)
sync_to_async DJANGO_SETTINGS_MODULEzNetworkMonitoring.settings)async_playwright)
SourceNetworkNetworkMonitoredPageNetworkSourceErrorRawMonitoredLink
NetworkStatusAds AdsManual)logger)handle_cookies)
paginate_nextc ~ K t t j j | |d d | d { y 7 w)Ni )source
error_message
error_type)r
r objectscreate)r messager s 5/var/www/extractly/link_agregator/source_managment.pylog_source_errorr# % s;
:-*2299
: etn s 3=;=c # 4 K |j D cg c] \ }}t |t s| }}}|j D cg c] \ }}t |t r| }}}|D cg c] }t || j }}t | D ]i }| }i } t
|| D ]& \ }}|j d| d| }|| | | |< ( |D ]# }|j d| d|| }|| | |< % || f k y c c}}w c c}}w c c}w w)N{})items
isinstancedictlistkeysr zipreplace)
structureparamskv perm_keys static_keysvalues combinationurlmapping_for_dbs
r" generate_permutationsr8 - s %||~E~tq!At1D~IE!' K Az!T7J1 KK.7
8id6!9>>#$iF
8 ' ;/DAq++1#Rj!,C &q ! N1 0 A++1#Rj&)4C &q N1 >!! ( FK
8s3 DDDD D
"D
&D-#DBDc H K | j | d { }g }|D ]^ } |j d { }t dj t t
j | }|j | ` |r t | S y7 w7 Y# t $ r Y ~w xY ww)N r )
query_selector_all
inner_textintjoinfilterstrisdigitappend Exceptionmax)pagepagination_numbers_selectorelementsnumberseltxtnums r" get_total_pages_from_paginationrL > s ,,-HIIHG
'CbggfS[[# 678C NN3 7| J ( sC B"B B"BBAB?B"B B B" B B"c N K | j | d { }t j dt | d| g }t | D ] \ }}|j d d { }|dk( rg|j
| d { } | rt j d| d| |j | j d r| n t || nU|j
| d { } | s|j d d { }
|
D ]d } | j
| d { } | s t j d| |j | j d r| n t || f |sd D ]g }
|j
|
d { }|s t j d
|
d | |j |j d r|n t || i nIt j d| d | |j | j d r| n t || |j d { }t j d | d
| t j dt | d| d| d |S 7 w7 )7 7 7 7 w7 7 aw)Nz[DEBUG] Znaleziono z sekcji przez selektor z (e) => e.tagName.toLowerCase()au [DEBUG] Znalazłem atrybut z w : httpu" [DEBUG] Znalazłem atrybut w : )zdata-urlz data-hrefhrefu$ [DEBUG] Znalazłem atrybut fallback : z[HTML_SECTION z] z[EXTRACTED] Wyszukano u linków (selector: z attr: )) r; r infolen enumerateevaluate
get_attributerB
startswithr
inner_htmldebug)rE section_selectorurl_attrbase_urlrG linksidxrI tag_namevala_tagsa_elval2attrfallbackhtmls r" extract_links_from_sectionrh M sh ,,-=>>H
KK%c(m_4KL\K]^_ E X&R%EFF s?((22C 9(8C5 QR CNN6$:SRU@VW((22C ! 4 4S 99 "D!%!3!3H!==D &H$OP T__V-DT'RZ\`Jab #
A)+)9)9$)?#?# "KK*NtfTVW_V`(a b !LLX5H5H5PV]^fhpVq r !B 9(2cU KL CNN6$:SRU@VW]]_$ ~cU"TF345 '8 KK(U 4HIYHZZabjakklmn LA ? G2
39= $@ %s J%JAJ%(J) J%JA&J%-J.J%J J%&J 'J%.A#J%J J%B(J%J#A
J%J%J%J%J% J% J%#J%c K |t vrBt | | d { t j | t j d| y t j d| y 7 Kw)Nz"Cookies zaakceptowane dla domeny: u' Cookies już zaakceptowane dla domeny: )cookies_clicked_for_baseurlr addr rS )rE r] ai_configs r" #ensure_cookies_accepted_for_baseurlrm t sZ 22 T9---#''1 8
CD =hZHI .s A(A&A A(c ` t j j | j y )Nr )r r r? deletero s r" _clear_status_for_sourcerq s$ /668 c t j 5 t j j | |d }|j d| }t j j | |d j d| }t j j | |d j dd| }|||fcddd S # 1 sw Y yxY w)z
Atomically deactivate:
- NetworkMonitoredPage
- Ads
- AdsManual
joined via OneToOne reverse: .objects.filter(networkmonitoredpage__...)
Returns tuple of counts (pages, ads, ads_manual).
Tr url__in is_active) check_active
inactive_date networkmonitoredpage__source networkmonitoredpage__url__inrv F)rv rw rx Nr atomicr r r? updater r )r expired_urlsnowpages_qs
pages_updated ads_updatedads_manual_updateds r" _cascade_deactivater s
'//66<4 7
! (
kk(()/*6 )
& ' . . 5 5)/*6 6
&5t3&
G k+==;
s B!C C c t j 5 t j j | |d j dd }t j j | |d j ddd }t j j | |d j ddd }|||fcddd S # 1 sw Y yxY w)u
Jeśli ogłoszenie wróciło na listę, a w DB było nieaktywne:
- NetworkMonitoredPage: is_active=True, inactive_date=None
- Ads/AdsManual: is_active=True, inactive_date=None, isSendToMainServer=False
Zwraca (pages_re, ads_re, ads_manual_re).
Frt TN)rv rx ry )rv rx isSendToMainServerr| )r active_urls_nowpages_reads_re
ads_manual_res r" _reactivate_return_countsr s
'//66?e 7
&4t&
4 ##)/*9 $
&4t&
N "))00)/*9 1
&4t&
N .#
s B B??Cc
K |j d } |j dd }
|j dd } |} |j dd }
|j d }|j d d
}|j d }d }d
}d}d }d
}d}d }d} |d k( r|j d| }t || }d|v r8t j d| d t |d| d| dd d { n | j
|dd| d { t j d | d | t j d | d | |7|r5|d k( r0 t | | d { }t j d"| d#| t | || d { | j d%d&d'( d { | j | d') d { t | | |
| d { } t j d,t | d- t | } |F| |k( rA|d z
}t j d.| d/| d0 ||k\ r t j d1| d2 n_d
}| }| D ]% } | j! | r| n t || } |||||d3} d4|v r|d4 | d4< d5|v r|d5 | d5< d6|v r|d6 | d6< |d7k( r t# t$ j& j( | |8 d { t# t* j& j( | |j d5 |j d6 ||j, | : d { d
}|d>k( s t# t0 j& j2 | |8 d { ( t5 |d@d }!|!4t | |!k r&t j dAt | dB|! dC n| st j dD dE| dF|
dG t |dH| dE| dF|
ddI d { | j7 d { }"t9 dJ| dKdLdMN 5 }#|#j; |" d d d ng||k\ rt j dO| dP nH| ||k\ rt j dQ| dR n't= | ||
|||||| |S
d { }$|$sn|d z
}$t j dT| y 7 7 # t $ rB}t j d | d | t |d | d | d! d { 7 Y d }~ed }~ww xY w7 # t $ r%}t j d$| d }Y d }~d }~ww xY w7 7 # t $ r Y w xY w7 # t $ r#}t j d*| d+ Y d }~d }~ww xY w7 7 # t $ r&}t j d9| d | Y d }~d }~ww xY w7 # t. $ r% |d z
}t j d;| d<| d Y t $ r&}t j d=| d | Y d }~d }~ww xY w7 # t $ r&}t j d?| d | Y d }~d }~ww xY w7 h7 S# 1 sw Y /xY w7 ٭w)UNsectionr\ rP wait_for_wrapperz .lista_ofertpagination_strategy
url_change
next_selectorpage_url_templatez?page={{number}}total_pages_selectorr r i Tz {pagination}uO [ZABEZPIECZENIE] Próbowałem wejść na niepodstawiony link z '{pagination}': u — przerywam permutację!u9 Próba wejścia na niepodstawiony link z '{pagination}': z (permutacja: rR bad_pagination_linkr domcontentloaded` )
wait_untiltimeoutrefererz[PAGE] Strona — u& [GOTO PERM] Nie udało się otworzyć rQ zGOTO PERM ERROR: permutation_goto_failedz#[PAGINACJA] Wyznaczono total_pages=z na podstawie u5 [PAGINACJA] Nie udało się wyznaczyć liczby stron: .cookie-modal, .cookiesdetachedȯ stater )r u- [WARN] Brak ogłoszeń lub timeout selector: u — przerywam.z[FOUND] Znaleziono u ogłoszeń.z[DUPLICATE PAGE] Strona z& zawiera te same linki co poprzednia (u raz/y pod rząd).z[END] Strona zduplikowana u+ razy pod rząd – przerywamy permutację.)r] r/ selectorspage_num scraped_url total_pagescity estate_type
offer_typefetch)r6 r z[RAW-LINK-ERROR] )r6 r r r namemetaz [DUPLICATE] u (duplikatów pod rząd: z[ERROR] Problem z zapisem checkz[NETWORKSTATUS-ERROR] skip_when_lessz[SKIP] Znaleziono tylko u linków (limit: u, ) — przerywamy tę kategorię/permutację.u# [NO LINKS] Brak linków na stronie z (selector: z, attr: u ) — przerywam paginację.zNo links found on no_links debug_page_z.htmlwr
r z[END] Przekroczono limit uC kolejnych duplikatów — przerywam paginację dla tej permutacji.u& [END] Osiągnięto ostatnią stronę: u , przerywam permutację.)
rE r r r r] permutation_urlpagination_patternfirst_page_paginationr[ r u [END] Ukończono: ) getr- r r warningr# gotorS rC errorrL rm wait_for_selectorrh rT setrX r
r r r r r r r
get_or_creategetattrcontentopenwriter )%rE r] r r r r r7 r moder[ r\ wrapper_selectorrl r r r rF r consecutive_duplicatesDUPLICATE_LIMITlast_links_setduplicate_pages_in_a_rowMAX_DUPLICATE_PAGESr
first_pager6 eexc full_urls links_setad_urlfull_urlr
skip_limit page_sourcefshould_continues% r" scrape_single_permutationr s !}}Y/}}Z0H }}%7 HI#--(=|L MM/2M!
&9;MN"+--0F"G H ON KJ
q=!)).:OPC(C(C $!rsvrw xS T U&QRUQVVdetduuvw 4
ii0BE[ciddd nXJeC5 AB
KK.
%u= > #>8q=
#$CDJe$f f A+ n]x\y z{ 2$)LLL (()B*^c(d d d (()95(I I I 5T;KXW_`` )#i.)9 FG N %)~*E $ ) $ NN 5hZ?ef~e @R S
T'+>>!; KK@
Mef g !. 3 + 1"7 -' !
A
s v KK$_$567i e
EcU"QC PQ&v1B3%r!/MZsttt
g
#!VWXVY Z[ "
#
M d
J NN J3%_ `
aD ! JNN%6xj3%#HIIJ & m*a/*KK,xj8QRhQiij kl QLL#=hZr#!OPPQ
! ONN%;H:Ru#MNNO
/KK
s C'Z)S*Z1S S
S )$ZT% T" T% =Z
UZU *U+U 0U/ U,U/ Z V CZ2.V$ V!!V$&AW WWZ.X:=X7>X:BZY,Z Y/ Z3Y2A!Z&Y?'(ZS T 2TTTZT Z"T% % U.UZUZU U)%Z(U))Z,U/ / V8VZVZ!V$$ W-WZWZW*X4ZX4X/)Z/X44Z7X:: Y)Y$ Z$Y))Z/Z2Y<7 Zc K | r= t t t j j | d d { }n; t t t j j d d { }t 4 d { }|j j | d { }|j ddddd
d { }|j d { }t j d t | t j d |D cg c] } | j c} |D ] }
|d
k( rt |
d { |
j } |
j } |
j" j% }
|
j& j% }|
j( }t+ |
dd xs |j- d xs d}|rTd|v r|d } d|v r|d } d|v r|
j/ |d d|v r|j/ |d d|v r|d }d|v r|d }t t1 | |
}t j d|
j dt | d t j d|
j d |D ] \ }}t j d| d| " t j d | |j3 rJt j4 d |j d { }t7 j8 d d { t7 j8 d d { |j; | d d ! d { t j d"| t j d-| d. tG || | d { |jI d/d0d12 d { |D ]! \ }}tK || ||||||
|3 d { # |d
k( stL j j d|
4 }tO t t |jQ d5d6 d { }tR j j |
7 }tO t t |jQ d5d6 d { }||z
}tU jV }tY |
|| d { \ } } } t j d8t | d9|
j d:| d;| d<| d= t[ |
| d { \ } } }!t] | | |!f r t j d>| d;| d<|! d= ||z
}"d?}#|"D ]J }$ t tL j j^ |$|
|
j` dd@dAiB d { |#dCz
}#L t j dE|# dF |jc d { t j dG d d d d { y 7 7 7 }7 \7 @7 +c c} w 7 7 7 7 7 # t< $ r}t j> d#| d$| |jA d%|
jB d&' d { 7 t j d( n$# t< $ r t j4 d) Y nw xY wtE |
d*| d$| d+, d { 7 Y d }~d }~ww xY w7 67 # t< $ r Y &w xY w7 7 7 ]7 .7 7 d# t< $ r&}t j4 dD|$ d$| Y d }~d }~ww xY w7 ^7 <# 1 d { 7 sw Y y xY ww)HNT)idenabled)r )headlessz_Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115 Safari/537.36zpl-PLi i )widthheight)
user_agentlocaleviewportu) [SRC] Liczba źródeł do przetworzenia: u [SRC] Źródła: r r r: r] r. r/ r
paginationz
[PERMUTACJE] r z kombinacjiz![PERMUTACJE-LIST] Permutacje dla :z -> URL: z | MAP: u [GOTO] Próba wejścia na u9 [PAGE CLOSED] Strona zamknięta – tworzę nową stronęg ?r r )r r u [GOTO OK] Weszło na u1 [GOTO ERROR] Nie udało się otworzyć base_url: rQ zerrors/goto_error_z.png)pathu Zrobiono screenshot błędu.u$ Nie udało się zrobić screenshota.zGOTO ERROR for base_url: goto_failedr z [COOKIES] Otwieram base_url: u1 i akceptuję cookies (tylko raz dla tej domeny).r r r r )r )rv r r6 )flatro zOznaczono jako nieaktywne u ogłoszeń (status check dla z ) [pages:z, ads:z
, ads_manual:]uL Reaktywowane ogłoszenia (is_active=True, isSendToMainServer=False): [pages:r notezDodano przez status-check)r6 r r rv r r z[CHECKER-ADD-ERROR] zDodano u> nowych ogłoszeń (brakujących w bazie) podczas status checku8 === Agregator zakończył pracę, browser zamknięty ===)2r
r* r r r? r chromiumlaunch new_contextnew_pager rS rT titlerq r] r. r/ copyr r r r r~ r8 is_closedr asynciosleepr rC r
screenshotr r# rm r r r r values_listr r r r r anyr r close)% source_idr/ r r sourcespbrowsercontextrE sr r] r.
source_paramsr r r permutationsperm_urlr7 r r db_links_qsdb_linksstatus_links_qs status_linksexpiredr pages_updads_updads_manual_updr r r missingaddedr6 s% r" scrape_all_sourcesr s9 +
d+M,A,A,H,HI_c,H,dee+
d+M,A,A,H,HQU,H,VWW !!Q
))8)<< ++x #s3 ,
%%'' ?G ~NO ''(B'Q'(B'CDE Fw.v666 H ((I "MM . . 0M ((--/I!'!2!2 $+F4KT$R %CV_VcVcd{V| %C AC ! ' %j 1H &( &{ 3Iv%!(()9: &( $$VK%89 6))/ )=&*f4,23J,K) 5i OPL KK- ~U3|;L:M[Y Z KK;FLL>K L,8(. k(8N;K LM -9
KK4XJ? @
>>#NN%^`!(!1!1!33D!--,,, mmC(((ii5GQViWWW 3H: >?
KK7zArs t5dHiP P P
,,-Fjbg,hhh
4@/ / #&)"
4@ w 2 : : A ADY_ A ` %8]4%89P9PQV]a9P9b%c cd #0"7"7">">f">"M ")< t)<_=X=XY^ei=X=j)k#k l #\1 lln;NvW^`c;d5d2 7N 0W >\]c]i]i\j k '[wi}^DTTUW 9RRXZf8g2g/&-&-89KK""*6& }oUVX '1"C
J Pm,@,H,H,O,O P ##)!'&*"(*E!F
# geW,j kls x mmo NOS "!! fW!<
( )C
7D 4,(W
PQYPZZ\]^\_ `aK //1CFII;d/S/TTTKK >? KNN#IJK 'v1J8*TVWXVY/Zgtuuu
Qh
" d $l
6e 3h % J )=cU"QC'HIIJ
Q "!!!sT :]X;]8X9] X ] \;/X 0 \;X\;&X'9\; X 3"\;XE:\;8X( X
X(&X ' X(X"X( X% X(<)\;%[&\;+[![ [! \;&[1
' \;4A\;[4 A\;[7 1\; [:
A\; [= A\; =\ \
\&1\;\5\;1 ]<\8=]]] \;\;\;\; X( X("X(%X(( [1[
#Z 0Y3
1Z [ Z- *[,Z- -[[
[
\;[\; [!! [.*\;-[..\;4\;7\;:\;=\; \ \2 \- '\;-\2 2\;8];]
] ]
])general)r )NNr F)8sysosr pathlibr itertoolsr urllib.parser django.dbr r django.utilsr hasattrstdoutr asgiref.syncr
__file__resolveparentsBASE_DIRr@ r insertenviron
setdefaultplaywright.async_apir extractly.modelsr r r r r r r link_agregator.utils.loggerr link_agregator.utils.cookiesr link_agregator.utils.next_pager r# r8 rL rh r rj rm rq r r r r rr r" r s4
1 ! 3::}%JJG, ' > ! ! # + +A .x= HHOOAs8}%
.0L M 1 / 7 8""
!J "e J 9 9 &> &>T / /> MTs8lOPrr