o
žšh' ã @ s< d dl Z d dlmZmZmZmZmZ d dlmZ d dl Z d dl
m Z d dl m
Z
d dlmZ dZe› dZe d ¡Ze d
¡Ze d ¡Zd Zd"d
ededee de jfdd„Zdedefdd„ZdedB dee fdd„Z dee fdd„Z dede ee ef fdd „Z d"ded ee dee fd d „Z!de fd d!„Z"dS )#é N)ÚDictÚIteratorÚOptionalÚListÚAny)Ú urlencode)Ú
BeautifulSoup)Ú get_supabase)Úbroadcast_htmlzhttps://www.moef.go.krz/nw/notice/hr.doz=fn_egov_select\('(\d+)','([A-Za-z0-9_]+)','([A-Za-z0-9_]+)'\)z^\s*\[([^\]]+)\]\s*(.*)$z(\d{4}[.-]\d{2}[.-]\d{2})z*GovBot/1.0 (+https://work.jjickjjicks.com)ÚurlÚuaÚparamsÚreturnc C s, |pt ddœ}tj| ||dd}| ¡ |S )Nz?text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8)z
User-AgentÚAccepté )Úheadersr
Útimeout)Ú GOVBOT_UAÚrequestsÚgetÚraise_for_status)r r r
r Úr© r ú)/var/www/html/govbot/app/crawlers/moef.pyÚ_req s þr Úsc C s d | pd ¡ ¡S )NÚ Ú )ÚjoinÚsplit)r r r r Ú_clean s r c C sR | sd S t | ƒ dd¡}t d|¡}|r'| d¡› d| d¡› d| d¡› S d S )NÚ.Ú-z(\d{4})-(\d{2})-(\d{2})é é é )r ÚreplaceÚreÚsearchÚgroup)r ÚtÚmr r r Ú _to_iso_date" s
.r, c C sZ | sdS | d¡D ]!}| d¡pg }tdd„ |D ƒƒr*t|jdddƒ}|r*| S q dS ) u€
컨테ì´ë„ˆ 내부ì—ì„œ class ê°€ state ë¡œ 시작하는 span íƒìƒ‰ (예: 파견연장)
NÚspanÚclassc s s | ]
}t |ƒ d ¡V qdS )ÚstateN)ÚstrÚ
startswith)Ú.0Úcr r r Ú 1 s € z*_extract_tag_from_state..r T©Ústrip)Úfind_allr Úanyr Úget_text)Ú containerÚelÚclassesÚtextr r r Ú_extract_tag_from_state) s €r> Ú
title_textc C s2 t | pd¡}|r| d¡| d¡ ¡ fS d | fS )Nr r# r$ )ÚRE_BRACKET_TAGÚmatchr) r6 )r? r+ r r r Ú!_extract_tag_and_title_by_bracket7 s rB Ú
page_indexc
c s~ ddi}|dur
||d< t t| |d}t|jdƒ}| d¡D ]}| d¡p'd }t |¡}|s0q | d
¡| d ¡| d ¡}} }
| › d
|
› } d } | d¡}
|
ra|
d¡}|rat |j dddƒ} | snt |j dddƒpmd} |
g d¢¡pw|j}t|ƒ}|s„t| ƒ\}} d}|rŸ|j ddd}t |p”d ¡}|rŸt| d
¡ƒ}|| |
| |
dœ}t› dt|ƒ› }| || |
| |||dœV q dS )up
목ë¡: /nw/notice/hr.do?menuNo=4050300
- a[href*="javascript:fn_egov_select"] ...
- 태그: í…스트 ìš°ì„ , 없으면 [태그]ì œëª© 패턴
- 게시ì¼: 컨테ì´ë„ˆ í…스트ì—ì„œ YYYY-MM-DD / YYYY.MM.DD 추출
- page_index 를 넘기면 해당 페ì´ì§€ë¥¼ 조회. Noneì´ë©´ 1페ì´ì§€(기본 ë™ìž‘ 호환)
ÚmenuNoÚ4050300NÚ pageIndex)r
z html.parserz$a[href*="javascript:fn_egov_select"]Úhrefr r# r$ r% r" Úh3Úar Tr5 õ 기재부 ì¸ì‚¬ë°œë ¹)ÚliÚdivÚarticleÚtr)rD Ú searchBbsIdÚ searchNttIdÚ searchBbsId1Ú searchNttId1z/nw/notice/hrDetail.do?)Úitem_idrD ÚbbsIdÚpostIdÚtitleÚtagÚ posted_atr )r ÚLIST_URLr r= Úselectr ÚRE_HREFr( r) Ú
find_previousÚfindr r9 Ú find_parentÚparentr> rB ÚRE_DATEr, ÚBASEr )r rC r
ÚresÚsouprI rG r+ Úmenu_noÚbbs_idÚpost_idrS r? rH Úlinkr: rW rX ÚtxtÚdÚqsÚ
detail_urlr r r Ú
crawl_moef= s` €
"
û
øÔrl c sP t } tt| ƒƒ}|s dS tƒ }dd„ |D ƒ}| d¡ d¡ d|¡ ¡ jp&g }dd„ |D ƒ‰ ‡ fdd„|D ƒ}|s;dS d d„ |D ƒ}t dt
|ƒd
ƒD ]}| d¡ |||d
… ¡ ¡ qJ|D ]D}|d } | d ¡pkd
}
| d¡} | d¡} | r€d| › d|
› n|
}
ddg}| r|
d| › ¡ |
d| › d|
› d¡ td |¡ƒ q_t
|ƒS )u‹
ì‹ ê·œ ê±´ì„ moef_id(id,bbsId,postId,title,tag,posted_at)ë¡œ ì €ìž¥í•˜ê³ í…”ë ˆê·¸ëž¨ 알림 발송.
return: ì‹ ê·œ ê±´ 수
r c S s g | ]}|d ‘qS ©rS r ©r2 Úitr r r Ú
Ž ó zrun..Úmoef_idÚidc S s h | ]}|d ’qS )rs r )r2 r r r r Ú rq zrun..c s g | ]
}|d ˆ vr|‘qS rm r rn ©Úexistr r rp ’ s c
S s@ g | ] }|d |d |d | d¡pd| d¡| d¡dœ‘qS )rS rT rU rV rJ rW rX )rs rT rU rV rW rX )r rn r r r rp — s ú
úiô r rV rJ rW rX ú[z] u 기재부 ì¸ì‚¬ë°œë ¹ìž…니다.r u 게시ì¼: z [z]Ú
)r Úlistrl r ÚtablerZ Úin_ÚexecuteÚdataÚrangeÚlenÚinsertr Úappendr
r )r ÚitemsÚsbÚidsÚexistingÚ new_itemsÚpayloadÚiro r rV rW rX Ú title_blockÚlinesr ru r Úrunƒ s8 "ù"
r‹ )N)#r' Útypingr r r r r Ú urllib.parser r Úbs4r Ú app.services.supabase_servicer Úapp.services.notifyr
ra rY Úcompiler[ r@ r` r r0 ÚdictÚResponser r r, r> ÚtuplerB Úintrl r‹ r r r r Ú s(
" F