150 lines
25 KiB
Plaintext
150 lines
25 KiB
Plaintext
|
Ë
|
|||
|
|
Ï_jV ã ó° — d Z ddlZddlZddlZddlZddlZddlmZ dZ dZ
|
|||
|
|
ej « Z de _
|
|||
|
|
ej e _ d.d„Zd„ Zd/d „Zd
|
|||
|
|
„ Zd „ Zd „ Zd
|
|||
|
|
„ Zd„ Zd„ Zd„ Zd„ Zd„ Zd/d„Z d„ Z d/d„Z d„ Z d„ Z d„ Z!d„ Z"d„ Z#d/d„Z$d „ Z%d „ Z&d „ Z'eed d œeed!d œeed"d œeed#d œe e d$d œe e d%d œe e!d&d œe"e#d'd œe$e%d(d œe&e'd)d œeed*d œd+œ Z(d,„ Z)d-„ Z*y)0uÊ
|
|||
|
|
政ç–é›·è¾¾ - 政府网站抓å�–工具集
|
|||
|
|
æ¯�ä¸ªå‡½æ•°è¿”å›žæ ‡å‡†åŒ–æ ¼å¼�: {"title": str, "date": str, "url": str, "content": str}
|
|||
|
|
列表函数返回: [{"title": str, "date": str, "url": str}, ...]
|
|||
|
|
é N)ÚunescapezoMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36é Fc ó� — dt i}|r|j |« t j j | |¬« }t j j |t t ¬« 5 }|j « }ddd« dD ] } j |« c S j dd¬« S # 1 sw Y Œ6xY w# t $ r Y ŒBw xY w) u0 通用 HTTP GET，返回解ç �å�Žçš„ HTML 文本z
|
|||
|
|
User-Agent©Úheaders)ÚtimeoutÚcontextN)úutf-8ÚgbkÚgb2312r
|
|||
|
|
Úreplace)Úerrors) Ú
|
|||
|
|
USER_AGENTÚupdateÚurllibÚrequestÚRequestÚurlopenÚTIMEOUTÚ_SSL_CTXÚreadÚdecodeÚUnicodeDecodeError)Úurlr ÚhdrsÚreqÚrespÚrawÚencs ú|/root/multica_workspaces/8430d182-81f5-4bfe-9273-29fe4c36769e/c5505f5a/workdir/.claude/skills/policy-radar/tools/scrapers.pyÚ_fetchr! s¹ € à œ*Ð %€DÙØ � ‰ �GÔ Ü
|
|||
|
|
�.‰.×
|
|||
|
|
Ñ
|
|||
|
|
¨dÐ
|
|||
|
|
Ó
|
|||
|
|
3€CÜ � ‰ × Ñ ¬W¼hÐ Ó Gð È4Ø�i‰i‹kˆ÷à)ò ˆð Ø—:‘:˜c“?Ò "ðð
|
|||
|
|
�:‰:�g iˆ:Ó 0Ð0÷ð ûô
|
|||
|
|
"ò Ù ð ús Á'B-ÂB9Â-B6Â9 CÃCc ó — t j d| t j « }g }|D ]U }t j dd|« j « }t |« }|sŒ6t
|
|||
|
|
|« dkD sŒE|j |« ŒW |S )u* 从 HTML ä¸æ��å�–æ£æ–‡æ®µè�½ï¼ˆé€šç”¨ï¼‰z<p[^>]*>(.*?)</p>ú<[^>]+>Ú é
|
|||
|
|
)ÚreÚfindallÚDOTALLÚsubÚstripr ÚlenÚappend)ÚhtmlÚ
|
|||
|
|
paragraphsÚresultÚpÚtexts r Ú_extract_paragraphsr2 ' sq € ä—‘Ð 0°$¼¿ ¹ ÓB€JØ
|
|||
|
|
€FØ
|
|||
|
|
ò ˆÜ�v‰v�j " aÓ(×.Ñ.Ó0ˆÜ˜‹~ˆÚ ”C˜“I “NØ �M‰M˜$Õ ð ð
|
|||
|
|
€Mó c ó — ddl }|j j | « }d|› d|› d�}t |« } t j
|
|||
|
|
|« }g }|j di « j di « j di « }t |t « r|j d g « ng } | D ]Œ }
|
|||
|
|
t j d
|
|||
|
|
d |
|
|||
|
|
j d d « « j « } |
|
|||
|
|
j d
|
|||
|
|
d « } |
|
|||
|
|
j d« r|
|
|||
|
|
j dd « dd nd }
|
|||
|
|
| sŒu| sŒx|j | |
|
|||
|
|
| dœ« ŒŽ |S # t j $ r g cY S w xY w)u
|
|||
|
|
ä¸å›½æ”¿åºœç½‘ - æ�œç´¢ API（å�¯æ�œç´¢æ–°é—»å�‘布会ç‰ï¼‰
|
|||
|
|
URL: https://sousuo.www.gov.cn/search-gov/data?t=zhengcelibrary&q=...
|
|||
|
|
返回 JSON，包� title/url/summary
|
|||
|
|
注�: 索引有 1-2 周延迟，最新内容�能尚未收录
|
|||
|
|
r Nz=https://sousuo.www.gov.cn/search-gov/data?t=zhengcelibrary&q=z&p=z'&n=20&timetype=timeqb&mintime=&maxtime=ÚsearchVOÚcatMapÚzhengcelibraryÚlistVOr# r$ Útitler Úpubtimer% ©r9 Údater )Ú urllib.parseÚparseÚquoter! ÚjsonÚloadsÚJSONDecodeErrorÚgetÚ
|
|||
|
|
isinstanceÚdictr& r) r* r, )ÚkeywordÚpager ÚqÚapi_urlr- ÚdataÚresultsÚ
|
|||
|
|
search_resultÚitemsÚitemr9 r r< s r Ú
|
|||
|
|
gov_searchrO 7 sN € ó Ø� ‰ ×ј7Ó#€Að ؈S��D�6Ð@ð Bð ô �'‹?€DðÜ�z‰z˜$Ó ˆð €GØ—H‘H˜Z¨Ó,×0Ñ0°¸2Ó>×BÑBÐCSÐUWÓX€MÜ/9¸-ÌÔ/NˆM× Ñ ˜h¨Ô +ÐTV€EØò GˆÜ—‘�z 2 t§x¡x°¸Ó'<Ó=×CÑCÓEˆØ�h‰h�u˜bÓ!ˆØ/3¯x©x¸ Ô/Bˆt�x‰x˜ 2Ó& s¨Ñ+ÈˆÚ ’SØ �N‰N U°DÀÑEÕ Fð Gð €Nøô × Ñ ò ØŠ ðús µD5 Ä5E
|
|||
|
|
Å E
|
|||
|
|
c óä — t d« } t j d| « }g }|D ]G \ }}}|j « }|sŒ|j d« rd|dd z }|j |||dœ« ŒI |S )u¬
|
|||
|
|
ä¸å›½æ”¿åºœç½‘ - 国务院政ç–文件库
|
|||
|
|
URL: https://www.gov.cn/zhengce/
|
|||
|
|
结构: æœ�务端渲染，<li><a href="...">æ ‡é¢˜</a><span>日期</span></li>
|
|||
|
|
zhttps://www.gov.cn/zhengce/zM<li>\s*<a href="([^"]+)"[^>]*>\s*([^<]+)\s*</a>\s*<span>\s*([\d-]+)\s*</span>ú./é Nr; ©r! r& r' r* Ú
|
|||
|
|
startswithr, )r- rM rK r r9 r< s r Úgov_zhengce_listrU U s‰ € ô Ð/Ó 0€DÜ �J‰JØXØ ó
|
|||
|
|
€Eð €GØ !ò CшˆU�DØ— ‘ “
|
|||
|
|
ˆÙØ Ø �>‰>˜$Ô Ø/°#°a°b°'Ñ9ˆCØ�‰ °¸SÑAÕBð
|
|||
|
|
Cð €Nr3 c ó> — t | « }t j d|« }|r |j d« j « nd}t j d|« }|r |j d« j « nd}t |« }||| dj
|
|||
|
|
|« dœS )um
|
|||
|
|
ä¸å›½æ”¿åºœç½‘ - 政ç–æ–‡ç« æ£æ–‡
|
|||
|
|
æ£æ–‡åœ¨ <div class="pages_content"> 内的 <p> æ ‡ç¾ä¸
|
|||
|
|
ú<title>([^<]+)</title>é r$ u# å�‘布时间[：:]\s*([\då¹´\-./]+)ú
|
|||
|
|
|
|||
|
|
©r9 r< r Úcontent©r! r& ÚsearchÚgroupr* r2 Újoin©r r- Ú title_matchr9 Ú
|
|||
|
|
date_matchr< Ú
|
|||
|
|
content_parass r Ú gov_articlerd k s’ € ô
|
|||
|
|
�#‹;€Dä—)‘)Ð 5°tÓ<€KÙ,7ˆK× Ñ ˜aÓ × &Ñ &Ô (¸R€Eä—‘ÐAÀ4ÓH€JÙ*4ˆ:× Ñ ˜AÓ × $Ñ $Ô &¸"€Dä'¨Ó-€MàØØØ—;‘;˜}Ó-ñ ð r3 c ó — t d« } t j d| « }g }t « }|D ]K \ }}|j « }|sŒ||vsŒ d|v sŒ#|j |« |j
|
|||
|
|
|dd|z dœ« ŒM |S )u
|
|||
|
|
国新办 - æ–°é—»å�‘布会文å—实录
|
|||
|
|
注æ„�: scio.gov.cn 有å��爬ä¿�护，æ¤å¤„使用 PBC 站点作为镜åƒ�
|
|||
|
|
PBC 的 "国新办举行新闻�布会" 系列完整�留了国新办原文
|
|||
|
|
URL: https://www.pbc.gov.cn/goutongjiaoliu/113456/113469/index.html
|
|||
|
|
ú>https://www.pbc.gov.cn/goutongjiaoliu/113456/113469/index.htmlú:<a[^>]*href="(/goutongjiaoliu/[^"]+)"[^>]*>([^<]{10,})</a>u 国新办r$ úhttps://www.pbc.gov.cnr; ©r! r& r' Úsetr* Úaddr, )r- rM rK ÚseenÚhrefr9 s r Úscio_press_listrn � s• € ô ØHó €Dô
|
|||
|
|
�J‰JØEØ ó
|
|||
|
|
€Eð €GÜ ‹5€DØ ò
|
|||
|
|
‰ ˆˆeØ— ‘ “
|
|||
|
|
ˆÚ �T Ò%¨+¸Ò*>Ø �H‰H�TŒNØ �N‰Nà "Ø Ø3°dÑ:ñõ
|
|||
|
|
ð
|
|||
|
|
ð €Nr3 c óp — t d« } d}t j || « }g }t « }|D ]� \ }}|j « }|sŒ||vsŒ |j |« t j d|« }d}|r$|j d« } | dd › d| dd › d| d d
|
|||
|
|
› �}|j |||d œ« Œƒ |S ) u8
|
|||
|
|
新�社 - ���布/时政
|
|||
|
|
注�: 使用 www.news.cn（新域�），旧 xinhuanet.com �有 2021 年旧数�
|
|||
|
|
URL: https://www.news.cn/
|
|||
|
|
结构: æœ�åŠ¡ç«¯æ¸²æŸ“ï¼Œæ ‡é¢˜åœ¨ <div class="tit"><a href="URL">æ ‡é¢˜</a></div>
|
|||
|
|
æ–‡ç« é“¾æŽ¥æ ¼å¼�: /{channel}/{YYYYMMDD}/{32-hex}/c.html
|
|||
|
|
zhttps://www.news.cn/zz<div class="tit"[^>]*><a[^>]*href=[\'"](https?://www\.news\.cn/[^"\']+/20\d{6}/[a-f0-9]{32}/c\.html)[\'"][^>]*>([^<]+)</a>ú /(20\d{6})/r$ rX Né ú-é é r; ) r! r& r' rj r* rk r] r^ r, )
|
|||
|
|
r- ÚpatternrM rK rl r r9 rb r< Úds
|
|||
|
|
r Úxinhuanet_listrw Ÿ sÑ € ô Ð(Ó )€Dð L€GÜ �J‰J�w Ó %€EØ€GÜ ‹5€DØò G‰
|
|||
|
|
ˆˆUØ— ‘ “
|
|||
|
|
ˆÚ �S ’_Ø �H‰H�SŒMÜŸ™ >°3Ó7ˆJ؈DÙØ ×$Ñ$ QÓ'�ؘB˜Q˜%˜ ! A a & ¨¨1¨Q¨q¨6¨(Ð3�Ø �N‰N U°DÀÑEÕ Fð Gð €Nr3 c ó¢ — t | « }t j d|t j « }|st j d|« }|r |j d« j « nd}t j d|t j « }|r |j d« }t
|
|||
|
|
|« }n t
|
|||
|
|
|« }|d| dj |« dœS )u�
|
|||
|
|
æ–°å�Žç¤¾ - æ–‡ç« æ£æ–‡
|
|||
|
|
æ ‡é¢˜: <h1><span class="title">...</span></h1>
|
|||
|
|
æ£æ–‡: <div id="detailContent"> 内的 <p> æ ‡ç¾
|
|||
|
|
z3<h1[^>]*>.*?<span class="title"[^>]*>([^<]+)</span>rW rX r$ z1id="detailContent"[^>]*>(.*?)</div>\s*(?:<div|</)rY rZ )r! r& r] r( r^ r* r2 r_ )r r- ra r9 Ú
|
|||
|
|
content_matchÚ content_htmlrc s r Úxinhuanet_articler{ ¹ sº € ô �#‹;€DÜ—)‘)Ð RÐTXÔZ\×ZcÑZcÓd€KÙ Ü—i‘iÐ 9¸4Ó@ˆ Ù,7ˆK× Ñ ˜aÓ × &Ñ &Ô (¸R€Eä—I‘IÐ RÐTXÔZ\×ZcÑZcÓd€MÙØ$×*Ñ*¨1Ó-ˆ Ü+¨LÓ9‰
|
|||
|
|
ä+¨DÓ1ˆ
|
|||
|
|
àØØØ—;‘;˜}Ó-ñ ð r3 c ó� — t d« } t j d| « }g }t « }|D ]“ \ }}|j « }|sŒ||vsŒ t |« dkD sŒ-|j
|
|||
|
|
|« t j d|« }d}|r$|j d« }|dd › d |dd
|
|||
|
|
› d |d
|
|||
|
|
d › �}|j ||d |z d
|
|||
|
|
œ« Œ• |S )uÈ
|
|||
|
|
ä¸å›½äººæ°‘银行 - è´§å¸�政ç–/公告/沟通
|
|||
|
|
URL: https://www.pbc.gov.cn/goutongjiaoliu/113456/113469/index.html
|
|||
|
|
结构: æœ�务端渲染，<a href="/goutongjiaoliu/...">æ ‡é¢˜</a>
|
|||
|
|
rf rg é z/(20\d{6})\d{11}/r$ rX Nrq rr rs rt rh r; )
|
|||
|
|
r! r& r' rj r* r+ rk r] r^ r, ) r- rM rK rl rm r9 rb r< rv s r Úpbc_listr~ × sé € ô ØHó €Dô
|
|||
|
|
�J‰JØEØ ó
|
|||
|
|
€Eð €GÜ ‹5€DØ ò ‰ ˆˆeØ— ‘ “
|
|||
|
|
ˆÚ �T Ò%¬#¨e«*°q«.Ø �H‰H�TŒN䟙Ð#7¸Ó>ˆJ؈DÙØ ×$Ñ$ QÓ'�ؘB˜Q˜%˜ ! A a & ¨¨1¨Q¨q¨6¨(Ð3�Ø �N‰Nà "Ø Ø3°dÑ:ñõ
|
|||
|
|
ðð" €Nr3 c óÌ — t | « }t j d|« }|r |j d« j « nd}t |« }|d| dj
|
|||
|
|
|« dœS )u> ä¸å›½äººæ°‘银行 - æ–‡ç« æ£æ–‡ï¼ˆæ£æ–‡åœ¨ <p> æ ‡ç¾ä¸ï¼‰rW rX r$ rY rZ r\ ©r r- ra r9 rc s r Ú pbc_articler� ú ób € ä �#‹;€DÜ—)‘)Ð 5°tÓ<€KÙ,7ˆK× Ñ ˜aÓ × &Ñ &Ô (¸R€EÜ'¨Ó-€MàØØØ—;‘;˜}Ó-ñ ð r3 c ó† — t d« } t j d| t j « }g }t « }|D ] \ }}}|j « }|sŒ||vsŒ |j
|
|||
|
|
|« |j d« s|j d« rd|j dd« z }|j ||xs d|dœ« Œ� |S )u
|
|||
|
|
财政部 - 财政新闻/政ç–
|
|||
|
|
URL: https://www.mof.gov.cn/zhengwuxinxi/caizhengxinwen/
|
|||
|
|
结构: æœ�务端渲染，<a href="t202607...">æ ‡é¢˜</a> + 日期
|
|||
|
|
z3https://www.mof.gov.cn/zhengwuxinxi/caizhengxinwen/z^href="([^"]*t2026[^"]+\.htm)"[^>]*>\s*([^<]{10,80})\s*</a>\s*(?:.*?(\d{4}[-/]\d{2}[-/]\d{2}))?rQ Út20r$ r; )
|
|||
|
|
r! r& r' r( rj r* rk rT r
|
|||
|
|
r, )r- rM rK rl r r9 r< s r Úmof_listr… s» € ô ÐGÓ H€DÜ �J‰JØiØ Ü
|
|||
|
|
� ‰ ó
|
|||
|
|
€Eð
|
|||
|
|
€GÜ ‹5€DØ !ò MшˆU�DØ— ‘ “
|
|||
|
|
ˆÚ �S ’_Ø �H‰H�SŒMØ�~‰~˜dÔ# s§~¡~°eÔ'<ØKÈcÏkÉkÐZ^Ð`bÓNcÑc�Ø �N‰N U°D²J¸BÀsÑKÕ Lð
|
|||
|
|
Mð €Nr3 c ó> — t | « }t j d|« }|r |j d« j « nd}t j d|« }|r |j d« j « nd}t |« }||| dj
|
|||
|
|
|« dœS )u 财政部 - æ–‡ç« æ£æ–‡rW rX r$ u# å�‘布日期[：:]\s*([\då¹´\-./]+)rY rZ r\ r` s r Ú mof_articler‡ s� € ä �#‹;€DÜ—)‘)Ð 5°tÓ<€KÙ,7ˆK× Ñ ˜aÓ × &Ñ &Ô (¸R€EÜ—‘ÐAÀ4ÓH€JÙ*4ˆ:× Ñ ˜AÓ × $Ñ $Ô &¸"€DÜ'¨Ó-€MàØØØ—;‘;˜}Ó-ñ ð r3 c ó — | dk( rd}n d| dz
|
|||
|
|
› d�}t |« }t j d|« }g }|D ]G \ }}}|j « }|sŒ|j d« rd|dd z }|j |||d œ« ŒI |S )
|
|||
|
|
uÜ
|
|||
|
|
å�‘改委 - 产业政ç–/规划
|
|||
|
|
URL: https://www.ndrc.gov.cn/xxgk/
|
|||
|
|
结构: æœ�务端渲染，<ul class="u-list"><li><a>æ ‡é¢˜</a><span>日期(YYYY/MM/DD)</span></li></ul>
|
|||
|
|
分页: index_{page-1}.html
|
|||
|
|
rX z https://www.ndrc.gov.cn/xxgk/z#https://www.ndrc.gov.cn/xxgk/index_z.htmlzN<a[^>]*href="([^"]+)"[^>]*>\s*([^<]{10,})\s*</a>\s*<span>\s*([\d/]+)\s*</span>rQ zhttps://www.ndrc.gov.cnNr; rS )rG Úlist_urlr- rM rK r r9 r< s r Ú ndrc_listrŠ 0 s¦ € ð ˆq‚yØ2‰à8¸À¹¸
|
|||
|
|
À%ÐHˆÜ �(Ó €DÜ �J‰JØYØ ó
|
|||
|
|
€Eð €GØ !ò CшˆU�DØ— ‘ “
|
|||
|
|
ˆÙØ Ø �>‰>˜$Ô Ø+¨c°!°"¨gÑ5ˆCØ�‰ °¸SÑAÕBð
|
|||
|
|
Cð €Nr3 c óP — t | « }t j d|« }|r |j d« j « nd}t j d|t j
|
|||
|
|
« }|rt
|
|||
|
|
|j d« « }n t
|
|||
|
|
|« }|d| dj |« dœS )u: å�‘改委 - æ–‡ç« æ£æ–‡ï¼ˆæ£æ–‡åœ¨ div.TRS_Editor 内）rW rX r$ z'class="TRS_Editor"[^>]*>(.*?)</div>\s*<rY rZ ©r! r& r] r^ r* r( r2 r_ )r r- ra r9 Ú editor_matchrc s r Ú ndrc_articlerŽ K s‘ € ä �#‹;€DÜ—)‘)Ð 5°tÓ<€KÙ,7ˆK× Ñ ˜aÓ × &Ñ &Ô (¸R€EÜ—9‘9Ð GÈÌrÏyÉyÓY€LÙÜ+¨L×,>Ñ,>¸qÓ,AÓB‰
|
|||
|
|
ä+¨DÓ1ˆ
|
|||
|
|
àØØØ—;‘;˜}Ó-ñ ð r3 c ó
|
|||
|
|
— d}d|› d| › �}t |« }t j d|« }g }t « }|D ]F \ }}|j « }|sŒ||vsŒ |j |« |j
|
|||
|
|
|dd|z dœ« ŒH |S )u"
|
|||
|
|
è¯�监会 - 主å¸è®²è¯�/政ç–公告
|
|||
|
|
URL: https://www.csrc.gov.cn/csrc/c100028/
|
|||
|
|
结构: HTML 页�（API 返回空结果，需用 common/searchList 获� HTML）
|
|||
|
|
HTML URL: /common/searchList/{channelid}?_isAgg=true&_isJson=true&_pageSize=18&_template=index&page={N}
|
|||
|
|
Úc100028z*https://www.csrc.gov.cn/common/searchList/z<?_isAgg=true&_isJson=true&_pageSize=18&_template=index&page=zF<a[^>]*href="(/csrc/c100028/c\d+/content\.shtml)"[^>]*>([^<]{10,})</a>r$ zhttps://www.csrc.gov.cnr; ri ) rG Ú
|
|||
|
|
channel_idr r- rM rK rl Úpathr9 s r Ú csrc_listr“ ] s € ð €JØ 6°z°lÐB~ð @Dð Eð F€CÜ �#‹;€DÜ �J‰JØQØ ó
|
|||
|
|
€Eð €GÜ ‹5€DØ ò
|
|||
|
|
‰ ˆˆeØ— ‘ “
|
|||
|
|
ˆÚ �T Ò%Ø �H‰H�TŒNØ �N‰Nà "Ø Ø4°tÑ;ñõ
|
|||
|
|
ð
|