a g|P@srdZddlZddlZddlZddlmZddlmZeeedddZ eeeedd d Z Gd d d Z dS) a The implementation of sentence segmentator from Nakhun Chumpolsathien, 2020 original codes are from: https://github.com/nakhunchumpolsathien/ThaiSum Cite: @mastersthesis{chumpolsathien_2020, title={Using Knowledge Distillation from Keyword Extraction to Improve the Informativeness of Neural Cross-lingual Summarization}, author={Chumpolsathien, Nakhun}, year={2020}, school={Beijing Institute of Technology} N)List) word_tokenize)listreturncCsd|}d|}|S)N )joinsplit)rstringr G/usr/local/lib/python3.9/dist-packages/pythainlp/tokenize/thaisumcut.pylist_to_strings r ) sentencesrc Cs(d}|D]}tt|dd}tdt|D]}|dks,|dt|krJq,||r||ddkr|d|d||d}|dt|kr,||r,||ddkr,|d|d||dd}q,d}||krt||}t|d d}td|D]}||d|d} g} i} tt|D]} || dkr.| | q.| D]} | | t| | iqRt| dkrt | t dd }| |d||dd q|t|d }q||d }q|d }d d |D}d|vr|dd|vr|dttd|}|S)NrFZkeep_whitespacerrT)keycSsg|] }|qSr strip.0sr r r Kzmiddle_cut..nan)lenrrangeisdigitmathfloorappendupdateabsminitemsoperator itemgetterpopinsertr r removerfilter)rZnew_textZsentenceZ sentence_sizekZfixed_text_lenth partitiontokensiZ middle_spaceZwhite_space_indexZwhite_space_diffjZ white_spaceZmin_diffr r r middle_cutsT "       r2c@s$eZdZdeeeedddZdS)ThaiSentenceSegmentorF)text isMiddleCutrcCs d}d}d}d}d}d}d} d} d |d }|d d }|d d }|d d }|dd}|dd}|dd}|dd}|dd}|dd}|dd}|dd}|dd}|d d!}|d"d#}|d$d%}|d&d'}|d(d)}|d*d+}|d,d-}|d.d/}|d0d1}|d2d3}|d4d5}|d6d7}|d8d9}|d:d;}|dd?}|d@dA}|dBdC}|dDdE}|dFdG}|dHdI}|dJdK}|dLdM}|dNdO}|dPdQ}|dRdS}|dTdU}|dVdW}|dXdY}|dZd[}|d\d]}|d^d_}|d`da}|dbdc}|ddde}|dfdg}|dhdi}|djdk}|dldm}|dndo}|dpdq}|drds}|dtdu}|dvdw}|dxdy}|dzdz}|d{d|}|d}d~}|dd}|dd}|dd}d|vrXt|dd} d} d} t| }g}g}tt| D]}| |dkrt|} | dkr|| kr| |d kr| dkr|| dkr|} | dkr|| dkr||d} d} | dkr^| | dkr|| n || d} d} q^|D]}| || |dq|D]}| |dq}|dAd@}|dCdB}|dEdD}|dGdF}|dIdH}|dKdJ}|dMdL}|dOdN}|dQdP}|dSdR}|dUdT}|dWdV}|dYdX}|d[dZ}|d]d\}|d_d^}|dad`}|dcdb}|dedd}|dgdf}|didh}|dkdj}|dmdl}|dodn}|dqdp}|dudt}|dwdv}|dydx}|dd{}|d~d}}|dd}|dd}|dd}|dd}|dd}|dd}| d}dd|D}d |v r| d d|v r| dt td|}| rt|S|SdS)Nu ([ก-๙])ua(ทำให้|โดย|เพราะ|นอกจากนี้|แต่|กรณีที่|หลังจากนี้|ต่อมา|ภายหลัง|นับตั้งแต่|หลังจาก|ซึ่งเหตุการณ์|ผู้สื่อข่าวรายงานอีก|ส่วนที่|ส่วนสาเหตุ|ฉะนั้น|เพราะฉะนั้น|เพื่อ|เนื่องจาก|จากการสอบสวนทราบว่า|จากกรณี|จากนี้|อย่างไรก็ดี)u(กล่าวว่า|เปิดเผยว่า|รายงานว่า|ให้การว่า|เผยว่า|บนทวิตเตอร์ว่า|แจ้งว่า|พลเมืองดีว่า|อ้างว่า)u(ครับ|ค่ะ)uP(หรือไม่|โดยเร็ว|แล้ว|อีกด้วย)up(ล่าสุด|เบื้องต้น|ซึ่ง|ทั้งนี้|แม้ว่า|เมื่อ|แถมยัง|ตอนนั้น|จนเป็นเหตุให้|จากนั้น|อย่างไรก็ตาม|และก็|อย่างใดก็ตาม|เวลานี้|เช่น|กระทั่ง)z([0-9])ur(นาย|นาง|นางสาว|เด็กชาย|เด็กหญิง|น.ส.|ด.ช.|ด.ญ.)r ruโดยเร็วz uเพื่อนz u แต่งz uโดยสารzuแล้วแต่z uหรือเปล่าz uหรือไม่z u-จึงรุ่งเรืองกิจzuตั้งแต่z uแต่ละz uวิตแล้วzuโดยประz u*แต่หลังจากนั้นzuพรรคเพื่อz uแต่เนื่องzuเพื่อทำให้uเพื่อuทำเพื่อuทำuจึงทำให้uจึงuมาโดยตลอดz uแต่อย่างใดzuแต่หลังจากuแต่uคงทำให้zuแต่ทั้งนี้uแต่uมีแต่u มีu$เหตุที่ทำให้zuโดยหลังจากuโดยu!ซึ่งหลังจากuซึ่งuตั้งโดยz uโดยตรงz uนั้นหรือz u'ซึ่งต้องทำให้u ซึ่งต้องuชื่อต่อมาuชื่อu!โดยเร่งด่วนuเร่งด่วนu!ไม่ได้ทำให้uไม่ได้uจะทำให้uจะuจนทำให้uจนuเว้นแต่uเว้นuก็ทำให้uก็u ณ ตอนนั้นu ณ uบางส่วนuบางuหรือแม้แต่uหรือuโดยทำให้uโดยuหรือเพราะuหรือuมาแต่uมาu!แต่ไม่ทำให้uแต่u!ฉะนั้นเมื่อuฉะนั้นu!เพราะฉะนั้นuเพราะu$เพราะหลังจากuเพราะu!สามารถทำให้uสามารถuอาจทำuอาจu จะทำuจะu$และนอกจากนี้uนอกจากนี้u$อีกทั้งเพื่อuอีกทั้งu$ทั้งนี้เพื่อuทั้งนี้uเวลาต่อมาuเวลาu$อย่างไรก็ตามu9อย่างไรก็ตามหลังจากu7อย่างไรก็ตามuซึ่งทำให้uซึ่งuโดยประมาทuประมาทuโดยธรรมuธรรมuโดยสัจจริงuสัจจริงu และTrrru หรือu จึงrz\1z\1z[.]z \1.\2z \1\2.\3z \1\2u”u.”u”."z."z".!z!"z"!?z?"z"?u1อย่างไรก็ตามz?z!z.cSsg|] }|qSr rrr r r rorz>ThaiSentenceSegmentor.split_into_sentences..r)replacerrrrr"r)r*r resubr r+rr,r2)selfr4r5Z th_alphabetsZth_conjunctionZth_citeZ th_ka_krubZ th_stop_afterZth_stop_beforeZdegitZth_titler/Z and_positionZnearest_space_positionZ last_positionZpop_split_positionZsplit_positionr0r)r Z or_positionZ cung_positionrr r r split_into_sentencesVs$                                                                                                                                                              z*ThaiSentenceSegmentor.split_into_sentencesN)F)__name__ __module__ __qualname__strboolrrCr r r r r3Us r3) __doc__r@r'r typingrZpythainlp.tokenizerrGr r2r3r r r r s   6