a g@sdZddlZddlmZddlZddlmZddlmZhdZ hdZ dee e e eee d d d Z d ZeZeejeee ee dddZdS)a CRFCut - Thai sentence segmenter. Thai sentence segmentation using conditional random field, with default model trained on TED dataset Performance: - ORCHID - space-correct accuracy 87% vs 95% state-of-the-art (Zhou et al, 2016; https://www.aclweb.org/anthology/C16-1031.pdf) - TED dataset - space-correct accuracy 82% See development notebooks at https://github.com/vistec-AI/ted_crawler; POS features are not used due to unreliable POS tagging available N)List) corpus_path) word_tokenize>/uลง นั้นu ขึ้นu แล้วuเท่านั้นu นะคะuทีเดียวเหล่านั้นu ไหมuเดียวuไปuคะu ไหนuๆเหล่านี้u เองu อยู่u น้อยu มั้ยu ได้u ใหม่uฮะu ค่ะu จ๋าu เลยu ไว้u อะไรu จ้ะ ด้วยu จ้าu บ้างuเช่นกันu ทำไมu กันuนะu มากuหรือไม่u ครับuมาu หมดuจริงๆu อีกuเมื่อไรuยังไงuเมื่อไหร่uอย่างไร นี้>*ruพวกเขาuดิฉันuกูu ถ้าruฉะนั้นu เราu ต่อu หรือruเมื่อu!เพราะฉะนั้นuแกuตอนนี้uผมu และuในที่สุดu กับu แก่uในu เขาu เค้าu มึงruเพราะu ชั้นuพวกเราuเนื่องจากuดังนั้นuทีนี้u มันu ไม่u คุณuข้าพเจ้าu เธอu แต่uก็u ซึ่งr uตั้งแต่u ฉัน)docwindow max_n_gramreturnc Csg}ddt|D|ddt|D}g}g}tt|D]H}||tvr\|dn |d||tvr~|dq@|dq@t|t||D]}dg}tdt|dd |d D]}t||||d |D]} |d | |d | ||} d || | |} |d | d | g7}d || | |} |d| d | g7}d || | |} |d| d | g7}qq||q|S)a Extract features for CRF by sliding `max_n_gram` of tokens for +/- `window` from the current token :param List[str] doc: tokens from which features are to be extracted :param int window: size of window before and after the current token :param int max_n_gram: create n_grams from 1-gram to `max_n_gram`-gram within the `window` :return: list of lists of features to be fed to CRF cSsg|]}dqSZxxpad.0irrC/usr/local/lib/python3.9/dist-packages/pythainlp/tokenize/crfcut.py z$extract_features..cSsg|]}dqSrrrrrrrrendernormalZstarterZbiasr _|word_=ender_starter_)rangelen_ENDERSappend _STARTERSminjoin)r r rZ doc_featuresZ doc_enderZ doc_starterrZ word_featuresZn_gramjZfeature_positionrrr rrrextract_featuress:          r)zsentenceseg_crfcut.model)textrc Cst|trt|}n|}t|}t|}d|d<t|D]T\}}||dr^d||<q:|dksv||ddkr:||dkr:d||<q:g}d}t|D]2\}} || }||dkr|dkr| |d}q|S)z CRF-based sentence segmentation. :param str text: text to be tokenized into sentences :return: list of words, tokenized from the text E)!.?rrI) isinstancestrrr)_taggertag enumeratestripendswithr$) r*toksZfeatZlabsidxr sentencesZsentencerwrrrsegments&    (  r=)r r )__doc__ostypingrZ pycrfsuiteZpythainlp.corpusrZpythainlp.tokenizerr#r%r3intr)Z_CRFCUT_DATA_FILENAMEZTaggerr4openpathr'r=rrrrs    52  6