An open API service indexing awesome lists of open source software.

Text-Summarization-Repo

텍스트 요약 분야의 주요 연구 주제, Must-read Papers, 이용 가능한 model 및 data 등을 추천 자료와 함께 정리한 저장소입니다.
https://github.com/uoneway/Text-Summarization-Repo

Last synced: 24 days ago
JSON representation

Intro to Text Summarization

Definition

Main Topics

Related Knowledge

Task Categories

Others

Other Papers List

Recommended Resources

Services

Papers

Must-read Papers

  • **TextRank**: Bringing order into texts - level weighted graph를 구성하고, 이 weight가 높은 sentence를 summary에 포함합니다. 통계 기반 unsupervised learning 방식으로 별도의 학습 데이터 없이 추론이 가능하고, 알고리즘이 명확하여 이해가 쉽습니다. - [Library] gensim.summarization(3.x버전만 가능. 4.x버전에서 삭제), PyTextRank- [이론/Code] lovit. TextRank 를 이용한 키워드 추출과 핵심 문장 추출 | ext,Graph-based(PageRank),Unsupervised |
  • Text Summarization with Pretrained Encoders - trained BERT를 요약 task에 활용하려면 어떻게 해야할까요? BertSum은 여러 sentence를 하나의 인풋으로 넣어주기 위해 매 문장 앞에 [CLS] 토큰을 삽입하고 interval segment embeddings을 추가한 변형 input embeddings을 제안합니다. ext 모델은 BERT에 Transformer layers를 얹은 encoder 구조를, abs 모델은 ext 모델 위에 6-layer Transformer decoder를 얹은 encoder-decoder 모델을 사용합니다.- [Review] 이정훈(KoreaUniv DSBA)- [Korean] KoBertSum | ext/abs, BERT+transformer,2-staged fine-tuning |
  • **MatchSum**: Extractive Summarization as Text Matching - [Review] 이유경(KoreaUniv DSBA) | ext |
  • **What Have We Achieved on Text Summarization?** - 전통적 rule-based 방법은 여전히 baseline으로 유효하다.- 유사한 세팅 하에서는 abs모델보다 ext모델이 대체적으로 faithfulness와 factual-consistency에서 더 좋은 성능을 보임. The main shortcoming is unnecessity for extractive models, and omission and intrinsic hallucination for abstractive models.- Sentence representation을 생성하기 위한 transformer와 같은 더 복잡한 구조가 duplication 문제 말고는 크게 도움이 안됨- Copy(Pointer-Generator)는 reproducing detail하는데, Inaccuracy Intrinsic 뿐만 아니라 추출/생성을 적절히 혼합하여 word level duplication 문제도 효과적으로 해결함. but tends to cause redundancy to a certain degree. Coverage는 by a large margin으로repetition errors(Duplication)은 감소시키나, 동시에 Addition과 Inaccuracy Intrinsic error를 증가시키는 한계 - ext후 abs하는 hybrid 모델은 원문의 일부(extracted snippets)을 통해 요약을 생성해내기에 recall은 좋지만 Inaccuracy error에 문제가 있을 수 있음- Pre-training, 특히 encoder only 모델(BertSumExtAbs)보다 encoder-decoder 모델(BART)은 요약분야에서 아주 효과적임. 이는 입력에 대한 이해 및 생성을 모두 pretraining하는 것이 content selection과 combination에 아주 유용함을 시사함. 동시에 대부분의 abs 모델이 앞쪽 문장만 집중하는데 반해 BART가 원문 전반을 모두 보고 있다는 점은 pretraing 시 sentence shuffling의 효과로 보임- [Review] 김한길, 허훈 | review |
  • **CTRLsum**: Towards Generic Controllable Text Summarization - sum)Junxian He, Wojciech Kryściński, Bryan McCann, Nazneen Rajani, Caiming Xiong CTRLsum은 keywords 또는 descriptive prompts를 통해 생성되는 요약문을 조정할 수 있는 controllable Text Summarization 모델입니다.- Training: 일반적인 summary 데이터를 변형하여 keyword 기반 controllable summary 데이터셋을 만들기 위해, 본문에서 요약문과 가장 유사한(ROUGE score가 높은) sub-sequences를 고르고 거기서 keyword를 추출합니다. 이를 문서와 함께 input으로 넣어 pretrained BART를 fine-tuning 합니다. - Inference: 아래 이미지와 같이 본문과 함께 적절한 keywords와 prompts(optional)를 넣어주면 특정 entity에 대한 요약문을 생성하거나 요약문 길이를 조정하거나, 질문(query)에 대한 응답을 생성하는 등의 요약문 control이 가능합니다. 주목할 부분은 모델 training 단계에서 이러한 prompts를 명시적으로 학습시키지 않았는데도 마치 prompt를 이해하고 이에 따른 요약을 생성해내는 것 처럼 작동한다는 점입니다. GPT-3와 유사하게요.- [Library] Package for controllable summarization based CTRLsum | controllable,BART |
  • Text Summarization with Pretrained Encoders - trained BERT를 요약 task에 활용하려면 어떻게 해야할까요? BertSum은 여러 sentence를 하나의 인풋으로 넣어주기 위해 매 문장 앞에 [CLS] 토큰을 삽입하고 interval segment embeddings을 추가한 변형 input embeddings을 제안합니다. ext 모델은 BERT에 Transformer layers를 얹은 encoder 구조를, abs 모델은 ext 모델 위에 6-layer Transformer decoder를 얹은 encoder-decoder 모델을 사용합니다.- [Review] 이정훈(KoreaUniv DSBA)- [Korean] KoBertSum | ext/abs, BERT+transformer,2-staged fine-tuning |
  • **BART**: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension - regressive한 model로 bidirectional한 정보를 얻지 못한다는 단점을 가집니다. BART는 이들을 결합한 seq2seq 형태를 가짐으로 기존에 나왔던 다양한 denosing기법을 한 모델에서 실험해볼 수 있었습니다. 그 결과 Text infilling(text span을 하나의 mask token으로 바꿈)과 Sentence shuffling(문장 순서를 랜덤으로 섞음)을 동시에 적용함으로, 특히 summarization 분야에서 기 SOTA 모델을 훌쩍 뛰어넘는 성능을 보여줍니다. - [Korean] SKT T3K. KoBART- [Review] 진명훈_영상, 임연수_글, Jiwung Hyun_글, | abs,seq2seq,Denoising autoencoder,Text infilling |

SOTA & Latest Research List

Resources

Code / Examples

Datasets

Pre-trained Models

  • **BERT(multilingual)** - Base(110M parameters) | - Wikipedia(multilingual)- WordPiece. - 110k shared vocabs | - BERT-Base, Multilingual Cased 버전 권장(--do_lower_case=false 옵션 넣어주기)- Tensorflow | Google(Apache 2.0) |
  • **KorBERT** - Base | - 뉴스(10년 치), 위키백과 등 23GB- ETRI 형태소분석 API / WordPiece(두 버전을 별도로 제공)- 30,349 vocabs- Latin alphabets: Cased- [소개] 임준(ETRI). NLU Tech Talk with KorBERT | - PyTorch, Tensorflow | ETRI(개별 약정) |
  • KoBART - 위키백과(5M), 기타(뉴스, 책, 모두의 말뭉치 (대화, 뉴스, ...), 청와대 국민청원 등 0.27B)- tokenizers의 Character BPE tokenizer- 30,000 vocabs( 포함)- [Example] seujung. KoBART-summarization(Code, Demo) | - 요약 task에 특화- Huggingface Transformers 라이브러리 지원- PyTorch | SKT T3K(modified MIT) |
  • **KOBERT** - Base(92M parameters) | - 위키백과(문장 5M개), 뉴스(문장 20M개)- SentencePiece- 8,002 vocabs(unused token 없음) | - PyTorch- KoBERT-Transformers(monologg)를 통해 Huggingface Transformers 라이브러리로 이용 가능, DistilKoBERT 이용 가능 | SKTBrain(Apache-2.0) |
  • KcBERT - Base/Large | - 네이버 뉴스 댓글(12.5GB, 8.9천만개 문장)(19.01.01 ~ 20.06.15 기사 중 댓글 많은 기사 내 댓글과 대댓글)- tokenizers의 BertWordPieceTokenizer- 30,000 vocabs | | Beomi(MIT) |