概要 こんにちは@kajyuuenです。 辞書とルールによる固有表現抽出（Named Entity Recognition; NER）を実現するライブラリfunerを作りました。 github.com 辞書とルールによって抽出した固有表現をこんな感じで確認できます。 tokens 東京 出身 の 吉田 は 4…

概要 こんにちは@kajyuuenです。 本記事では日本語データセットに対して、Data Augmentation（データ拡張）を行い、モデルの性能が向上するか検証します。 今回は文書分類と固有表現抽出の2つのタスクに対して、実験を行いました。 その結果、文書分類タスク…

概要 こんにちは@kajyuuenです。 日本語自然言語処理のData Augmentationライブラリdaajaを作成しました。 この記事ではdaajaが実装しているData Augmentation手法についての解説とその使い方について紹介します。 ソースコードは以下のリポジトリで公開して…

自分の研究とはあまり関係はないのですが、最近趣味で確率的プログラミングを触っています。 これが結構面白いので試しにDawid-SkeneモデルをPyroで実装してみました。 はじめに まずクラウドソーシングにおけるラベル集約について説明します。 教師あり学習…

概要 NLP/CV SoTA Survey Challenge #3にて，フルアノテーションコーパスを利用しない固有表現抽出の論文を三本まとめて発表しました． speakerdeck.com コメント 完全なアノテーションってなんだよというツッコミがあって確かにそうだなと思ってしまった。…

前回に引き続き，部分的アノテーションコーパスが使える固有表現抽出手法の紹介と実装です． 概要 Better Modeling of Incomplete Annotations for Named Entity Recognitionが読んだ論文になります．著者実装はこちら この論文では部分的アノテーションコー…

概要 固有表現タスクにおいて重要な役割を持つCRF(条件付き確率場)ですが，CRFでは全ての単語に対してラベルが付けられている必要があるため，アノテーションコストが高くなる傾向があります．そこで，今回は部分的アノテーションコーパスを利用可能な固有表…