合格る！G検定対策 語句まとめ(カンペ)③ – Deeplearning 系列データ/法律編

G検定を受けるにあたり、G検定出題範囲の語句を表形式でまとめました。
その結果、総文字数23000のまとめが出来上がったため、３回に分けて記事にしていきます。
この記事は３回のうち３回目です。

• G検定対策 語句まとめ① – 基礎知識編
• G検定対策 語句まとめ②- Deeplearning 画像認識編
• G検定対策 語句まとめ③ – Deeplearning 系列データ/法律編

実際に合格した勉強法はこちら

G検定2022#2、合格までのスケジュールと勉強法まとめ。21日で合格。

それでは本題のカンペです。３回目のDeeplearning 系列データ/法律編いってみましょう！

※このまとめは以下のサイトとwikipediaの情報、筆者の記憶を用いて作成しています。

・Study AI 様の模擬試験

・DIVE INTO EXAM様の模擬試験

・G検定 本番困りそうな所まとめ

・参考書

最短突破 ディープラーニングG検定(ジェネラリスト) 問題集

時系列データ処理

語句	説明
LSTM　 LongShortTermMemory	RNNの勾配消失問題を解決する手法として提案された。基本的には入力ゲート、忘却ゲート、出力ゲートの３ゲートを持つ。
GRU Gated Recurrent Unit	LSTM を簡略化した手法。忘却ゲートと入力ゲートを一つにまとめ、２ゲート構造としたもの。
Bidirectional RNN	Bidirectional RNN（双方向RNN,BRNN)とは,中間層の出力を未来への順伝播と過去への逆伝播の両方向に伝播するネットワークである.
RNNEncoder-Decoder	RNNEncoder-Decoderは2つのRNNから構成され、Encoderが入力データを、Decoderが出力データをそれぞれ処理する。出力が時系列であり、全ての出力を一気に行うことができないため、Decoderの出力を、次のステップの入力として受け取って処理することになる。
教師強制	訓練時に入力として、前の時間の正解値(目標値)を利用する方法。学習の収束が早くなる可能性がある。実際に運用する際に教師データが使えない状況では出力に誤差が生じる可能性が高くなる。
Backpropagation Through Time（BPTT）	elman networkの学習にも使用されている,ある種のRNNを学習するための勾配ベースの手法である。勾配を計算するためにすべてのタイムスタンプを使用する
レザバーコンピューティング	レザバーコンピューティングは、レザバーと呼ばれる大自由度力学系が示す多様な時空間パターンを活用したモデルであり、RNNの学習方法の1つとして考案された。

音声認識エンジンの仕組み

プロセス	説明
1. 音響分析	音響分析では、入力された音声データの音の強弱や周波数、音と音の間隔、時系列などさままな特徴量を抽出し、音響モデルで扱いやすい（コンピュータが認識しやすい）データに変換する
2. 音響モデル	音響分析により抽出された特徴量が、どの記号（音素や単語）にどれほど近いのかを学習したパターンと照らし合わせ、整合率を計算。音声を記号に当てはめる。
3. 発音辞書	音声の最小単位の”音素”ごとにモデル化されているデータベースから、音の組み合わせをピックアップし、「単語」として認識させる。
4. 言語モデル	単語のつながりを予測判定し、より正確な文章を組み立てる。あらかじめ蓄積したデータから使用する単語の出現率を算出し、単語を文章化。 言語モデルで主に利用されるモデルが「隠れマルコフモデル」で、ある文字列に続く直後の文字の出現しやすさをパターン化し、それらの出現確率を定義したもの。
DeeplearningによるEnd-to-End学習	DeeplearningによるEnd-to-End学習では一連のプロセスを一つのニューラルネットワークで実現する。

音声から単語列を生成するモデルのプロセス

プロセス	説明
1.雑音・残響抑圧 (入力：音声　出力：音声）	音声を認識したい対象以外の雑音を分離する.
2.音素状態認識 (入力：音声　出力：音素）	音声の周波数スペクトル,すなわち音響特徴量をインプットとして,音素状態のカテゴリに分類する.
3.音素モデル (入力：音素　出力：文字列）	音素がどの文字であるかを推定する.
4.単語辞書 (入力：文字列　出力：単語）	認識した文字列から単語を特定し認識する.
5.言語モデル (入力：単語　出力：単語列）	単語系列仮説の尤度を評価する.

音声認識

語句	説明
音韻論	音素について研究する言語学の一部門
音韻	ある特定の言語の音の体系のことを指す。
音声信号スペクトル	音声情報のうち、声帯の振動に対応している
スペクトル包絡	音声情報のうち、声道・鼻腔における共振・反共振特性に関連した各音韻ごとの違い。音声認識などに使用する音韻の識別にはスペクトル包絡のみが必要。
メル周波数ケプストラム係数（MFCC）	音声認識や音楽ジャンル分類などで使われる特徴量であり、人間の聴覚特性を考慮した周波数スペクトルの概形を表す。楽器音に対しては音色に対応しており、音色が異なるとメル周波数ケプストラム係数（MFCC）の形状は異なる
フォルマント	言葉を発してできる複数の周波数のピークのこと
フォルマント周波数	声道の共振周波数のこと。周波数の低いものから順に第1フォルマント周波数、第2フォルマント周波数、…と呼ばれ、第1、第2、第3フォルマント周波数が母音の区別に重要であると言われている。
メル尺度	Stanley Smith Stevensらによって提案された。人間が感じる音の高さに基づいた、音高の知覚尺度。人間は低音域の差は見抜きやすいが、高音域の違いは見抜くのが難しい。メル尺度も同様に、周波数が高いほどメル尺度が増加しにくくなる。
バーク尺度	24に区分けられた音域を設定し、音の信号を対数変換した値がどの音域の範囲に値するかを測る尺度
ケプストラム	音声の波形をフーリエ変換後、対数を取り、 逆フーリエ変換したもの
メル周波数ケプストラム係数（Mel-Frequency Cepstrum Coefficients: MFCC）	音声認識の特徴量を示す係数
CTC （Connectionist Temporal Classification）	音声認識において、入力された音声の数と認識すべき音素数が不一致になることがあるが、空文字を追加することにより問題を解決する手法
WaveNet	量子化された音声を1つずつ、1秒間に16000個の音声データを学習データとして学習するモデル。自然な声に近い音声の再現が可能となった。
WER	音声認識技術の一般的な評価尺度。値が低いほうが良い

自然言語処理

語句	説明
自然言語処理の研究におけるディープラーニングの成果	機械翻訳 や画像説明文生成においては大幅な性能向上が見られる一方で、構文解析や意味解析のように連続的な精度向上は見られるものの基本的な手法は大きく変わらないもの、文脈解析 や常識推論など現在のアプローチでは実用的な精度は見込めないものなどがある。
コーパス	単語検索対象となる文書全体のこと
正規表現	文字列内で文字の組み合わせを照合するときの表現方法
テキストマイニング	自然言語処理における、 テキストを分析するための概念。 文章からなるデータを単語や文節で区切り、それらの出現頻度や共出現の相関、出現傾向、時系列などを解析する。
形態素解析	文章を文法や品詞から形態素に分割し、それぞれの形態素の品詞等を判別する手法
局所表現	自然言語処理の分野で、単語とベクトルの関係を1対1で表現する考え方
分散表現	単語をベクトル空間上で点として表現する考え方
構文解析	自然言語を単語単位に分割し、その関係を何かしらのデータ構造として表現すること。
形態要素解析（形態素解析）	文章を、意味を持つ表現要素の最小単位（形態素）まで分割する。単語がスペースで区切られている英語などでは容易だが、日本語のように単語の区切りがない言語では容易ではない。
言語モデル	人間が話そうとする内容に基づいて語順を考えつつ単語を順々に選択することを模倣して、去の入力系列を利用して次回の出力単語の分布を求める確率モデル
N-gram	任意の文字列やテキストをいくつかの単語や文字のペアでn個ずつ分割し, ペア内の文脈を考慮してテキストを解析する手法。1つの漢字を読み取るときに単語の前後関係から読みを解析するときなどに利用できる。
TF-IDF	文章内に出現する単語について、単語の出現頻度(TF)と単語が使われている文の割合の逆数(IDF)で単語の重要度を示す手法。
CrRv	専門用語の中でも一般人があまり用いないものに高い重要度を設け, 特定の分野に対する専門性を算出する手法。
Okapi BM25	単語の出現頻度や単語が使われている文の割合の逆数に加えて, 文書に含まれる総単語数も含めて単語の重要度を算出する手法。検索エンジンの順位付けなどに使われる。
BoW(Bag-of-Words)	記載内容の特徴を分析する目的で、任意の文字列やテキストに対して、単語の出現回数を数える方法。数を数えてベクトル化する。テキストマイニングや内容が肯定的なのか否定的なのかの判定等に利用する。
CaboCha	日本語の係り受けを解析するツール。
MeCab	京都大学情報学研究科-日本電信電話株式会社コミュニケーション科学基礎研究所 共同研究ユニットプロジェクトを通じて開発されたオープンソース形態素解析エンジン。
マルチタスク言語モデル	構文解析や, 前文予測などに使われる文章表現のベクトルモデル。
単語埋め込みモデル	単語の意味をベクトルで表現するモデル。複数の単語の関係性をベクトルの演算によって導き出すことに使われている(例. 「王様」-「男性」+「女性」=「女王」)。
普遍埋め込みモデル	複数課題間に共通する、文章埋め込み表現を学習させたモデル。
スキップグラム	Word2Vecの手法の1つで、ある単語を与えて周辺の単語を予測するモデル。
CBOW	スキップグラムの逆で周辺の単語からある単語を予測するモデル。
fastText	個々の単語を高速でベクトルに変換しテキスト分類を行うモデル。word2vecとの違いとして、単語の表現に文字の情報を含めて、存在しない単語を表現しやすくすることができる。
ELMo	文脈から意味を演算するモデルである。双方向のLSTMで学習することにより、同じ単語でも文脈によって異なる表現を獲得することができる手法。
Seq2Seq （sequence to sequence）	機械翻訳などの用途で、入力だけでなく出力も時系列にそった出力を行う為に、エンコーダとデコーダと呼ばれる独立したRNNモデルを有するモデル。入力位置と出力位置が1対1に対応していない場合にもそれぞれ別の時系列データとして扱うことができる。順伝播するネットワークであるため、翻訳の計算時間が長くなる。
Source-Target Attention （Encorder-Decoder Attention）	特に入力と出力（検索）が異なる場合に入力と出力の関連を求める仕組み。Attentionは単語間（入力、出力間）の1対1の対比ではなく、入力されたベクトルの内積で関連度を求めている。
Transformer	Self-Attentionと呼ばれるネットワーク構造を利用することで、時間順にデータを読み込まなくてもよい並列処理を可能にし、翻訳を高速化した。Self-Attentionの導入の跳ね返りは単語の位置関係が把握できなくなることである。これを解決する為に、位置エンコーディングと呼ばれる単語の出現位置情報を付加することで、間接的に単語の位置情報や位置関係を考慮することができるようになった。
GPT	OpenAIが開発した。トランスフォーマーに似た構造のネットワークを用いることにより大規模なコーパスを用いて事前学習を行う。GPTは1億前後のパラメーターを持つ
GPT2	2019 OpenAIが発表。15億のパラメーターを持つ。
GPT3	2020 OpenAIが発表。1,750億ものパラメーターを持つ。従来に比べ事前学習のみでさまざまなタスクに高精度に対応できるようになった。パラメーター数が多く安価なGPUでは学習に300年以上もかかるといわれていたり、GPT-3自体は善悪の判断ができないため不適切な発言をする可能性がある。
InstructGPT	2022 OpenAIが発表。自然言語モデル「GPT-3」よりも「ユーザーの意図に従い、より加害性の低い」言語モデル。InstructGPTは、RLHF（Reinforcement Learning from Human Feedback、人間のフィードバックを反映させた強化学習）という手法を使った。
BERT（Bidirectional Encoder Representation from Transforms）	転移学習することにより従来より高精度にタスクを解くことができる。トランスフォーマーのエンコーダーを利用しており、MLM（Masked Language Model）とNSP（Next Sentence Prediction）という2つのタスクにより事前学習を行う。
トピックモデル	文章中に書かれている話題・テーマを抽出するための手法
LSI（潜在意味解析）	トピックモデルの一種で、テキストデータに特異値分解を適用した。
LDA	トピックモデルの一種で、テキストデータにディリクレ分布を適用した。
照応解析	これは,文章内に存在する代名詞などが何を指し示しているのかを突き止めさせる解析である。
Word2Vec	言語を分散表現学習したもの。google 社のミコロフが提案。文章中の単語を記号と捉え、文章を記号の集まりとすることで、記号をベクトルとして表現する。これによってこれはある種の意味的な演算が行えることを示した。
常識推論タスク	自然言語処理における、機械が知能を持っているかどうかを判断することを目的とした知能テストのこと
COPA	常識推論タスクのうちの一つ。南カリフォルニア大学の Andrew Gordon の研究グループが提案した。これは「知能を持つ」ことが事象間の因果関係を理解することだと捉え、前提となる文を与えられた際に、その文章をから必然的に考えられる結果として適切な文章を選ばせる課題である。
WSC	常識推論のタスクのうちの一つ。Ernest Davis と Hector Levesque の研究グループが定式化した。こちらは「知能を持つ」ことが「統語的手がかりだけでは解けないような照応解析の問題が解けること」であると定義している。
リカレントニューラルネットワーク言語モデル（RNNLM)	現在の主流の機械翻訳システムは、この RNNLM 型デコーダを活用し、中間データを介してエンコーダとデコーダが相対する形で構成された 「エンコーダ・デコーダモデル」 と呼ばれるモデルが用いられている。 現在機械翻訳の精度が高いとして評価が高いのが、google 社が 2016 年に発表した GNMT である。 一方で、RNNLM 型デコーダには従来型の言語生成システムでは見られなかった新たな問題が発生しており、主要な問題として、過生成と生成不足が指摘されている。

倫理・法律

大項目	小項目	説明
官民データ活用推進基本法	オープンデータへの取り組み	国および地方公共団体はオープンデータへの取り組みが義務付けれた。国民参加・官民協働の推進を通じた諸課題の解決、経済活性化、行政の高度化・効率化等が期待されている。（平成２８年法律第１０３号）
知財制度	特許法下で「自然人の創作」を認める上で必要とされる「創作」の三つのステップ	課題の設定 解決手段候補の選択 実効性評価
	AIの訓練データの著作権	た学習データの取り扱いについて,日本の現行法である著作権法 47 条の 7 では、インターネット上のデータ等の著作物から学習用データを作成することは営利目的の場合まで含め著作権侵害には当たらない。（EUも同じ）
	AIの生成データの著作権	AI が生成した創作物はそれを生み出す過程において人間による創作的寄与がある場合において著作物性が認められる
	「AI の作成・利活用促進のための知的財産権の在り方」	日本政府が2017年に公表した、情報財検討委員会報告書の中の１項目。学習用データ、学習済みモデル、AI生成物について議論されている。
不正競争防止法	営業秘密	学習用データ、プログラム、データベース、仕様書、ソースコード及び、ＡＩによる成果物等のデータを営業機密として保護することができる。営業秘密以外の知的財産の保護は特許出願による特許権取得である。
		営業秘密の要件は有用性、秘密管理性、及び、非公知性である。この３つの要件を備えれば形式を問わない。（不正競争防止法第２条第６項）
		不正競争防止法では、営業秘密不正取得行為等の「不正競争」を原則禁じている（不正競争防止法第２条第１項各号）。転職、社外への発表、販売、情報提供、又は、他者との共同開発等で営業秘密を扱う場合には、不正競争に該当する行為か注意する必要がある。
		共同使用、販売又は共同開発等でオープンにする客体と、他者には秘密にする客体とで保護方法を使い分ける必要がある。 オープンにするプログラム等は特許出願をして特許権を取得して保護を図る。 一方で、社外へ開示しないデータ等は不正競争防止法における営業秘密で保護する方法等がある。
	限定提供データ	営業秘密と同じく、不正に取得されたものを使用、又は、開示すると不正競争防止法における民事上・刑事上の措置を受ける場合がある。
		限定提供データは、「業として特定の者に提供する情報として電磁的方法（電子的方法、磁気的方法その他人の知覚によっては認識することができない方法をいう。次項において同じ。）により相当量蓄積され、及び管理されている技術上又は営業上の情報（秘密として管理されているものを除く。）」である（不正競争防止法第２条第７項）。
その他のデータ	データベース	データベースは著作権法では「論文、数値、図形その他の情報の集合物であつて、それらの情報を電子計算機を用いて検索することができるように体系的に構成したもの」である（著作権法第２条第１項１０の３号）。
	ガイドライン等で一定の行為が禁止されているデータ	金融分野における「機微（センシティブ）情報」等は営業秘密・限定提供データでなくともガイドライン等で一定の行為が禁止されている。
個人情報の保護に関する法律	匿名加工情報	匿名加工情報であれば、一定の条件下で本人同意なく事業者間でやりとりが可能となる（個人情報の保護に関する法律第２条）。 匿名加工情報として扱うには「特定の個人を識別すること及びその作成に用いる個人情報を復元することができないようにするため」加工を行う義務がある（個人情報の保護に関する法律第３６条）。
	削除対象の情報	氏名、住所、性別、生年月日、顔画像等個人を識別する情報 に限られず、個人の身体、財産、職種、肩書等の属性に関して、事実、判断、評価を表す全 ての情報であり、評価情報、公刊物等によって公にされている情報や、映像、音声による情 報も含まれ、暗号化等によって秘匿化されているかどうかを問わない。
	十分でない匿名化処理	マスキングでは十分ではない（個人情報保護委員会ホームページ「1.匿名加工情報とは」）
	匿名化技術 （個人情報保護委員会規則第１９条（第５号）	k-匿名化
		トップ（ボトム）コーディング
		項目削除
		一般化
		ノイズ付加
		疑似データ生成
総務省が定義した、AIの社会実装によって想定されるリスク	AI 自身のリスク	AI のアルゴリズムがブラックボックス化し,人間の制御ができなくなってしまう
	AI に関わる人間のリスク	人間が AI を利用した無差別殺人を行う
	社会的負のインパクト	AI が人々の職を奪ってしまう
	法律,社会のあり方	自動運転車が引き起こした事故は誰が責任を負うのか
倫理、安全への取り組み	AAAI	2008 年に "Presidential Panel on Long-Term AI Futures: 2008-2009" と題して研究者が集まり,AI の発展により予測される倫理的及び法律的課題について議論がなされた.
	OpenAI	AI の安全性に関する課題への対応策として、「失敗モデルへの五つの対応」を取りまとめて公開している.
	Microsoft 社	2016 年に発表した「AI 開発原則」を発表。開発原則は以下の通り。 ・人間を拡張するもの ・透明性の確保 ・多様性の確保 ・プライバシーの保護 ・説明責任の義務 ・偏見の排除
	GDPR	プライバシーや個人情報保護の取り決め。2018年にEUデータ保護指令(Data Protection Directive95)に代わって施行された。
	「人間中心の AI 社会原則」	2019年に内閣府が公表したもので、「AI戦略2019」の一部。基本理念は以下の３つ。①人間の尊厳が尊重される社会、②多様な背景を持つ人々が多様な幸せを追求できる社会、③持続性ある社会 基本原則はセキュリティを確保できること
	AI規制枠組み規則案	2021に欧州委員会が策定。安全性や基本的人権に悪影響を及ぼすAIシステムは規制対象とすることを提唱。
AI活用社会	「AI戦略2019」	内閣府が2019年に発表。「人間中心の AI 社会原則」を理念とし、2025年には、エキスパート人材を年に2,000人育成する目標を掲げている。高校過程で2022年から「情報Ⅰ」を必修とすることを掲げている。
	Society5.0	日本政府が提唱した社会で、仮想空間と現実空間を高度に融合させたシステムにより、経済発展と社会的課題の解決を両立する、人間中心の社会。

お疲れ様でした！ご覧いただきありがとうございました。

間違いなどございましたらコメント欄からご指摘いただけると助かります。