DS検定単語帳

DS検定の問題を解いてわからなかった単語を調べました。

 

 

原始関数

微分する前のもとの関数。関数を不定積分することで求められる

2階の導関数

原始関数を2階微分した関数。接線の傾きの割合を求めることができ、極大点か極小点かを求めることができる。

 

 

Hadoop

HDFS(Hadoop Distributed File System)を使用して複数のスレーブサーバーに対してデータを書き込むことで、1台のサーバーストレージに収まらないデータも、複数台のサーバーのストレージに分散して蓄積することができる。

 

Spark

RDD(Resilient Distributed Dataset)を使用してデータをメモリ上で保管する。ストレージに書き込まず、メモリ上で保管するため処理速度が速い

 

ワーム

単独のプログラムとして動作するマルウェア

(コンピュータウイルスは既存のプログラムに寄生して感染する)

 

 

ELSI

技術的な課題以外の課題の総称。

倫理的(Ethical)、法的(Legal)、社会的(Social)、な課題(Issues)の頭文字

 

オッズ比

ある事象の発生する確率pと発生しない確率1-pの比。( p / 1-p ) で求める

 範囲は0~∞

 

内部結合

テーブルAとテーブルBを指定した列で結合し、値が一致しているレコードのみを抽出する。

SELECT 列名 FROM テーブルA INNER JOIN テーブルB ON 結合条件;

 

外部結合

テーブルAとテーブルBを指定した列で結合し、基準としたテーブルに存在するレコードを全て抽出する。左側のテーブルを基準とする場合LEFTと指定する

SELECT 列名 FROM テーブルA LEFT OUTER JOIN テーブルB ON 結合条件;

 

正規化

データの冗長性を排除して整合性を保つための処理

第一正規化:繰り返し項目をなくす

第二正規化:第一正規形の状態から部分関数従属をなくす

第三正規化:第二正規形の状態から推移的関数従属をなくす

 

単語誤り率

WER(Word Error Rate) 誤認識率を単語ごとで算出する

(挿入誤り単語数+置換誤り単語数+削除誤り単語数) / 実際の音声の全単語数

 

文字誤り率

CER(Character Error Rate) 誤認識率を文字ごとで算出する

(挿入誤り文字数+置換誤り文字数+削除誤り文字数) / 実際の音声の全文字数

 

カラム指向型DB

カラム(列)単位でデータの保持や取得を行うデータベース。

大量のデータでも特定の列を集計できるので、データ分析や統計処理を行うのに適している

 

行指向型DB

行単位でデータの保持や取得を行うデータベース。

特定の行のデータを参照、追加、更新、削除するのが得意で、全行のデータを一度に読み込むことができるため、大量のデータを処理する際に効率的です

 

SLA

Service Level Agreement サービス品質契約

ユーザーがサービスを提供する者との間で、サービスの品質について合意する契約のこと。保証するサービスの無いような責任範囲などが詳細に規定されている。

 

ジャギー

画像内に現れる階段状のギザギザのこと

画像を粗く区切ることでがぞ数が少なるなり、発生しやすくなる