IBM Cognos Analytics documentation
https://www.ibm.com/docs/en/cognos-analytics/11.1.0?topic=manuals
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog EntryIBMの京田です。 SPSS Modeler 推しノードリレー連載いかがでしたでしょうか？ ユーザーイベントをきっかけに2020年2月にリレー連載を開始。秋のオンラインユーザー会でも、内容に触れるなどを経て、12月に私の回でリレー連載は完結いたします。22名のお客様とIBMメンバーが気に入ったノードを、理由やTipsと共に紹介してくださいました。なるほどSPSS Modelerが長くユーザー様に愛されるのは使いやすさだけでなく、奥の深さにもあるのだとあらためて感心しました。私なりにこの１年間の連載を感謝と共に振り返り、解説させていただこうと思います。 推しノードリレー連載タイトルとリンク 以下敬称略 連載 ノード タイトル（リンク） 筆者 所属 1 （プロローグ） SPSS Modelerノード 総選挙結果をヒモトク 岸代憲一 IBM [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entryはじめまして、株式会社ＡＩＴの林と申します。 弊社はIBM製品の販売、導入、サポートを主な業務とするビジネスパートナーです。私個人に関しては、電子帳票、セキュリティ製品、不動産パッケージなどのソリューション担当を経て、現在はSPSS Modelerを中心にアナリティクス製品全般の技術担当マネージャーとして、SPSS等のソリューションの導入やデータ分析のお手伝いをさせていただいております。2020年9月に開催された Think Summit Japan では事例のご紹介もさせていただきました。 →レスキューナウ様における気象データを活用した停電予測検証について(動画) さて本ブログでは事例の停電予測分析においても利用した「自動分類ノード」について取り上げます。このノードは、SPSS Modelerの紹介ではよく「オートメーション」と呼ばれている機能を持つノードの一つです。アルゴリズムの異なるモデルを複数作成して、比較・評価するための指標をユーザーに提示してくれるだけでなく、複数モデルを組み合わせたアンサンブル学習による予測も可能なのです。最近のAuto MLツールと同様のことが、SPSS [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entry日本アイ・ビー・エムの千代田です。 SPSS Modelerは製品が提供するノード（部品）をドラッグ＆ドロップで組み合わせ、簡単な設定でさまざまなデータ加工・分析をすることができますが、場合によっては既存のノードでは実現できないケースもあります。そのような場合に、拡張ノードを使用するとSPSSの処理に独自の実装を組み込み、さまざまな要件に対応できるようになります。今回は拡張ノードを使用するための設定方法と具体的な使い道をご紹介します。 拡張ノードとは？ 拡張ノードはRまたはPythonでユーザー独自のスクリプトを記述することで、各言語が持つ豊富な機能をSPSSの処理に組み込むことができます。具体的には以下のようなノードが提供されており、必要な処理を実装していくことになります。 拡張ノードでPythonを使用する SPSS Modeler 18.2.1以前の拡張ノードではPython2しかサポートしていませんでしたが、18.2.2からPython3がサポートされるようになり、Python3を前提とするライブラリが活用できるようになりました。SPSS [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entryこんにちは三井住友海上火災の木田です。 三井住友海上で損害保険の統計データを活用した新規ビジネス開発や 取引先企業のリスク低減を目的としたデータ分析コンサルティングを担当しています。 このたびデータ分析人材について書籍を出版致しましたので、ご興味があればぜひお手にとっていただくと幸いです。 →データ分析人材になる。目指すは「ビジネストランスレーター」（日経BP）はこちら 損害保険会社ではリスクの定量化が重要な要素となり、数々のシミュレーションを行います。 このブログではModelerに搭載されているシミュレーションの３つのノードが、とてもパワフルでリスク査定のみならず、ビジネスチャンスを見極めるのにも利用できる点について紹介します。 データもシナリオも全て架空ですので私どもの業務とは一切関係がないのですが、わかりやすい例を題材にしましたので、イメージを膨らませて読んでいただけると嬉しいです。 シミュレーションとは 現実に実験を行うことが難しい物事について、想定する場面を再現したモデルを用いて分析することをシミュレーションといいます。代表的なシミュレーションの方法にはモンテカルロシミュレーションがあります。 [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entry日本アイ・ビー・エムの坂本です。 近年、仏像がブームですが、仏教では、六神通（ろくじんずう、ろくじんつう）と呼ばれる仏・菩薩が持っている6種の神通力があります。その中の一つ、「神足通（じんそくつう）」は、自由自在に自分の思う場所に思う姿で行き来でき、思いどおりに外界のものを変えることのできる力です。（Wikipedia より） 今回、私の推し「スーパーノード」は、その能力を分析者にマウス数クリックで与えてくれる、文字通り、超人的なノードです。 ストリームを作成し使い続けていくと、業務の要求を反映していくうちに、処理が複雑になってきて、後からノードを追加して、プロセスが横に長〜くなってしまいます。いつの間にかカオス状態に陥り、どこで何をしていたのか分からなくなって、途方に暮れる、、、といった状況は私だけでないはず。今回、そんな散らかったストリームを、スーパーノードの神業で瞬時に整頓し、再利用性・汎用性の高いストリームに変幻自在に変えてしまいましょう。 「スーパーノード」でストリームを簡潔化 入出力のデータ例 小売業で顧客単価を店舗で比較するストリームを例にとって見ていきます。 [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entry日本情報通信（NI+C）の近澤です。 弊社は、SPSS Modelerを中心としたSPSS製品販売からトレーニング・分析業務定着化のサポートサービスを提供しております。特に最近では、各業界の企業様に対して、SPSS製品とデータベース・MA（マーケティング自動化）等の製品との組合せで一連の業務課題解決をご支援する活動に注力しております。 これらご支援の中では、SPSS Modelerから出力した予測結果に基づき、その先の「最適化」を行いたいというご要望を頂く機会が増えております。 一般的に「最適化」はSPSS Modelerに代表されるデータマイニングツールとは別のツールで実現することが必要ですが、SPSS Modelerでは、「最適化」を実現する為のノードが提供されています。 今回は、私の推しノードとして「最適化」をSPSS Modelerのストリーム内で実現できる「CPLEXの最適化ノード」をご紹介します。SPSS Modelerを別領域でも有効活用されたいユーザにとって、非常に便利で有用なノードであること間違いなしです。 まずは、「最適化」で何ができるのかわからないという方のために「最適化」の基本的な考え方とSPSS [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entry日本アイ・ビー・エムの小林竜己です。 2016年の入社以来、前職までのIT業界や製造業の仕事で得た様々なスキルや知識を活かし、データサイエンティストとして、自動車関係のお客様を中心に、日々、お客様のデータ分析やAI開発のお手伝いをしています。最近はAI人材教育に携わることも多く、IBM Cognitive Technology Academyの講師を担当する一方、お客様のニーズに応じた様々なカスタマイズ研修もご提供しています。仕事の中ではPythonを使う場面が多くなってきていますが、プログラミングが不要で直感的操作により高度な分析モデルを構築できるSPSS Modelerは一定の人気があり、私もこれまで多くの場面で使ってきました。今回は、個人的な思入れから、SPSS Modelerのメジャーな機械学習のモデリングノードに押されがちで使われることが少ないと思われるベイズノードについて、使い方とその価値をご紹介します。 ベイジアンネットワークとは ベイジアンネットワーク（Bayesian [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entry株式会社ADKマーケティング・ソリューションズの田口仁です。 2019年に株式会社アサツーディ・ケイが４社に分割し、現在は前述の会社に在籍。得意先の広告コミュニケーション活動計画を立案するためのマーケティングデータベースの開発や同データを活用した分析手法の開発、各種の効果予測モデルの構築等を担当しています。2000年にModeler(当時の名称はClementine)を導入し、今年で20年目を迎えます。暫くModelerを利用していないと、その操作に戸惑うことも多々ありますが、バージョンアップの度に、データ加工が簡単にできる機能や機械学習の手法が追加されたりすると、有難いと感じます。今回はモデル作成パレットの中から、業務でも何度か利用したことのあるKNNを紹介します。 KNN(K-Nearest Neighbor Algorithm)とは? KNNは、k近傍法、最近傍法、最近隣法と様々な訳語があります。ニアレスト・ネイバーですので、最もよく似た隣人を探す手法と考えると分かりやすいかもしれません。 [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entry日本IBMシステムズ・エンジニアリング（ISE）の水谷です。 データサイエンティストとしてお客様のデータ活用をお手伝いしています。特に最近ではデザインシンキングを取り入れたDX推進オファリングの提案も行っています。このブログでは私が過去にお客様のデータ分析基盤を構築する際に実際に直面したパフォーマンス課題とデータベースノードによる解決策を紹介します。 データベースノードとは？ 「データベースノード」は入力するデータがデータベースの時に使うノードです。設定項目はいたってシンプル。２つのモードを選択でき、デフォルトは「テーブル」です。こちらは入力としてデータソースの他にデータベースのテーブル名を指定して完了。データソースは予めODBC登録をしておけばOKです。 もう一つは「SQLクエリー」です。「SQLクエリー」を選択するとデータソースの指定の下のダイアログボックスにSQL文を記述できます。SQLが得意な方でしたら、複数のテーブルを結合し必要な行や列だけ読み込むなどをこの１つノードで指定できてしまいます。ただし複雑なSQLを張り切って書くとノードアイコンによる可読性を損ない、別の業務担当者が判読できないリスクもあるので注意します。 [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entry福岡大学の太宰です。 大学の講義でSPSS Modelerを使ってデータ分析（決定木分析やクラスター分析等）を教えています。 もう10年以上も前になりますが、私自身が大学院生だった頃、IBMに統合される前のSPSS社で数年間インターンをしていました。当時Clementineと呼ばれたModelerで数多くの企業のデータに触れた経験が今の私の武器になっています。ですので、今回リレー連載の執筆のお話をいたいただいた時には恩返しの気持ちもあって、迷わずお引き受けいたしました。今回私が推すのは、予測モデルの出来を左右するデータ加工の要、「置換ノード」。「@FIELD」等々を使うと効果的にデータの前処理をすることができます。私が頼りにしている「マエショリスト」の凄ワザを紹介いたします。 置換ノードとは？ 置換ノードとは、IBM社ホームページによりますと「フィールド値の置換やストレージの変更に使用されます。」とあります。値を変えたり、データ型の変換（質的⇔量的、文字列⇔数字、整数⇔小数、null置換 etc.）に使われることが多かろうと思います。 値を置換したい！（しかも複数の変数の。） [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entry日本アイ・ビー・エムの上田です。 商品やサービスが将来どの程度売れるか推測する機会をお持ちだったことはないでしょうか。グラフを作り、経験に照らして鉛筆を舐めながら「このくらいかな？」と勘を働かせても良いのですが、SPSS Modelerでの統計モデル作りをお勧めします。アルゴリズムとパラメータは自動選択してくれますのであっけなく出来上がります。内部的には、丁寧に対象の時間経過に伴う変動（過去の傾向）をモデル化し、将来に適用して予測値を得られます。そして結果としてチャートのように予測を幅で扱うことで経験や勘よりも業務上のリスクや機会をコントロールできるのです。 予測する期間の幅が時間や日にち単位なら短期予測、月や四半期単位なら長期予測と区別されますし、要因データを用いるか、季節性を考慮するのか、手筋や流儀は様々なのですが時系列予測の原理は同じです。それを素早く実現してくれるのが、「時系列ノード」。とても便利な私の推しノードを、具体的なプロセスに照らしてなるべくシンプルに紹介します。 将来を予測する手法 将来予測の手法や分類は様々です。例えば顧客調査を利用して先読みするなどもあり、コンセプトやプロトタイプの評価で市場にリリースされた後の売れ行きを予測する場合などもあります。今回は過去の実績を定量的に扱うケースを取り上げます。 [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entryスタッツギルドの櫛田です。 弊社は、IBM SPSSのライセンス販売、受託データ分析、コンサルティング、研修サービスなどの支援サービスによって、データ分析による価値創出のサポートさせていただいております。これまで、企業、医療機関、大学、研究機関、官公庁など1500社を超えるお客様にソフトウェアや支援サービスをご提供して参りました。今回は、数あるModelerのノードの中から前処理のための「レコード結合」ノードを留意点と合わせて解説したいと思います。 前処理とは 分析のためのデータの下拵えを前処理と呼びます。業界や分野によって、データ加工、プリパレーション、クレンジングなど、呼び方はさまざまですが、手間も時間もかかる作業で、目肩腰に来ます。Modelerは前処理の履歴がストリームで把握できて、社内共有しやすいなどのメリットもありますが、ノードと矢印が増えすぎて曼荼羅ストリームに昇華することもしばしばです。余談ですが、本当はデータの取り方さえしっかりしていれば、データ加工も最小限、分析手法はシンプルなもので良いことも多いのです。 ファイル結合とは さて、分析したいデータが綺麗に完成しているとしたらラッキーです。実際は、データソースが、企業や組織内の色々なシステムやデータベースに散在していることが少なくありません。また、通常は活きの良いデータほど後から追加されたり、既存の箱には入っていなかったりします。そこでそれらをくっつける、この代表的な前処理が「ファイル結合」です。名寄せとも呼び、データベースではSQL、RやPythonではコードを書きますが、Modelerは、何と言ってもマウス操作のみ。分析結果の良し悪しは必要なデータを適時適切につなげられるかにかかっており、私が推す「レコード結合」は思いついたら即繋いでゲームメイクする「キーマン」といえます。それでは、異なるデータソースのフィールド（列）を結合してみます。 [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entry日本アイ・ビー・エムの守谷です。 皆さんは「グローバルの設定」ノードをご存知でしょうか？一度知ると手放せない私の推しノードは、不運にも名前の分かりにくさと、機能を想起させない地球のアイコンによって謎ノード扱いされてきました。名前とアイコンのイメージから「海外で利用されている単位の変換？」「緯度経度関係の設定？」などと誤解され、触れる機会がなかった方も多いのではと推測します。 また、グローバルの設定ノードの機能は他のノードでも代替できるため、本ノードがなくても目的のデータ加工や分析を行うことができます。なので決して主役にはならない「裏方」なのですが、本ノードを活用するといろいろな統計指標や特徴量の計算を効率化でき、新しい分析のアイディアがどんどん湧いてくる「魔術師ノード」なのです。 集計値を活用した統計指標 データ分析を行う過程で、データの分布を把握しやすいように正規化（いわゆるZ値変換）するケースがあるかと思います。 参考： Z値 = (値 – 平均値) / 標準偏差 この場合、レコード集計とレコード結合を組み合わせて下記のようなストリームを作成してZ値を求める方が多いはずです。レコード集計ノードで値の平均と標準偏差を集計して、レコード結合ノードで元のデータに結合した上でフィールド作成ノードでZ値を計算します。今回はこちらの方法を「レコード集計＆結合方式」と名付けます。 [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entryプラス株式会社の鳥海です。 プラスは「新しい価値で、新しい満足を。」を企業理念に、「ユニークネスの追求」のもと、文房・事務用品やオフィス家具の製造・販売、そして新たな中間流通事業を柱に事業を展開しています。 その中で私の所属するリテールサポートカンパニーは、主に量販小売チェーン（ホームセンター、GMS、スーパーマーケット、ドラッグストア…）のお客さまに対し、業界に蔓延る「経験」・「勘」・「慣習」による売場提案ではなく、POSやID-POSデータといった、データ分析（エビデンス）に基づいた、お客さま視点の最適な文具売場の提案活動を推進しております。 IBM SPSS Modelerを使い始めて6年、そのお陰でバリバリ文系の私ですが「データ分析者」を名乗っています。SPSS Modelerはプログラミング知識なしでもデータの集計・統合から機械学習アルゴリズム、たとえば「教師なし学習」で知られる「クラスターモデル」も簡単に作れます。実は顧客や商品のグループ化で知られる「クラスター分析」ですが、私はよく店舗を分類・理解して課題解決の材料にしています。このブログでは「クラスターモデル」の中でも私が最も頼りにしている「TwoStepノード」を、その「推す」理由とあわせてご紹介します。 [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog EntryIBMソフトウェアサービスの西澤です。 Modelerとは、その前身であるClementineの頃からの付き合いとなります。かれこれ20余年。 この間に、数多くの機能が開発され、ノードとして搭載されてきました。現在も、お客様からのリクエストや、データ分析動向の流れから人気のあるアルゴリズムやテクノロジーを使った新機能を拡充し続けています。また、以前からのノードも、新バージョンに置き換わるものがあるにせよ、途中からなくなったノードはありません（ゼロではありません。私の記憶の中ではただ一つ）。 最近、Modeler とRを連携させた機能を見直していたら、以前使えていたRパッケージが更新されていないためにR環境で利用できなくなっていることに気づきました。オープンソースならではの事でしょうか。仕方ないな、と思いつつ、お客様に提供したノードを、メンテナンスして20年後でも使えるように提供しつづける、これこそ、製品の価値ではないかと改めて思った次第です。 今回は、比較的新しい機能である「SMOTEノード」を中心に紹介させていただきますが、以前からのノード機能にも少し触れさせていただきます。 SMOTEとは [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entryみなさん、こんにちは。スマート・アナリティクスの畠と申します。 私は、2015年までSPSS社、IBM社にてSPSS製品のマーケティング担当を10年以上担当させていただきました。現在はスマート・アナリティクスという会社にてデータ分析を多くの皆さんにご利用・活用いただくための活動を行っています。 SPSS時代の大先輩、牧野さんからのリレーを引き継いだ今回の連載。私の推しノードとして顧客データ分析の際に非常に便利なRFMノードについてご紹介をしたいと思います。そもそもRFMって何だ？という方のためにRFM分析の基本のご紹介と共にModelerを利用したRFM分析について解説をしていきましょう。 顧客分析のセオリー ビジネスにおける主要なデータ分析のテーマの一つは、「顧客：お客様」に関するものであると思います。昨今では、多くの企業が高度なAIを使って顧客一人ひとりに合わせた購入スコアを算出したり、プロモーションのターゲットのための分析をしたりと顧客データを利用して多くの分析がなされていることと思います。 もちろん、これらの取り組みは、データの利活用において大切なことでしょうし、重要なことです。 [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entry今回は、IBM ソフトウェアサービスの牧野が担当させていただきます。私の推しノードをご紹介する前に言わせてください。推しを１つに絞るのはなかなか難しいです。SPSS Modelerはバージョンアップの度に魅力的なノードが追加されます。SPSS Modelerの前身であるClementineから成長を見続けている身としては、目移りせずにはいられないですね。ついつい推し変なんてこともあります。そんな私の今の推しは「異常値検査ノード」です。 異常検査ノード 異常値検査ノードは、教師なし機械学習の一種であるクラスタ分析を活用し、データ全体から見た相対的な異常度が算出されます。また、その異常度の算出過程において、寄与度の高い特徴量をそのスコアと共に表示してくれます。今回は、このノードの活用例を２例紹介します。 一つ目は、アンケート集計の場面をイメージし、データの集合から相対的に異常なデータを抽出し、正常なデータセットを作成する事例を紹介します。 二つ目は、センサーデータの分析の場面をイメージし、膨大な稼働データから特異なデータを抽出する事例を紹介します。 アンケート結果集計の前処理 [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entry三菱自動車工業の伴です。 自動車会社には、開発、生産、流通、販売、品質管理、アフターサービス、広報等の業務に加えて経理、購買、人事等のバックエンドのものまで活用可能なデータが幅広く存在します。さらに自動車業界のコネクテッド化（＝C）、自動運転化（＝A）、Shared Service（＝S）、電動化（＝E）、いわゆる「CASE」の流れを受け、当社でも次世代のモビリティサービスのための多様なデータや課題を扱うようになりました。 私の所属するデジタルイノベーション推進部はそういった多様なデータと課題を持つ業務担当者に対してデータ活用を支援しています。データの活用になくてはならないのが分析ツール。整理や可視化にはExcelやBIを、特殊なモデリングにPythonなど複数のツールを使い分けますが、私のチームが最もよく利用して手放せないのがSPSS Modelerです。 SPSS Modelerには様々な機能(ノード)があり、決定木やロジスティック回帰など定番の機械学習ノードはもちろん、特徴量を作りこむ加工ノードは、特に役立ちます。SPSS Modelerの数ある便利なノードから、私の推し、「フィールド作成ノード」を紹介します。 [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog Entry今回は、SPSS Modelerノード人気投票で第一位を獲得した絶対エースCHAIDを取り上げます。CHAIDを使ったことのない方は絶対エースとして君臨する理由を、よく利用する方にはその魅力を再発見いただけるようにお伝えできればと思います。 なお、この記事は予測分析の用語をある程度ご存知の方向けに書かれています。もしご存知なければ、まずは「決定木」「予測モデル」「特徴量」の意味を調べてみてください。 決定木のスゴイところ CHAID（正式名称：CHi-squared Automatic Interaction Detector）は決定木で、古典的な予測アルゴリズムの一種です。ディープラーニング、Random Forest、XGBoost、LightGBMなど、より複雑で予測精度が高い予測アルゴリズムがどんどん出てくる中、なぜ今更シンプルな決定木なのでしょうか？ (1)解釈が容易で説明しやすい 予測モデルはとにかく予測精度さえ高ければ良いかというと、それだけではありません。Kaggleコンペと違い、実際の業務で活用するには「説明しやすさ」が重要になることがしばしばあります。例えば次のような場合です。 [More]
- by YOICHIRO NISHIMAKIFrom : Blog Entry >> YOICHIRO's Blog EntryMAIの木暮です。弊社はデータ分析支援を通し、分析リテラシーを高め、業界の発展に広く貢献していくことを1つの企業理念として、日々のビジネスに関するさまざまな課題を承り、データマイニング手法を用いて課題解決を支援するサービスを提供しています。 分析を始めるにあたって、データを加工することは効果的なモデルを作成するのに最も重要なものの1つとして挙げられます。ほとんどの場合、データは分析用に集められたものではなく、データベースや収集システムの設計上効率の良い形になっています。そのため、データ分析にあたっては、データの下準備がモデリングよりも重要な位置を占めるのです。データの準備における主な作業としては、集めたままのデータの中から有用なフィールドを抽出したり、欠損値や外れ値を処理したり、新しいフィールドを作成することなどが含まれます。このように、データの加工では数多くのタスクをこなさなければならず、分析に必要不可欠な段階であると同時に最も時間がかかってしまう段階でもあります。 今回ご紹介する データの自動準備ノード（ADP） は、こうしたデータ準備にかかる時間を短縮するものとして、非常に便利なツールとなっています。この機能により、SPSS [More]
