TROCCOで高めるDatabricksのポテンシャル～データレイクを生成AIで分析する新時代へ～

p_UG 東京 新春！TROCCOで取り組むデータ活用LT大会 TROCCOで高める Databricksのポテンシャル ～データレイクを 生成AIで分析する新時代へ～ manabian

自己紹介 データ分析システムに関する ブロガー @manabian Databricks Champion 認定者

• https://x.com/manabian

私のアウトプット データ分析基盤の構築方法論や関連テクノロジーの調査だけでなく、 エラー対応方法などいわゆる上流から下流までの記事を投稿しています。 データ分析基盤における 構築方法論 引用元：最強のデータ分析基盤を目指して～汎用的なデータ分析基盤の選定方法の 提案～ - Qiita 関連テクノロジーの調査 引用元：データエンジニアリングの背景を踏まえてdbt（Data Build Tool）を少 し深く理解してみる #Python - Qiita

• https://qiita.com/manabian/items/ab6c2a5dde78c432ecf1
• https://qiita.com/manabian/items/e689daf5cc006eced737

生成 AI でデータ分析する機能を利用する際には課題あり Databricks には AI/BI Genieスペースという Text-To-SQL をベースにしたデータ分析が できる。ただし、とある課題にぶつかるときがあります。 分析対象のデータがない どうやって集めるの？ 引用元：AI/BI Genieスペースとは |Databricks on AWS

• https://docs.databricks.com/ja/genie/index.html

他システムからのデータ連携はけっこう大変 データの連携のステップがまでが大変で、 いわゆるクイックウィン（小さな成功）を成し遂げるのが困難です 引用元：Salesforce のデータを DWH と連携しておいて!!と言われた時に読む記事 - Qiita

• https://qiita.com/manabian/items/b63d2824a22ad458c797

データ連携をはやくやるために TROCCO ならすぐにデータ連携が可能であり、 データ分析をすぐにはじめられる。 TROCCO なら データ連携が簡単 引用元：Salesforceの接続情報 データがあれば すぐに生成 AI で分析可能 引用元：AI/BI Genieスペースとは |Databricks on AWS

• https://docs.databricks.com/ja/genie/index.html
• https://documents.trocco.io/docs/connection-configuration-salesforce

TROCCO と Databricks の連携方法に関する記事は投稿済み ちょっとしたトレーニングが実施できるようなコンテンツを公開しています。 引用元：Databricks と TROCCO の融合で実現するシームレスなデータパイプライン構築入門 #Python - Qiita

• https://qiita.com/manabian/items/3641ddb3d4e11a8d7eb1

次世代のデータ分析プラットフォームでも TROCCO は必要 次世代のデータ分析プラットフォームの方法論が注目されてきていますが、 データ統合がより重要となるため TROCCO などの他システム連携機能は必要です。 データレイクで分析を行う レイクハウス 引用元：データレイクハウスとは？| Databricks Open Table Format が流行 引用元：Tableflow: Convert Kafka topics to Iceberg tables | Confluent | JP

• https://www.databricks.com/jp/glossary/data-lakehouse
• https://www.confluent.io/ja-jp/product/tableflow/

ありがとうございました 参考になった記事には いいねをお願いします manabian 𝕏: @manabian Qiita: manabian

• https://x.com/manabian
• https://qiita.com/manabian