こんにちは、TAIONの塚越です。
今回は、HubSpotのデータをGoogleのBigQueryに、毎日自動でためていく方法について書きます。
データは、まだ少ないうちからためはじめたほうがいい。今回いちばん伝えたいのは、このことです。商談がいつ次の段階に進んだのか。取引先の従業員数が、いつ増えたのか。こうした変化は、保存をはじめた日からしか残りません。あとになって過去にさかのぼり、つくり直すことはできないのです。
それに、BigQueryにデータがあれば、Claudeに「先月の問い合わせを業種別に集計して」と頼むだけで分析ができます。
BigQueryは、Googleのデータ保存・分析サービスです。会社のデータをまとめて置いておく場所、いわゆるデータウェアハウス（DWH）として使っています。料金は使った分だけで、小さな規模なら無料の範囲に収まります。
全体の流れ
まず、HubSpotのデータが毎日自動でBigQueryに入ってきます。この受け皿の表を、ここでは「生データ」と呼びます。
生データには個人情報が含まれています。そこから個人情報を取り除き、分析に使ってよい列だけを抜き出して、「分析用の表」をつくる。分析は、かならずこの分析用の表だけで行います。流れとしては、これだけです。
1. Google Cloudにプロジェクトをつくる
データを置いておくためのプロジェクトを、ひとつ用意します。名前は「会社名-dwh」のように、あとから見て用途がわかるものにしておくと迷いません。
Google Cloudは、使いはじめるときにクレジットカードの登録を求められます。ただ、BigQueryには毎月決まった量の無料枠があり、問い合わせが数百件ほどなら、まずその範囲に収まります。
2. HubSpotで、読み取り専用のキーをつくる
BigQueryがHubSpotのデータを読みにいけるように、HubSpotの側でサービスキーをつくります。権限は「読み取り」だけで足ります。データを運ぶだけなので、HubSpotの中身を書き換える権限は要りません。
このキーは、パスワードと同じものだと考えてください。チャットに貼ったりスクリーンショットに写したりせず、かならずご自身で入力してください。
3. BigQueryの「データ転送」でHubSpotを選ぶ
BigQueryの「データ転送」を開き、取り込み元にHubSpotを選んで、さきほどのキーを入力します。頻度は1日1回、保存場所は東京にしました。ここまで、プログラムは一行も書いていません。
4. 分析用の表をつくる
分析には、使ってよい列だけを集めた表を使います。HubSpotに新しい項目が増えても、分析用の表には勝手に入ってこないようにしてあります。
どの列を入れるかは、ひとつずつ「なぜ必要か」を決めてから選びました。
BtoBの分析で役に立つのは、「誰が」よりも「どの部署の、どんな立場の人が」です。反応したのが人事部長なのか、現場のマネージャーなのか。それによって、次に打つ手はまるで変わります。だから分析用の表には、部署と役職の列を残しました。
表をつくるためのSQL（データベースへの命令文）は、Claudeに「分析に使う列だけの表をつくって。部署と役職の列は残して」と頼んで、書いてもらっています。
つまずいたところ
すんなり進んだわけではありません。引っかかったところも書いておきます。
まず、日本語の列名が消えてしまいました。BigQueryでは、列の名前に日本語を使うと、その部分が抜け落ちてしまうのです。「部署（department）」のように日本語と英語を並べた名前に変えて、ようやく読めるようになりました。
HubSpotで項目の名前を直しても、BigQueryの列名は変わりませんでした。結局、取り込み先の表をいったん消して、取り込み直しています。
失敗した取り込みを「再試行」すると、古い設定のまま動いてしまうことにも気づきました。新しい設定で動かしたいときは、「今すぐ転送を実行」のほうを使います。
それから、無料版のHubSpotでは使えない機能のデータがあります。それを取り込みの対象に選んでいると、権限のエラーで転送ぜんたいが止まってしまう。対象から外して、落ち着きました。
どの場面でも、エラーの文章をそのままClaudeに貼ると、原因をすぐに教えてくれました。ここはずいぶん助けられたところです。
おわりに
HubSpotからBigQueryへの取り込みは、プログラムを書かなくても毎日自動で回せます。思っていたよりも、ずっと手の届くところにありました。