ACES エンジニアブログ

ACESのエンジニアブログです。

CREの業務改善:トライアル分析をDifyで効率化した話

あいさつ

はじめまして、ACESでCREをしている村上です。

最近暑くなってきましたね。暑くなるとだんだん温かい食べ物を食べられなくなるはずなのですが、今年はまだこれという冷たい食事に巡り会えておらず気がついたら行きつけのラーメン屋に行っています...

こんなことをしてるから痩せないんですね。夏の暑さに負けないようにしつつ気を引き締めていこうと思います。

今回は、以前話したトライアルの結果を分析する取り組み (リンクはこちら) について、その取り組みが今ではどうなっているのかについて紹介します。

トライアルの内容把握の課題

以前の記事で、トライアルの内容をひたすら見ることでトライアルの勝ちパターンと負けパターンを分析したという話をしました。

以降もトライアルの傾向を確認するようにしているのですが、トライアル件数が増えてきたこともあり、少しずつ負担が増えていました。

そこで、報告の内容を一括で取得しAIで分析することで、効率よく内容把握できるようにならないかと考え、Difyを使った効率化に取り組み始めました。

補足: Difyとは

AIアプリケーションをノーコードで開発できるプラットフォームです。画面上で要素を繋ぎ合わせるだけで簡単にAIエージェントを作成することができます。

LLMを使った内容把握の効率化

ACESではトライアルの内容をSlack上で報告する運用になっていたので、まずはSlackから情報を抜き出して出力する方針でDifyでワークフローを作成しました。

補足: ACESのDify環境

ACESでは機密情報を含むデータを安全に使えるようにACES AgentHubという独自の環境を作成しています。

この環境の中でDifyのOSS版をセルフホストしているため機密情報であっても問題なくLLMの入力として利用することができます。

ACESではDifyの活用を推進しており、非エンジニアの方でも利用できるように定期的に勉強会が開かれています。

作成したワークフローの内容

  • Slackからの情報取得
    • 企業名を入れると、その企業名を含むSlackの投稿を取得するAPIを実行
    • APIの出力を整形してLLMの入力にする
  • LLMによる情報抽出
    • Slackで取得した内容には関係のない情報も含まれているのでLLMで必要な投稿のみを抽出
    • 抽出した内容をフォーマットに沿って要約
      • その際に以前トライアルを見るときに重点的に見ていた点をフォーマットに反映しました
        • 顧客が何に困っていて、どのような期待を持ってトライアルを始めたのか
        • 実際にプロダクトを使う中で詰まった部分や質問されたこと
        • 最終的に顧客の目的は達成できたか、その理由は何か

LLMによるトライアル全体の分析

Difyによって個々のトライアルの情報を簡単に確認できるようになったため、追加でトライアル全体の内容をまとめて成約理由・失注理由にはどのようなものが多いのかどういった改善点があるのかの分析を行なっています。

  • Notionへの情報整理
    • Difyの出力内容をNotionに記載
    • Notionの記事をPDF化
      • Notion記事のフォーマットが特殊なので読み込める形に変換する意図で行っています
        • (obsidianに変えるなど上手い方法もありそうですが、一旦この形にしています)
  • LLMによる分析
    • PDFをLLMに入れて内容を分析

結果と今後の展望

結果

トライアル中のMTGは複数回行われておりこれまでそれぞれのMTGの内容を確認していたのですが、Difyを使うことにより複数MTGの内容を確認しなくてもトライアル全体の内容を把握することができるようになりました

また、全体の分析も (たまに間違うこともありますが) 素早くできるようになりました。

結果として全体で1時間程度短縮できるようになったのではと思っています。

今後やりたいこと

利用状況データの統合

現状トライアルの分析はユーザーの声をもとにした定性的な内容になっていますが、実際の分析ではどの機能をどれぐらい使っていたのかという定量的な内容も重要になってきます。

そのため実際の利用状況をDBから取得して、それもLLMに入れられるようワークフローを強化していくことが今後必要になってくると考えています。(現状はこの部分は人力で行っています)

複数企業の分析

個々のテナントのトライアル情報も重要なため現状は企業ごとにDifyで出力し、その結果をまとめてLLMに入れるという工程をとっていますが、現在手動で記載している部分もどんどん自動化していくことでより簡単に分析を行えるようになるのではと思っています。

最後に

今回は、Difyを活用してトライアルの内容把握を効率化した事例について紹介しました。

今後も引き続き、顧客の現状に向き合い、どうすれば顧客により満足してもらえるかを考えていきたいと思います。

もしこの記事を読んで「CREに興味が湧いた」という方や、「ACESでどんな働き方ができるのか知りたい」という方がいましたら、ぜひお気軽にご連絡ください!

ACESの採用情報はこちら↓

youtrust.jp

youtrust.jp