【東海勤務】リクルートグループにおけるデータマート・パイプラインの開発を推進するデータエンジニア（BIエンジニア）

仕事内容

### 仕事内容 『ホットペッパーグルメ』『SUUMO』『Airビジネスツールズ』など幅広い事業領域のサービスから、日々膨大に蓄積されているリクルートグループのデータ。 本ポジションは、そのデータを「集める・貯める・使える形に整える」ことを主戦場とする、データ基盤側のエンジニアです。 ソフトウェア・エンジニアリングの手法を活用しながら、信頼性・作業効率性の高いデータ環境を設計・構築し、事業のデータドリブンな意思決定を支えます。 【BigQueryを用いたデータマートの構築・運用】 サービスで扱うデータだけでなく、顧客接点や営業、外部のデータなど、分析に活用できるデータを収集し、利用できるように加工して提供 Webログ、広告、CRMなど複数のデータソースを統合し、分析しやすく・高速に動作するデータマートを設計・開発 1つのKPIを算出するために複数の異なるテーブルを参照・結合するため、処理量やスピードを考慮したデータモデルの設計が求められる 【dbt / Dataform を用いたデータパイプラインのチーム開発】 dbtなどのツールを使ったチーム開発を推進 一枚岩の巨大なSQLを、責務ごとに分割してテストしやすい構造へと再設計するリファクタリングにも取り組む 【データの利便維持と品質管理のためのデータマネジメント】 TB〜PB級のデータのセキュリティやメタデータ管理をするためのデータマネジメントのスキルが求められる データマートの要件やロジックを考慮したデータテストを実施し、高品質なデータ分析環境を提供する 【事業課題の把握から要件定義まで】 依頼されたものをそのまま作るのではなく、「誰のどんな意思決定を助けるためのデータか」を把握したうえで設計する 事業部門との要件定義・折衝を通じて、課題発見から改善提案まで一貫して関与 ### ポジションの魅力 【大規模データならではの技術的難易度】 扱うデータは数テラ〜数ペタバイト規模。 小規模な環境では問題なく動いた処理が、この規模では終わらない・コストが膨らむという事象が起こります。 スキャン量やコストの目安を持って最適化する技術が、日常的に求められる環境です。 【複雑性の高いデータ構造の設計に関われる】 1つのKPIを算出するために複数の異なるテーブルを参照・結合するため、 処理量やスピードを改善するためのデータ構造の把握やデータモデルを設計する力が身につきます。 【モダンな手法を実務で扱える】 dbt / Dataform、ディメンショナルモデリング、BigQuery、データ品質テストなど。 モダンなデータエンジニアリングの手法を実務を通して習得できます。 【技術とビジネスの両面で成長できる】 単なるデータ処理にとどまらず、課題発見・要件定義・改善提案まで一貫して関われるため、 データエンジニアとしてもビジネスパーソンとしてもスキルアップが可能です。 【AIを活用してデータ業務を高度化できる】 社内ナレッジを読み込ませた内製LLMや、ナレッジを学習させたAIを活用し、調査/要件定義/クエリ作成/レビューを効率化。 調査・要件定義の工数を約1/3、クエリ作成・レビューを約1/2に削減しました。 【DataOpsの実施】 開発して終わりではなく、安全性の向上、効率の向上、品質維持、チーム間の連携促進、データから最大限の価値を生み出す現代において重要なDataOpsの経験を積むことができます。 ### 開発環境 言語：SQL、Python BIツール：Tableau、Looker、Looker Studio データウェアハウス：BigQuery クラウド：Google Cloud Platform（BigQuery など） transformationツール：dbt、Dataform ※参照元データの整備で関わります AI関連：社内ナレッジを学習させた内製LLM／AI（社内ルールに準拠した安全な環境で利用） その他：Adobe Analytics、GitHub、Docker など