株式会社ジェネラティブエージェンツの大嶋です。
運営している勉強会コミュニティStudyCoで「機械学習アプリケーション（LLMアプリケーション）の「評価」の基本を改めて整理・議論する会」というイベントを開催しました。
この勉強会では、機械学習アプリケーション（LLMアプリケーション）の「評価」について、あらかじめ用意した資料をベースとして議論していきました。
これまで関わってきた仕事や経験によって気になる点も変わるため、登壇者によって「こういう視点の話もあるよね」という様々な話がでてきて、個人的にはとても良い勉強会だったと思います。
アーカイブ動画を公開しているので、興味があればぜひご視聴ください。
評価の具体的なやり方も知りたい方には
質疑やアンケートでは、「評価の具体的なやり方も知りたい」という声もいただきました。
勉強会の途中でも少し話題に出ましたが、LLMアプリケーションの評価の基本を学ぶうえでは、LangSmithのドキュメントを読んで構築してみるのがおすすめです。
実は過去にLangSmithの入門勉強会も開催しており、その際はLangSmithを使った評価の解説・デモンストレーションも実施しています。
アーカイブ動画もあるので、こちらもぜひご視聴ください。
