[!info] related notes

• 所属 MOC: Observability Engineering MOC
• 相关: LLM-as-a-Judge, Agent 评估工程化

Human Feedback

一句话定义

Human Feedback 是收集用户对 Agent 回答质量的反馈的机制。点赞/踩、五星评分、文字评论——这些是评估 Agent 质量的最直接信号。

核心原理

反馈类型

类型	实现	数据量	信号强度
点赞/踩	按钮	高	低
五星评分	评分组件	中	中
文字评论	文本框	低	高

前端实现

function FeedbackButtons({ messageId }: { messageId: string }) {
  const submitFeedback = async (type: string) => {
    await fetch('/api/feedback', {
      method: 'POST',
      body: JSON.stringify({ message_id: messageId, type }),
    });
  };

  return (
    <div className="feedback-buttons">
      <button onClick={() => submitFeedback('positive')}>👍</button>
      <button onClick={() => submitFeedback('negative')}>👎</button>
    </div>
  );
}

后端存储

@dataclass
class Feedback:
    message_id: str
    user_id: str
    type: str  # positive, negative, rating
    rating: int = None  # 1-5
    comment: str = None
    created_at: datetime = None

常见坑

1. 不做反馈收集: 无法知道用户满意度
2. 反馈率低: 没有激励用户给反馈
3. 不分析反馈: 收集了但不分析

参考资料

• LLM-as-a-Judge
• Agent Evaluation Engineering