的洞察生成平 拜耳公司洞察高级总监 Hooman Sedghamiz 是生命科学领域人工智能和机器学习领域的杰出人物。凭借多年的经验，他领导的团队和项目极大地推动了医疗产品的发展，包括植入式和可穿戴设备。值得一提的是，他曾担任拜耳制药的生成式人工智能产品负责人和高级总监，在开发基于通用预测模型 (GPT) 的精准医疗中央平台方面发挥了关键作用。
2023年，他担任EMNLP 2023 GEM工业轨道的联合主席，进一步推动了他对这一领域的贡献。Hooman还曾担任加州大学圣地亚哥分校的AI/ML顾问和科学家，利用其在深度 的洞察生成平 学习方面的专业知识推动生物医学研究和创新。他的优势在于能够指导数据科学项目从初始阶段到商业化的全过程，并通过MLOps、LLMOps和深度学习产品管理弥合医疗保健应用之间的差距。Hooman与研究机构密切合作，并与哈佛大学和加州大学圣地亚哥分校的Nemati博士密切合作，在数据科学界持续展现其活力和影响力。
您可以在Spotify、Apple Podcast、Podcast addictions 和 Castbox上收听本集 。您也可以在YouTube上观看本集。
最重要的要点：
为什么实时评估对于维护聊天机器人交互的 工作职能邮件数据库 完整性以及防止诸如推广竞争对手或做出虚假承诺等问题至关重要？开发人员采用哪些策略来最大限度地降低成本，同时最大限度地提高模型评估的有效性，尤其是在处理 LLM 时？这些可能只是业内人士正在问自己的众多问题中的一部分。我们计划在本次演讲中涵盖大部分内容。
聆听他们的对话，深入了解人工智能聊天机器人的评估世界。探索如何确保聊天机器人的质量，并在各项指标上持续改进。
以下是本集的关键主题：
评估聊天机器人的有效性：探索系统方法来评估各个阶段的聊天机器人质量，包括检索准确性、响应生成和用户满意度。
实时评估的重要性：深入了解为什么对聊天机器人进行持续和实时评估对于维护完整性和确保其按设计运行而不会促进不良行为至关重要。
受损系统指标：了解识
别表明系统可能容易“越狱”的行为的重要性，以及可通过 API 集成来应对这些行为的方法。
成本效益评估模型：讨论采用较小的模型 准备演示文稿和其他材料 进行评估以降低成本而不影响分析深度，重点关注故障案例和根本原因评估。
定制评估指标：强调定制评估标准以满足特定用例要求的必要性，包括探索适用于不同场景的不同指标。
有趣的事实：Mistral、Llama 和 Nexus Raven 等大型 的洞察生成平语言模型在执行低幻觉和高质量输出的函数调用能力方面已经得到提高。
显示注释：
拜耳股份公司简介
05:15 药物研发、试验预测、医疗虚拟助手。10
:35 类似 Llama 的新语言模型可与 GPT 3.5 竞争。12
:46 大型语言模型求解、高效技术、开源。16
:12 扩展多样化、个性化模型的应用。19
:02 开源提供多语言嵌入。25
:06 稳定性提升，可靠的函数调用功能应运而生。27
:19 平台追求效率，并衡量其影响力。31
:01 构建知识发现工具，衡量其价值
。33:10 总结
更多来自 Hooman 的引言：
“我认为人们的注意力主要集中在向量存储上。因此，很多初创公 销售线索 司都围绕着向量存储的理念而出现，但我认为真正缺乏的是能够提供丰富知识和信息来源的工具。 ”
—— Hooman Sedghamiz
现在你可以看到，它们的性能已经非常非常接近，甚至优于 GPT 3.5，已经处于同一水平，并且正在逐步接近 GPT 4。——
Hooman Sedghamiz 在语言模型的进步中
“我认为最大的、尚未开发的潜力在于，它可以用于科学发现以及所有那些更具挑战性的应用，而不仅仅是效率之类的事情。”
——Hooman Sedghamiz
文字记录：
Demetrios：我们今天就在这里我想不
出还有什么比和你一起度过情人节更好的方式了，Hooman，这真是太棒了！我非常期待你即将带来的演讲，我想让所有听众都知道，今天的演讲嘉宾水平多么高超，因为你已经做了许多工作。各位听众，不要被这位男士的年轻外表所迷惑。你看起来不像五六十岁，但说到你的个人简介，你应该有七十多岁了。我非常兴奋。你在数据科学项目、机器学习项目、法学硕士项目等等方面经验丰富。你在拜仁慕尼黑工作，抱歉，不是拜仁慕尼黑，而是拜耳股份公司。你是人工智能和机器学习的高级总监。
Demetrios：我认为您在机器学
习和人工智能方面还有很多其他工作要做。您既有传统的机器学习背景，又有新的生成式人工智能背景，所以您可以充分利用两者。而且您还会用数据工程的方式思考问题，了解整个生命周期。所以今天我们可以聊聊这方面的一些趣事。我知道您为我们准备了一些幻灯片。我会让您自己播放，也让聊天室里的其他人也观看。在 Hooman 演示期间，您可以随时提问，我会在需要时打断您。