Comment Clay gère les bogues de l’IA/ML à l’aide de Linear
Gestion de l’Ai/Ml : Aperçu du projet
Clay est une plateforme de go-to-market qui aide les équipes à enrichir les leads, à identifier les signaux d’intention et à automatiser les workflows sortants. Fondée à New York en 2017, la société a connu une croissance rapide, passant de 50 à 200 employés. En tant que plateforme alimentée par l’IA/ML, Clay est confrontée à des défis uniques dans la gestion des bugs à travers des systèmes complexes d’apprentissage automatique, des pipelines de données et des fonctionnalités en contact avec les clients.
Gère Ai/Ml : Table des matières
- Aperçu du projet
- Le défi
- La solution
- Mise en œuvre
- Principaux résultats
- Questions fréquemment posées
- Conclusion
Cette étude de cas gère ai/ml examine comment Clay a transformé son processus de gestion des bogues en utilisant Linear, en créant un système évolutif qui a considérablement réduit le temps de triage et amélioré sa capacité à maintenir des services IA/ML de haute qualité à l’échelle.
Le défi de la gestion des ai/ml
Au fur et à mesure que Clay passait d’une petite startup à une entreprise en pleine croissance, son processus informel de gestion des bogues est devenu un goulot d’étranglement important. Au départ, le triage des bogues s’appuyait fortement sur les connaissances institutionnelles – les membres de l’équipe savaient simplement qui contacter pour des problèmes spécifiques. Sarah s’occupait des bogues liés au système de paiement, Marcus s’occupait des problèmes liés à l’API, et les cas particuliers étaient résolus par des conversations informelles et des demandes de renseignements.
Cette approche de gestion ai/ml fonctionnait bien lorsque toute l’équipe pouvait tenir dans une seule pièce, mais lorsque Clay s’est agrandie pour atteindre 200 employés, plusieurs problèmes critiques sont apparus. Tout d’abord, le contexte partagé a commencé à se réduire à mesure que les équipes se spécialisaient et que de nouveaux employés arrivaient sans avoir la connaissance historique de la propriété du système. Deuxièmement, le temps passé à identifier la bonne personne pour corriger un bogue dépassait souvent le temps réel nécessaire à la mise en œuvre de la correction. Troisièmement, les systèmes d’IA/ML ont introduit une complexité supplémentaire, car les bogues pouvaient provenir de problèmes de qualité des données, de dégradation des performances des modèles ou de problèmes d’intégration entre les pipelines d’apprentissage automatique et la logique de l’application.
La situation de manages ai/ml a été compliquée par la diversité des sources de bogues de Clay. Les problèmes arrivaient par le biais de tickets de support client, de rapports d’équipes internes, d’alertes de surveillance automatisées et de commentaires d’utilisateurs. En l’absence d’un système centralisé, les bogues critiques de l’IA/ML pouvaient passer entre les mailles du filet, affectant potentiellement la précision des modèles, les flux de traitement des données ou l’expérience des clients. L’absence de catégorisation appropriée a également rendu difficile l’identification de modèles dans les problèmes spécifiques à l’IA/ML, ce qui a entravé leur capacité à traiter de manière proactive les problèmes systémiques.
Le point de rupture de manages ai/ml est survenu lorsque Clay s’est rendu compte qu’elle perdait un temps précieux en ingénierie à cause de la gestion des bogues au lieu de se concentrer sur le développement de produits et l’innovation en IA/ML. Ils avaient besoin d’une approche systématique capable de s’adapter à leur croissance tout en conservant l’efficacité et l’esprit de collaboration qui les avaient bien servis à leurs débuts.
La solution gérée ai/ml
Clay a mis en place un système complet de gestion des bogues basé sur Linear, axé sur la centralisation, la normalisation et l’acheminement intelligent. La solution répondait à la fois aux bogues généraux des logiciels et aux défis uniques de la gestion des problèmes des systèmes AI/ML.
- Système de réception centralisé : Tous les rapports de bogues passent par un canal Slack dédié (#all-bugs) avec des formulaires standardisés garantissant une saisie cohérente des informations.
- Classification automatisée : Système d’étiquetage intelligent qui classe les bogues par type de système (pipeline AI/ML, frontend, backend, traitement des données) et par niveau de gravité.
- Routage intelligent : Règles d’affectation automatisées basées sur les catégories de bogues, avec un traitement spécial pour les problèmes spécifiques à l’IA/ML nécessitant une expertise en science des données.
- Suivi amélioré : L’intégration linéaire permet un suivi détaillé, une gestion des priorités et une visibilité de l’état d’avancement au sein de toutes les équipes.
Le système manages ai/ml a été conçu en tenant compte de l’accent mis par Clay sur l’IA/ML, reconnaissant que les bogues liés à l’apprentissage automatique nécessitent souvent une expertise et des approches d’investigation différentes de celles des bogues logiciels traditionnels. Par exemple, une dégradation des performances d’un modèle peut nécessiter que les data scientists analysent la qualité des données d’entraînement, la dérive des caractéristiques ou les problèmes d’architecture du modèle, tandis qu’une défaillance du pipeline de données peut nécessiter à la fois une expertise en ingénierie et en opérations ML.
La solution manages ai/ml a également intégré la culture collaborative de Clay en maintenant la transparence et la communication tout au long du processus de résolution des bogues. Les membres de l’équipe pouvaient facilement voir l’état des problèmes signalés, comprendre les priorités de résolution et contribuer aux discussions sans perdre l’atmosphère informelle et de soutien qui caractérisait leur ancienne approche de gestion des bogues.
En tirant parti des puissantes capacités de gestion de projet de Linear et des atouts de Slack en matière de communication, Clay a créé un système hybride qui combine structure et flexibilité, garantissant que les bogues logiciels de routine et les problèmes complexes d’IA/ML reçoivent l’attention et l’expertise appropriées.
Gère l’Ai/Ml : Mise en œuvre
Phase 1 : Découverte et planification
La mise en œuvre de manages ai/ml a commencé par un audit complet des pratiques existantes de Clay en matière de gestion des bogues. L’équipe a analysé les données historiques sur les bogues, interrogé les parties prenantes des équipes d’ingénierie, de science des données et de succès client, et identifié les points de douleur spécifiques affectant leur flux de développement IA/ML. Une attention particulière a été accordée à la compréhension des différences entre les bugs d’IA/ML et les problèmes logiciels traditionnels, y compris le besoin d’analyse des données, d’évaluation des modèles et de collaboration interfonctionnelle. La phase de découverte a également consisté à évaluer les capacités de Linear et à concevoir des flux de travail personnalisés qui répondraient aux exigences uniques de Clay tout en restant simples pour les utilisateurs finaux.
Phase 2 : Développement et configuration du système
Pendant la phase de développement, Clay a configuré Linear avec des champs personnalisés, des étiquettes et des règles d’automatisation spécialement conçues pour leur environnement AI/ML. Ils ont créé des catégories de bogues spécialisées pour différents types de problèmes ML, y compris la performance du modèle, la qualité des données, les défaillances du pipeline et les problèmes d’inférence. L’équipe ai/ml de manages a construit des intégrations Slack avec des formulaires structurés qui capturent des informations essentielles pour les bogues IA/ML, tels que les modèles affectés, les sources de données, les mesures de performance et l’impact sur l’entreprise. Des règles de routage automatisées ont été établies pour s’assurer que les bogues spécifiques à l’IA/ML atteignent les data scientists et les ingénieurs ML, tout en maintenant les flux de travail existants pour les problèmes logiciels traditionnels.
Phase 3 : Déploiement et formation
La phase de lancement de manages ai/ml a impliqué un déploiement progressif en commençant par un groupe pilote d’utilisateurs expérimentés avant de l’étendre à l’ensemble de l’organisation. Clay a proposé des sessions de formation complètes couvrant à la fois les aspects techniques du nouveau système et les meilleures pratiques pour signaler efficacement les bogues AI/ML. Ils ont développé de la documentation et des guides de référence rapide, établi des champions d’équipe pour soutenir l’adoption, et créé des boucles de retour d’information pour améliorer continuellement le système sur la base de l’expérience des utilisateurs. Le déploiement comprenait également la mise en place de nouveaux processus pour traiter les problèmes critiques d’IA/ML susceptibles d’affecter les modèles en contact avec les clients ou les pipelines de traitement des données.
« Le nouveau système de gestion des bogues de manages ai/ml a transformé la façon dont nous traitons les problèmes liés à l’IA/ML. Nous avons passé des heures à déterminer qui devait examiner un problème de performance d’un modèle, alors qu’il était automatiquement acheminé vers le bon data scientist en quelques minutes. Cela a changé la donne pour notre capacité à maintenir des services ML de haute qualité tout en évoluant rapidement. »
– Sarah Chen, vice-présidente de l’ingénierie chez Clay
Principaux résultats
La mise en œuvre du système de gestion des bogues basé sur Linear, géré par IA/ML, a apporté des améliorations significatives à l’ensemble de l’organisation d’ingénierie de Clay. L’amélioration la plus spectaculaire a été la réduction de 75 % du temps de triage des bogues, ce qui a libéré des ressources d’ingénierie substantielles pour le développement de produits et l’innovation AI/ML. Le système traite désormais plus de 200 bogues par mois avec une qualité et un suivi cohérents, alors que l’approche ad hoc conduisait souvent à des problèmes perdus ou retardés.
Les avantages spécifiques à l’IA/ML ont été particulièrement remarquables. Les problèmes de performance des modèles sont désormais résolus 50 % plus rapidement grâce à l’amélioration de l’acheminement vers les équipes de science des données et à une meilleure saisie des informations lors de l’établissement des rapports. L’approche normalisée de manages ai/ml pour le signalement des bogues AI/ML a également amélioré la qualité des informations disponibles pour le débogage, ce qui a permis une analyse plus efficace des causes profondes et la prévention de problèmes similaires.
Au-delà des améliorations quantitatives, le système a renforcé la collaboration au sein de l’équipe et le partage des connaissances. Les membres de l’équipe IA/ML peuvent désormais contribuer efficacement à la résolution des bogues sans avoir besoin de connaissances institutionnelles approfondies, et le système centralisé fournit des informations précieuses sur les modèles et les tendances des problèmes liés aux logiciels et à l’IA/ML, ce qui permet d’améliorer de manière proactive la fiabilité de la plateforme Clay.
Questions fréquemment posées
Qu’est-ce que l’AIML ?
L’IA/ML fait référence aux technologies d’intelligence artificielle et d’apprentissage automatique. La gestion de l’IA/ML englobe les systèmes capables d’effectuer des tâches qui requièrent généralement l’intelligence humaine, tandis que l’apprentissage automatique est un sous-ensemble de l’IA qui se concentre sur les algorithmes qui apprennent et s’améliorent à partir des données. Dans le contexte de Clay, l’IA/ML alimente ses fonctions d’enrichissement des prospects, de détection des signaux d’intention et d’automatisation des flux de travail.
ChatGPT est-il AI ou ML ?
ChatGPT est à la fois un système d’IA et de ML. Il s’agit d’un système d’IA qui utilise des techniques d’apprentissage automatique, en particulier de grands modèles de langage formés sur de vastes ensembles de données. Comme la plateforme de Clay, il représente l’application pratique des algorithmes de ML pour créer des capacités d’IA intelligentes et orientées vers l’utilisateur.
Pourquoi parle-t-on d’IA/ML ?
Le terme géré ai/ml « AI/ML » reconnaît que les systèmes d’IA modernes sont principalement construits à l’aide de techniques d’apprentissage automatique. Alors que l’IA est l’objectif général de la création de systèmes intelligents, l’apprentissage automatique constitue la principale méthodologie pour atteindre cet objectif dans la plupart des applications actuelles, y compris les plateformes telles que Clay.
En quoi le ML diffère-t-il de l’IA ?
L’IA est un domaine plus large axé sur la création de systèmes intelligents, tandis que la ML est une approche spécifique au sein de l’IA qui utilise des algorithmes pour apprendre à partir de données. Gère ai/ml Je peux inclure des systèmes basés sur des règles et d’autres approches, mais la ML fait spécifiquement référence à des systèmes qui améliorent les performances grâce à l’expérience et aux données d’entraînement, ce qui est au cœur de l’approche axée sur les données de Clay.
Conclusion
La transformation du système de gestion des bogues de Clay montre comment les entreprises d’IA/ML en pleine croissance peuvent faire évoluer leurs opérations sans perdre en efficacité ou en culture de collaboration. En mettant en place un système basé sur Linear qui traite à la fois les bogues logiciels traditionnels et les défis spécifiques à l’IA/ML, Clay a réussi à réduire le temps de triage de 75% tout en améliorant la fiabilité globale du système.
La clé du succès de Clay a été de reconnaître que les bogues d’IA/ML nécessitent un traitement spécialisé tout en maintenant une approche unifiée de la gestion des bogues. Leur solution équilibre l’automatisation et l’expertise humaine, garantissant que les problèmes complexes d’apprentissage automatique reçoivent l’attention appropriée tout en rationalisant le traitement des bogues de routine. Cette étude de cas sur l’IA/ML illustre comment une mise en œuvre réfléchie des outils de gestion de projet peut permettre aux entreprises d’IA/ML de maintenir des normes de haute qualité tout en se développant rapidement sur des marchés concurrentiels.
