Using large language models for video processing in the agricultural industry

Abstract

Modern artificial intelligence technologies, particularly large language models, are increasingly being applied in agricultur e to enhance automation, decision-making, and sustainability. This study presents a comprehensive analysis of large language models and their integration with computer vision and video processing for real-time livestock monitoring. A software system was developed that utilizes multimodal large language models to analyze poultry behavior from video streams, enabling the detection of anomalies, prediction of potential health issues, and automatic generation of recommendations for farmers. The system is based on a modular architecture and combines technologies such as OpenCV, FastAPI, and Streamlit. Comparative evaluation of models including GPT- 4o, Claude 3.7, and LLaVA demonstrates their suitability for different agricultural tasks. The results confirm the effectiven ess of large language model-based solutions in improving operational efficiency, reducing human intervention, and supporting precision agriculture. Despite high computational demands, the proposed approach significantly simplifies the deployment of intelligent monitoring systems and opens new opportunities for smart farming innovations.

Сучасні технології штучного інтелекту (ІІ) та великі мовні моделі (LLMs, Large Language Models) активно впроваджуються в різні галузі промисловості, у тому числі і в аграрний сектор, сприяючи автоматизації моніторингу, підвищенню продуктивності та сталого розвитку. У цій статті проведено аналіз LLMs. Показано їх переваги для аналізу даних, прогнозування змін та оптимізації виробничих процесів, особливо при їх інтеграції з комп'ютерним зором та технологіями обробки відеоданих. Відзначено перспективи застосування в агросекторі (у птахівництві, тваринництві та ін.) Розроблена система використовує мультимодальні LLMs для аналізу поведінки курей на основі відеопотоків, що дозволяє виявляти аномалії в їхній активності, передбачати можливі проблеми зі здоров'ям та автоматично генерувати рекомендації для фермерів. Дослідження підтверджує, що впровадження LLMs у сільське господарство забезпечує: автоматизований моніторинг тварин та сільськогосподарських культур, покращення точності прогнозів урожайності та стану ґрунту, зниження залежності від людського фактору, підтримку прийняття рішень у режимі реального часу. Порівняльний аналіз різних моделей LLMs, GPT-4, Flamingo та LLaVA демонструє їх потенціал у обробці відео та мультимодальному аналізі даних. Представлені результати підтверджують, що використання LLMs у поєднанні з технологіями машинного навчання та комп'ютерного зору відкриває нові перспективи для точного землеробства та автоматизованого контролю за здоров'ям тварин, роблячи сільськогосподарське виробництво більш технологічним, економічним та екологічним.