アリゾナ北部のトレイルカメラで撮影した約100万枚の写真から動物を特定するため、GPT-4-VisionとYOLOv8を利用した新しい試みが行われました。
これらの写真には、動物ではないものが写り込んでいるケースが多く、全ての画像をOpenAIに送ると1万ドル以上のコストがかかると予想されます。
そこで、YOLOを使ったフィルタリングとSAM（Segment Anything Model）によるセグメンテーションを駆使し、コストを99%以上削減しました。
特に、複数の写真が一度に撮影されることが多いため、画像内で最も適したものを選出する「文脈的まとめ」が大幅なコスト削減に繋がりました。
また、GPT-4-Visionの応答は生成後にトリムされていることや、指示に関わらず追加情報を付け加える傾向があることが明らかになりました。
これらの技術を組み合わせることで、一つの方法では得られない貴重なデータセットを、手頃なコストで作成することに成功しました。
出典 : https://medium.com/@jones.steveg/using-gpt-4-vision-and-yolov8-to-identify-animals-efficiently-without-additional-training-0db363bd8d68?responsesOpen=true&sortBy=REVERSE_CHRON