Google Colab интегрирует KaggleHub для удобного доступа

Беспроводная интеграция между Colab и Kaggle

Google закрывает старую щель между Kaggle и Colab. В Colab теперь есть встроенный Data Explorer, который позволяет искать наборы данных, модели и конкурсы Kaggle прямо в блокноте, затем загружать их через KaggleHub, не покидая редактор.

Что предлагает Colab Data Explorer

Kaggle недавно анонсировал эту функцию, описывая панель в редакторе блокнотов Colab, которая подключается к поиску Kaggle.

С помощью этой панели вы можете:

1. Искать наборы данных, модели и конкурсы Kaggle.
2. Доступ к этой функции из боковой панели в Colab.
3. Использовать интегрированные фильтры для уточнения результатов по типу ресурса или релевантности.

Colab Data Explorer позволяет вам искать наборы данных и модели Kaggle прямо из блокнота Colab. Вы можете импортировать данные, используя кодовый фрагмент KaggleHub и интегрированные фильтры.

Старая схема переноса данных из Kaggle в Colab была трудоемкой

До этого запуска большинство рабочих процессов для извлечения данных Kaggle в Colab были связаны с фиксированной последовательностью:

• Создание аккаунта на Kaggle.
• Генерация API-токена.
• Загрузка файла учётных данных kaggle.json.
• Загрузка этого файла в среду выполнения Colab.
• Установка переменных окружения и использование API Kaggle или командного интерфейса для загрузки наборов данных.

Эти шаги были хорошо задокументированы, но механическими и подверженными настройкам вроде отсутствующих учётных данных. Colab Data Explorer не исключает необходимость в учётных данных Kaggle, но упрощает доступ к ресурсам Kaggle.

KaggleHub как интеграционный слой

KaggleHub — это библиотека Python, обеспечивающая простой интерфейс для наборов данных, моделей и выводов блокнотов Kaggle из Python-сред.

Ключевые свойства для пользователей Colab:

1. KaggleHub работает в блокнотах Kaggle и в внешних средах, таких как локальный Python и Colab.
2. При необходимости он аутентифицируется с использованием существующих учётных данных API Kaggle.
3. Он предоставляет функции, ориентированные на ресурсы, такие как model_download и dataset_download, которые возвращают пути или объекты в текущей среде.

Colab Data Explorer использует эту библиотеку в качестве механизма загрузки. Когда вы выбираете набор данных или модель в панели, Colab генерирует фрагмент кода KaggleHub, который нужно выполнить в блокноте. После выполнения данные становятся доступными в среде выполнения Colab, что позволяет взаимодействовать с ними с помощью pandas, обучать модели с помощью PyTorch или TensorFlow или интегрировать их в код для оценки, как с любыми локальными файлами.