Google cloud shell майнинг

Настраиваем VM Instance Google Cloud для задач машинного обучения

Решение тяжёлых задач машинного обучения на стационарных компьютерах дело неблагодарное и малоприятное. Представьте, что вы на домашнем ноутбуке делаете ансамбль из N нейронных сетей для изучения лесов Амазонки на ноутбуке. Сомнительное удовольствие, тем более, что сейчас есть прекрасный выбор облачных сервисов для этих целей — Amazon Web Services, Google Cloud Platform, Microsoft Azure и прочие. Некоторые даже относительно бесплатны и предоставляют видеокарты.

Мы будем настраивать VM на Google Cloud Platform с нуля. Бонусом — стартовые 300$ на год на один gmail аккаунт. Поехали.

1. Создание и настройка Virtual Machine Instances
2. Настройка сетевых параметров
3. Установка Anaconda и дополнительных пакетов
4. Настройка Jupyter Notebook
5. Настройка File Transfer

1. Создание и настройка Virtual Machine Instances

Создаем аккаунт

С первых шагов может ввести в заблуждение тот факт, что Гугл безапелляционно квалифицирует вас как юридическое лицо без права смены статуса. Это норма с недавних пор и с этим придется смириться. Далее бесстрашно указываем платежные данные, деньги без предупреждения не снимутся, даже когда будет исчерпан бесплатный лимит.

Создаем Virtual Machine и подбираем параметры

Здесь есть несколько интересных моментов. Графические процессоры есть не во всех зонах. В европейских и западно-азиатских я не нашел, в южно-американских искать не стал, поэтому выбрал восточно-американскую зону. Там их можно хоть восемь настроить с абонентской платой 5000 долларов в час. Усредняем данные и настраиваем восемь процессоров, двадцать гигабайт оперативной памяти и один графический процессор. Всё это удовольствие будет стоить 1 доллар в час.

Операционную систему можно выбрать на любой вкус. Берем понравившийся Linux дистрибутив и выставляем галочки «разрешить траффик». Настройку сети и SSH пропускаем. Их мы настроим дальше. И, наконец, один важный момент, снимите галочку с delete boot disk when instance is deleted. Это сохранит вам нервы, когда начнете создавать имейджи под разные задачи.

2. Настройка сетевых параметров

Настройка статического IP

По умолчанию внешний IP динамический. Сделаем его статическим и жить сразу станет гораздо проще. При привязке к проекту или виртуальной машине (как раз наш случай) — это бесплатно.

Настройка брандмауэра.

Jupyter Notebook — наш главный инструмент и ему будет нужен доступ к виртуальной машине. Создаем правило со следующими параметрами:

• Разрешить входящий трафик
• Указываем любой порт в разумных пределах. К примеру, 22-й не подойдет, на нем висит SSH.
• Диапазон адресов делаем по умолчанию 0.0.0.0/0 (можно поменять)

Мы создали чистую VM и в итоге у вас должно получиться примерно так:

И самое главное — не забывайте выключать VM, когда закончили работу!

3. Установка Anaconda и дополнительных пакетов

Запускаем созданный Instance, подключаемся через SSH и для установки дистрибутива Анаконды вводим в командной строке:

В конце установки не забудьте ввести «yes», чтобы прописать переменную PATH
Ставим любимые пакеты:

И переходим к настройке Jupyter Notebook.

4. Настройка Jupyter Notebook

Вводим в командную строку (порт — который вы указали в настройках брандмауэра):

И теперь один интересный момент. Если у вас всё прошло успешно, то после старта Jupiter Server в баше вы увидите примерно это:

Если перейти по ссылке, то в браузере вывалится ошибка авторизации, что совершенно очевидно. Для этого в строке браузера надо явно указать, созданный выше внешний статический IP:

Добро пожаловать на борт!

Теперь нам осталось только настроить File Transfer между нашей локальной системой и удаленной. Без этого леса Амазонки не изучить.

5. Настройка File Transfer

У нас загрузочный диск Linux и поэтому доступны четыре способа:

1. Использование командной строки gcloud (private SSH keys обязательно)
2. Через протокол SFTP в браузере. Это самый простой способ, не требующий SSH key и использующий нативный браузер. Обязательное условие — локальная система у вас Linux или Mac.
3. Использование командной строки SDC (private SSH keys обязательно)
4. Программа WinSCP для счастливых обладателей Windows (private SSH keys обязательно)

Подробно можно почитать здесь и выбрать наиболее понравившийся способ. У меня на ноутбуке Windows 10, поэтому выбор не богатый. Пойдём не самым простым путём и подробно рассмотрим четвёртый способ.

Для начала необходимо сгенерировать SSH ключи. Скачиваем дистрибутив PuTTY и устанавливаем. С его помощью будем генерить ключи.

1. Открываем puttygen.exe. Появится окно, где вы можете сгенерировать ключи.
2. Оставляем все параметры по умолчанию кроме поля key comment. В него вводим имя пользователя удаленной системы. Скорее всего это ваш gmail аккаунт. Важно — не вся почта, а только та часть, которая до знака @. Я сначала прочитал инструкцию по диагонали и в итоге убил полчаса на то, чтобы понять, почему WinSCP возвращал ошибку.
3. Сохраняем private key — его используем в WinSCP локально.
4. Копируем текстовое поле private key (убедитесь, что скопировали полностью весь текст! На скриншоте лишь его часть)

1. Идем в гугловские облака и там в «Метаданные —> SSH-ключи» добавляем скопированный ключ.

Осталось совсем немного, самая приятная часть — настроить файл-менеджер WinSCP.

1. Скачиваем его здесь
2. Настраиваем конфигурацию. Помним, что IP — это наш статический IP удаленной системы. Имя пользователя — аналогично PuTTY.

В дополнительных настройках указываем private key и выставляем галочки как на скриншоте.

Всё! Наша боевая система готова к перевариванию тяжелых сверточных нейросетей и объемных данных.

Дополнительно хочу заметить, что использовать один Instance не очень разумно экономически. Разные задачи требуют разных ресурсов. Можно создать двенадцать виртуалок с разными настройками процессоров, памяти и графики или работать с имейджами. Экспериментируйте и любите данные.

Источник

Майнинг на google cloud

Сфера облачной добычи криптовалют постепенно становится интересной альтернативой для разных категорий майнеров цифровых денег. У кого-то нет мощного железа, другие просто не хотят с ним “возиться” или не имеют знаний для этого. А есть те, кто просто хочет воспользоваться заманчивой возможностью.

Для всех таких людей есть такие варианты, как майнинг на Google Cloud и других удаленных серверах.

Что такое облачный майнинг и как он работает

Любой более-менее продвинутый интернет-пользователь легко поймет, что такое облачный майнинг и как он работает. Определение этого явления звучит так:

“Облачный майнинг — это добыча цифровых денег (Биткоина, Эфириума, Лайткоина и других монет этого типа), которая осуществляется при помощи стороннего удаленного оборудования. Обычно пользователь оплачивает его использование и работу, чтобы в дальнейшем оборудование (может находиться в другой стране или континенте) тратило свои вычислительные мощности на майнинг.“

Рейтинг облачного майнинга по надежности

Если попытаться определить рейтинг облачного майнинга по надежности, то он будет не на первом, но далеко и не на последнем месте.

Лучшим вариантом будет использование собственного асик-оборудования или ферм, состоящих из видеокарт (в зависимости от специфики майнинга выбранного криптопроекта).

Не самым удачным вариантом окажется применения добычи на собственном ПК или ноутбуке, каким бы мощным и современным он не был. Очень затратная и провоцирующая износ добыча может быстро убить дорогое устройство, настроенное далеко не под такие нагрузки.

Облачный майнинг будет где-то посредине между этими двумя вариантами. Он будет приносить гораздо меньшую, но пассивную прибыль (в отличие от первого варианта) и позволит уберечь собственные устройства, так как вообще не будет задействовать их в добыче. А контроль будет доступен даже с телефона.

Виды облачного майнинга

Сейчас успешно функционируют и популяризируются такие виды облачного майнинга:

1. Хостинг — арендная покупка оборудования, установленного удаленным поставщиком.
2. Виртуальный хостинг — аренда виртуального сервера с дальнейшим использованием его для установки своего индивидуально настроенного ПО, нацеленного на майнинг какой-то монеты.
3. Аренда мощностей — аренда вычислительных мощностей, которая исключает доступ к выделенному физическому или виртуальному серверу.

В зависимости от этих вариантов, каждый отдельный сервис для данного вида добычи, предлагает уникальные тарифные планы. Важно заранее ориентироваться в том, что именно вы получите после оплаты.

Как выбрать облачный майнинг

В вопросе о том, как выбрать облачный майнинг, нужно отталкиваться от собственных познаний в криптовалютной сфере.

Если они минимальны, подойдут проекты с самым распространенным вариантом — арендой мощностей. Сервисы этого типа предлагают оплатить подписку с облачным майнингом на заранее определенное время с более-менее четкими цифрами будущей прибыли.

Если же знаний чуть больше, вашим вариантом будет аренда хостинга или виртуального хостинга.

Доходность облачного майнинга

Потенциальная доходность облачного майнинга значительно уступает классической добыче, которой занимаются профессионалы сферы. Тем не менее при мало-мальском росте рынка, вложения в этот вид добычи могут отбиться уже через 4-6 месяцев.

А годовой потенциальный доход нередко составляет от 200% до 400% от вложенной изначально суммы. Так что, это вполне неплохо, учитывая легкость добычи и ее особенность, позволяющую зарабатывать криптовалюту максимально пассивно.

Многие профильные сервисы для облачного майнинга имеют на своих сайтах онлайн-калькулятор прибыли. С его помощью можно понять, на что можно рассчитывать, просто выбрав тариф и срок оплаты.

Риски

Как и любая другая сфера заработка на инвестициях, свои риски имеет и облачный майнинг:

1. Можно случайно нарваться на мошеннический проект.
2. Вложения чаще всего требуют обычных денег, а прибыль будет криптовалютной. При этом, цифровые деньги могут упасть в цене абсолютно неожиданно.
3. Платформы облачного майнинга подвержены хакерским атакам.
4. Сложность майнинга постоянно растет, а возможности облачных площадок обновляются значительно медленнее (значит, в перспективе, вы можете зарабатывать все меньше и меньше, если оценивать прибыль именно в объемах криптовалюты).
5. Некоторые непрофильные облачные сервисы запрещают инициировать майнинг. В случае, если такую активность с вашей стороны заметят, можно нарваться на большие проблемы.

Преимущества и недостатки

Преимущества и недостатки — неотъемлемая часть любого бизнеса. Отталкиваясь от всех озвученных выше характеристик и свойств облачного майнинга, криптоинвестор получает следующие плюсы:

• над его задачами работает новая и качественная техника;
• устройства регулярно обновляются работниками облачного сервиса;
• слежение за их надежной и бесперебойной работой также остается задачей посторонних;
• деньги уходят только ежемесячную подписку и не требуется никаких дополнительных затрат;
• нет никаких затрат на электроэнергию;
• нет проблем с выделением площади под ферму;
• майнинг становится полностью пассивным и предельно легким.

Но есть и минусы облачного майнинга, среди которых:

• большое засилье мошенников;
• некоторые облачные сервисы запрещают майнинг в условиях пользовательского соглашения;
• многие облачные сервисы не дадут сверхдохода из-за специфики своей работы и ограниченности выделяемой мощности.

Google Cloud майнинг

У международного интернет-гиганта есть собственная облачная платформа, которую некоторые умельцы научились использовать для Google Cloud майнинга. Делать это запрещено пользовательским соглашением. Тем не менее, даже в описании проекта указано, что он отлично подходит для:

• облачных вычислений;
• хранения данных;
• анализа данных;
• машинного обучения;
• прочих затратных для компьютерного железа функций.

Важно отметить, что в 2019-ом году по одному из пользователей из Сингапура было инициировано уголовное дело за кражу вычислительных мощностей для майнинга в сервисе Google. Деятельность осуществляется на свой страх и риск.

Настройка потребует понимания сферы майнинга, но для получения полноценного аккаунта нужно всего лишь:

1. Перейти на официальный сайт Cloud Google Com.
2. Выбрать “Try it for free” / “Попробовать бесплатно”.
3. В окне входа лучше использовать новый аккаунт, чтобы не подвергать рискам основной.
4. Согласиться с правилами использования.
5. Указать данные физического лица и реальной банковской карты для будущих оплат (первая будет через месяц, если не отменить).
6. Перейти в панель управления облачной платформы, где есть возможность создать новый проект (Google позволяет запустить до 5 проектов, которые по мощности будут соответствовать примерно 3-4 k H/s производительности).

Далее нужны будут профильные знания в области запуска майнинг-оборудования для той или иной криптовалюты. Но, в целом, ничего сверхсложного, кроме необходимости как-то маскировать свою активность от алгоритмов, которые фиксируют майнинг.

Источник