[personal profile] gb0
No righteous...Not even one.

https://techcrunch.com/2017/06/19/deep-root-gop-data-leak-upguard/
Терабайт персональных данных избирателей в США валялся в онлайне в почти открытом доступе. Говорят, что ответственная за енто дело конторка – занималась анализом бигдаты по избирателям в интересах республиканской партии США. Не пойму (терабайт данных – это не так и много):

a) Каким боком терабайт – это бигдата
б) нафик их в амазон/public cloud грузить в открытый доступ.

Легко

Date: 2017-06-20 02:12 pm (UTC)
malobukov: (chipmunk)
From: [personal profile] malobukov
Терабайт - это не сами данные, а результат работы моделей. Данные, на основании которых модели были натренированы, скорее всего на пару порядков больше.

Другое дело что обычно такого рода анализ делается на обезличенных данных, как раз по этой причине.

Ну а Амазон тут не при чём, облажаться с правами доступа везде можно.

Re: Легко

Date: 2017-06-20 02:26 pm (UTC)
malobukov: (Default)
From: [personal profile] malobukov
Ну это простая математика. Любая модель по определению является упрощением. То есть у неё на входе больше данных, чем на выходе. Тут же мы видим только идентификацию (имя, адрес) и результаты работы моделей (всякие вероятности).

Входными данными может быть, например, граф социальных сетей или кредитная история, причём эти данные вообще могут быть в другом месте, и даже не в одном месте.

Re: Легко

Date: 2017-06-20 03:50 pm (UTC)
1master: (Default)
From: [personal profile] 1master
Амазон непричем, а если бы не поленились vpc сделать такой фигни не случилось бы.

Re: Легко

Date: 2017-06-20 03:58 pm (UTC)
ymarkov: (Default)
From: [personal profile] ymarkov
От распиздяйства, небось.

Re: Легко

Date: 2017-06-20 07:30 pm (UTC)
1master: (Default)
From: [personal profile] 1master
А где ещё то? Своё натуральное хозяйство разводить, как в прошлом веке? Здания то хоть можно арендовать или только собственные с нуля строить, чтобы не зачморили?

Re: Легко

Date: 2017-06-21 02:05 am (UTC)
1master: (Default)
From: [personal profile] 1master
Затем, что положил на S3, подцепил кластер на триста машин и посчитал бигдату за еще пару часов. Облако это не хостинг и не удаленное хранилище, это развесистая пачка офигенно масштабирующихся сервисов.

Re: Легко

Date: 2017-06-22 01:37 am (UTC)
1master: (Default)
From: [personal profile] 1master
Да всё равно, ну подцепить один-два четырехгоршковых чуда с двумя терабайтами памяти каждый.
Своим есть смысл заморачиваться, когда четырех горшков мало, но там же такой секс начинается, что никакого гамака уже не надо и устаревает оно со скоростью паровоза.
Сценариев, когда аренда не годится на самом деле не так много и основной - это много лет гонять одно и то же. Но в нем проблема в том, что обычно народ промахивается с определением и через два года обнаруживает, что у них в полтора раза больше данных, чем ожидалось и оно ни в память не лезет, ни диск за этим не успевает, а на новый денег дадут не раньше, чем через еще два года.

Re: Легко

Date: 2017-06-22 09:39 am (UTC)
1master: (Default)
From: [personal profile] 1master
Пара современных квад-сокетов с двумя терабайтами как раз близко к паре сотен и обойдется. Я думаю амазон такой пепелац за год отбивает.

И нет, во-первых, s3 это не cdn, во-вторых, знать url недостаточно, по умолчанию все приватное. Т.е. тут кто-то особо умный настройки поменял.

Profile

gb0

October 2017

S M T W T F S
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 192021
22232425262728
293031    

Most Popular Tags

Page Summary

Style Credit

Expand Cut Tags

No cut tags
Page generated Oct. 19th, 2017 09:37 pm
Powered by Dreamwidth Studios