Том өгөгдлийг хэн, яагаад цуглуулдаг вэ?

2019 оны намар Apple Card үйлчилгээтэй холбоотой дуулиан дэгдэв: бүртгүүлэхдээ эрэгтэй, эмэгтэй хүмүүст өөр өөр зээлийн хязгаар гаргажээ. Стив Возняк хүртэл азгүй байсан:

Жилийн өмнө Netflix платформ нь хэрэглэгчдийн хүйс, нас, үндэстнээс хамааран өөр өөр постер, тизерүүдийг үзүүлдэг болох нь тогтоогдсон. Үүний төлөө тус үйлчилгээг арьс өнгөөр ​​ялгаварлан гадуурхсан гэж буруутгасан.

Эцэст нь Марк Зукерберг хэрэглэгчдийнхээ мэдээллийг Фэйсбүүкээр цуглуулж, зарж, өөрчилсөн хэргээр байнга зэмлүүлдэг. Олон жилийн турш түүнийг Америкийн сонгуулийн үеэр хууль бусаар ашигласан, Оросын тусгай албадад тусалсан, үзэн ядалт, радикал үзлийг өдөөсөн, зохисгүй сурталчилгаа явуулсан, хэрэглэгчийн мэдээллийг задруулсан, педофилуудын эсрэг мөрдөн байцаалтад саад учруулсан хэргээр буруутгаж, бүр шүүгдэж байсан.

Зукийн Facebook-ийн нийтлэл

Үүний зэрэгцээ Pornhub онлайн үйлчилгээ жил бүр өөр өөр үндэстэн, хүйс, насны хүмүүс ямар порно кино хайж байгаа тухай тайланг нийтэлдэг. Мөн зарим шалтгааны улмаас энэ нь хэнд ч санаа зовдоггүй. Хэдийгээр эдгээр бүх түүхүүд ижил төстэй байдаг: бид XNUMX-р зуунд "шинэ тос" гэж нэрлэгддэг том өгөгдөлтэй харьцдаг.

Том өгөгдөл гэж юу вэ

Big data - тэдгээр нь бас том өгөгдөл (eng. Big Data) эсвэл мета өгөгдөл - тогтмол бөгөөд их хэмжээгээр ирдэг өгөгдлийн массив юм. Тэдгээрийг цуглуулж, боловсруулж, дүн шинжилгээ хийснээр тодорхой загвар, хэв маяг гарч ирдэг.

Үүний тод жишээ бол том адрон коллайдерын өгөгдөл бөгөөд тасралтгүй, их хэмжээгээр ирдэг. Тэдний тусламжтайгаар эрдэмтэд олон асуудлыг шийддэг.

Гэхдээ вэб дээрх том өгөгдөл нь зөвхөн шинжлэх ухааны судалгааны статистик биш юм. Тэдгээрийг өөр өөр бүлэг, үндэстний хэрэглэгчид хэрхэн биеэ авч явах, юунд анхаарлаа хандуулж, контенттой хэрхэн харьцаж байгааг хянахад ашиглаж болно. Заримдаа үүний тулд өгөгдлийг нэг эх сурвалжаас бус хэд хэдэн эх сурвалжаас цуглуулж, тодорхой хэв маягийг харьцуулж, тодорхойлдог.

Сүлжээнд том өгөгдөл хэр чухал болохыг тэд үнэхээр их байх үед ярьж эхэлсэн. 2020 оны эхээр дэлхий дээр 4,5 тэрбум интернет хэрэглэгч байсны 3,8 тэрбум нь нийгмийн сүлжээнд бүртгэлтэй байжээ.

Том өгөгдөлд хэн хандах боломжтой

Судалгаанаас харахад манай улсын талаас илүү хувь нь сүлжээн дэх мэдээллээ гуравдагч этгээд ашигладаг гэж үздэг. Үүний зэрэгцээ олон хүн хувийн мэдээлэл, зураг, тэр ч байтугай утасны дугаараа нийгмийн сүлжээ, программ дээр байршуулдаг.

Том өгөгдлийг хэн, яагаад цуглуулдаг вэ?
Том өгөгдлийг хэн, яагаад цуглуулдаг вэ?
Том өгөгдлийг хэн, яагаад цуглуулдаг вэ?
Том өгөгдлийг хэн, яагаад цуглуулдаг вэ?

Үүнийг энд тайлбарлах хэрэгтэй: эхний хүн бол хэрэглэгч өөрөө юм, энэ нь өөрийн өгөгдлийг аливаа нөөц эсвэл програм дээр байрлуулдаг. Үүний зэрэгцээ тэрээр энэ өгөгдлийг боловсруулахыг зөвшөөрч (гэрээнд тэмдэг тавьдаг). хоёрдогч этгээд - өөрөөр хэлбэл нөөцийн эзэд. Гуравдагч этгээд нь нөөцийн эзэмшигчид хэрэглэгчийн мэдээллийг шилжүүлэх эсвэл зарах боломжтой хүмүүс юм. Ихэнхдээ энэ нь хэрэглэгчийн гэрээнд бичигдсэн байдаг, гэхдээ үргэлж биш.

Гуравдагч тал нь засгийн газрын агентлагууд, хакерууд эсвэл арилжааны зорилгоор өгөгдөл худалдаж авдаг компаниуд юм. Эхнийх нь шүүх эсвэл дээд байгууллагын шийдвэрээр мэдээлэл авах боломжтой. Хакерууд мэдээжийн хэрэг ямар ч зөвшөөрөл ашигладаггүй - тэд зүгээр л сервер дээр хадгалагдсан мэдээллийн санг эвддэг. Компаниуд (хуулийн дагуу) гэрээнд заасан нүдийг чагталснаар мэдээлэлд хандах боломжтой. Тэгэхгүй бол хууль бус.

Яагаад компаниуд Big Data ашигладаг вэ?

Арилжааны салбарт том өгөгдөл нь хэдэн арван жилийн турш ашиглагдаж ирсэн боловч одоогийнх шиг эрчимтэй биш байсан. Эдгээр нь жишээлбэл, хяналтын камерын бичлэг, GPS навигаторын өгөгдөл эсвэл онлайн төлбөр юм. Одоо нийгмийн сүлжээ, онлайн үйлчилгээ, хэрэглээний программуудыг хөгжүүлснээр энэ бүхэн холбогдож, боломжит үйлчлүүлэгчид хаана амьдардаг, тэд юу үзэх дуртай, амралтаараа хаашаа явж байгаа, ямар маркийн машинтай болох зэрэг хамгийн бүрэн дүр зургийг авах боломжтой.

Дээрх жишээнүүдээс харахад том өгөгдлийн тусламжтайгаар компаниуд юуны түрүүнд зар сурталчилгааг чиглүүлэхийг хүсдэг нь тодорхой байна. Өөрөөр хэлбэл, бүтээгдэхүүн, үйлчилгээ эсвэл хувь хүний ​​сонголтыг зөвхөн зөв үзэгчдэд санал болгох, тэр ч байтугай тодорхой хэрэглэгчдэд зориулж бүтээгдэхүүнийг өөрчлөх. Түүнчлэн Facebook болон бусад томоохон платформ дээр зар сурталчилгаа явуулах нь илүү үнэтэй болж, хүн бүрт дараалан харуулах нь огт ашиггүй юм.

Нээлттэй эх сурвалжаас боломжит үйлчлүүлэгчдийн талаарх мэдээллийг даатгалын компаниуд, хувийн эмнэлэг, ажил олгогчид идэвхтэй ашигладаг. Жишээлбэл, эхнийх нь таныг тодорхой өвчин, эмийн талаар мэдээлэл хайж байгааг олж харвал даатгалын нөхцөлийг өөрчлөх боломжтой бөгөөд ажил олгогчид таныг зөрчилдөөн, нийгмийн эсрэг зан үйлд өртөмтгий эсэхийг үнэлэх боломжтой.

Гэхдээ сүүлийн жилүүдэд хэцүү байгаа өөр нэг чухал ажил бий: хамгийн төлбөрийн чадвартай үзэгчдэд ойртох. Хэдийгээр нэг OFD (санхүүгийн мэдээллийн оператор) дамжуулан төлбөрийн үйлчилгээ, цахим чек нь даалгаврыг ихээхэн хөнгөвчлөх боловч үүнийг хийхэд тийм ч хялбар биш юм. Аль болох ойртохын тулд компаниуд боломжит худалдан авагчдыг бага наснаасаа хайж олохыг хичээдэг.: онлайн тоглоом, интерактив тоглоом, боловсролын үйлчилгээгээр дамжуулан.

Энэ яаж ажилдаг вэ?

Мэдээлэл цуглуулах хамгийн том боломж бол нэг дор хэд хэдэн үйлчилгээг эзэмшдэг дэлхийн корпорациуд юм. Facebook одоо 2,5 тэрбум гаруй идэвхтэй хэрэглэгчтэй. Үүний зэрэгцээ тус компани бусад үйлчилгээг эзэмшдэг: Instagram - 1 тэрбум гаруй, WhatsApp - 2 тэрбум гаруй болон бусад.

Гэхдээ Google илүү их нөлөөтэй: Gmail-ийг дэлхийн 1,5 тэрбум хүн, өөр 2,5 тэрбумыг Android гар утасны үйлдлийн систем, 2 тэрбум гаруй хүн YouTube ашигладаг. Энэ нь Google хайлт, Google Maps програм, Google Play дэлгүүр, Chrome хөтөчийг тооцохгүй. Энэ нь таны онлайн банкийг бэхжүүлэхэд л үлддэг - Google таны тухай бүх зүйлийг шууд утгаар нь мэдэх боломжтой болно. Дашрамд хэлэхэд, Yandex энэ тал дээр аль хэдийн нэг алхам урагшилсан боловч зөвхөн орос хэлээр ярьдаг үзэгчдийг хамардаг.



???? Юуны өмнө компаниуд бидний нийгмийн сүлжээнд юу нийтэлж, юунд дуртайг сонирхдог. Жишээлбэл, хэрэв банк таныг гэрлэсэн бөгөөд Instagram эсвэл Tinder дээр охидод идэвхтэй дуртай гэж үзвэл та хэрэглээний зээлийг зөвшөөрөх магадлал өндөр байна. Мөн гэр бүлийн барьцааны зээл байхгүй болсон.

Мөн та ямар зар дээр дарж, хэр олон удаа, ямар үр дүнд хүрэх нь чухал юм.

(Тийм ээ Дараагийн алхам бол хувийн мессежүүд: тэдгээр нь илүү их мэдээллийг агуулдаг. Мессежүүд ВКонтакте, Facebook, WhatsApp болон бусад мессенжерүүдээр цацагдсан. Тэдний хэлснээр, дашрамд хэлэхэд, мессеж илгээх үед газарзүйн байршлыг хянах нь хялбар байдаг. Та анзаарсан байх: ямар нэг зүйл худалдаж авах эсвэл хэн нэгэнтэй зүгээр л пицца захиалах талаар ярилцах үед холбогдох зар сурталчилгаа шууд л тэжээл дээр гарч ирдэг.

🚕 Биг дата идэвхтэй ашиглагдаж, хүргэлт, такси үйлчилгээнд "алдагдаж" байна. Тэд таны хаана ажиллаж, амьдардаг, юунд дуртай, ойролцоогоор хэдэн орлоготой болохыг мэддэг. Жишээлбэл, хэрэв та баарнаас гэр лүүгээ жолоодож, хэтрүүлсэн бол Uber үнийг өндөр харуулдаг. Таны утсан дээр өөр олон тооны агрегаторууд байгаа бол эсрэгээр тэд илүү хямдыг санал болгоно.

(Тийм ээ Аль болох их мэдээлэл цуглуулахын тулд зураг, видео ашигладаг үйлчилгээнүүд байдаг. Жишээлбэл, компьютерийн харааны сангууд - Google-д байдаг. Тэд таныг болон хүрээлэн буй орчноо тань ямар хэмжээтэй, өндөртэй, ямар брэндийн хувцас өмсдөг, ямар машин унаж байгаа, хүүхэд, тэжээвэр амьтантай эсэх зэргийг хардаг.

(Тийм ээ Банк руу шуудан илгээхдээ SMS гарц өгдөг хүмүүс таны худалдан авалтыг картаар хянах боломжтой - сүүлийн 4 орон болон утасны дугаарыг мэдэж, дараа нь энэ өгөгдлийг өөр хүнд зарах. Тиймээс хямдрал, пицца бэлэглэсэн энэ бүх спам.

🤷️️ Эцэст нь бид өөрсдийн мэдээллээ зүүн талын үйлчилгээ, программ руу дамжуулдаг. Бусад хүмүүс хэрхэн бичсэнийг мэдэхийн тулд хүн бүр утасны дугаараа бөглөхдөө баяртай байсан Getcontact-ийн эргэн тойронд шуугиан тарьж байсныг санаарай. Одоо тэдний тохиролцоог олж, таны өгөгдлийг шилжүүлэх талаар юу бичсэнийг уншина уу (спойлер: эзэмшигчид өөрсдийн үзэмжээр гуравдагч этгээдэд шилжүүлж болно):

Том өгөгдлийг хэн, яагаад цуглуулдаг вэ?

Корпорацууд хэрэглэгчийн мэдээллийг олон жилийн турш амжилттай цуглуулж, зарж борлуулах боломжтой бөгөөд энэ нь ижил Facebook-т тохиолдсон шиг шүүхэд шилждэг. Дараа нь компани нь GDPR-ийг зөрчсөн нь шийдвэрлэх үүрэг гүйцэтгэсэн - ЕХ-ны хууль нь Америкийнхаас хамаагүй илүү мэдээлэл ашиглахыг хязгаарладаг. Саяхны өөр нэг жишээ бол Avast вирусны эсрэг дуулиан юм: тус компанийн охин үйлчилгээний нэг нь 100-400 сая хэрэглэгчийн мэдээллийг цуглуулж, борлуулсан.

Гэхдээ энэ бүхэн бидэнд давуу талтай юу?

Том өгөгдөл бидэнд хэрхэн тусалдаг вэ?

Тийм ээ, гэрэл гэгээтэй тал бас бий.

Том өгөгдөл нь гэмт хэрэгтнүүдийг барьж, террорист халдлагаас урьдчилан сэргийлэх, алга болсон хүүхдүүдийг олж, аюулаас хамгаалахад тусалдаг.

Тэдний тусламжтайгаар бид Бид банкуудаас гайхалтай саналууд болон хувийн хөнгөлөлтүүдийг хүлээн авдаг. Тэдний ачаар бид Бид зөвхөн зар сурталчилгаанаас орлого олдог олон үйлчилгээ, нийгмийн сүлжээнд төлбөр төлдөггүй. Тэгэхгүй бол зөвхөн Инстаграм бидэнд сард хэдэн мянган долларын зардал гарах байсан.

Фэйсбүүк л гэхэд 2,4 тэрбум идэвхтэй хэрэглэгчтэй. Үүний зэрэгцээ тэдний 2019 оны ашиг 18,5 тэрбум доллар болжээ. Энэ компани нь хэрэглэгч бүрээс зар сурталчилгаагаар дамжуулан жилд 7,7 доллар хүртэл орлого олдог нь харагдаж байна.

Эцэст нь хэлэхэд, заримдаа энэ нь зүгээр л тохиромжтой байдаг: үйлчилгээнүүд таныг хаана байгааг, юу хүсч байгаагаа аль хэдийн мэддэг болсон үед та өөрт хэрэгтэй мэдээллээ өөрөө хайх шаардлагагүй болно.

Том өгөгдлийг ашиглах өөр нэг ирээдүйтэй салбар бол боловсрол юм.

Виржиниа дахь Америкийн их дээд сургуулиудын нэгэнд эрсдэлт бүлгийн оюутнуудын талаар мэдээлэл цуглуулах судалгаа явуулсан. Муу сурдаг, хичээлээ тасалдаг, завсардах гэж байгаа хүмүүс. Баримт нь мужуудад жил бүр 400 орчим хүн хасагддаг. Энэ нь рейтинг нь буурч, санхүүжилт нь хасагдсан их дээд сургуулиудын хувьд ч, оюутнуудын хувьд ч муу юм: ихэнх нь сургалтын зээл авдаг бөгөөд хасагдсаны дараа ч эргэн төлөх шаардлагатай болно. Алдагдсан цаг хугацаа, карьерын хэтийн төлөвийг дурдахгүй байх. Биг дата мэдээллийн тусламжтайгаар цаг хугацааны хоцрогдолтой хүмүүсийг тодорхойлж, тэдэнд багш, нэмэлт хичээл болон бусад зорилтот туслалцааг санал болгох боломжтой.

Дашрамд хэлэхэд энэ нь сургуулиудад тохиромжтой: дараа нь систем нь багш, эцэг эхчүүдэд мэдэгдэх болно - тэд хүүхэд асуудалтай байна, түүнд хамтдаа тусалцгаая гэж хэлдэг. Том өгөгдөл нь аль сурах бичиг илүү сайн ажилладаг, аль багш материалыг илүү хялбар тайлбарлаж байгааг ойлгоход тусална.

Өөр нэг эерэг жишээ бол карьерын танилцуулга юм.: энэ үед өсвөр насныханд ирээдүйн мэргэжлээ сонгоход нь тусалдаг. Энд том өгөгдөл нь уламжлалт тест ашиглан олж авах боломжгүй мэдээллийг цуглуулах боломжийг олгодог: хэрэглэгч хэрхэн биеэ авч явдаг, юунд анхаарлаа хандуулдаг, контенттой хэрхэн харьцдаг.

АНУ-д ажил мэргэжлийн чиг баримжаа олгох SC ACCELERATE хөтөлбөр байдаг. Энэ нь бусад зүйлсийн дунд CareerChoice GPS технологийг ашигладаг: тэд оюутнуудын мөн чанар, хичээлд хандах хандлага, давуу болон сул талуудын талаархи мэдээлэлд дүн шинжилгээ хийдэг. Өсвөр үеийнхэнд тохирох коллежийг сонгоход нь туслах зорилгоор өгөгдлийг ашигладаг.


Технологи, инноваци, эдийн засаг, боловсрол, хуваалцах нэг сувагт - Yandex.Zen дээр бүртгүүлж, биднийг дагаарай.

хариу үлдээх