2013年4月6日土曜日

調査ジャーナリストの国際コンソーシアムは、情報の260ギガバイト情報の意味を解析した方法

the Guardian

Offshore secrets


http://www.guardian.co.uk/uk/2013/apr/04/offshore-secrets-data-emails-icij


調査ジャーナリストの国際コンソーシアムは、情報の260ギガバイト情報の意味を解析した方法

Offshore secrets: unravelling a complex package of data
How the International Consortium of Investigative Journalists made sense of the 260 gigabytes of information
Share226


inShare.6
Email

Duncan Campbell
The Guardian, Thursday 4 April 2013

The British Virgin Islands, location of many of the offshore accounts. Photograph: Massimo Borchi/Corbis

The ICIJ's exploration of offshore secrets began when a computer hard drive packed with corporate data arrived in the post. Gerard Ryle, ICIJ's director, obtained the small black box as a result of his three-year investigation of Australia's Firepower scandal, a case involving offshore havens and corporate fraud.
The hard drive contained more than 260 gigabytes, the equivalent of half a million books. Its files included 2m emails, four large databases. There were details of more than 122,000 offshore companies or trusts, and nearly 12,000 intermediaries (agents or "introducers").
Unlike the smaller cache of US cables and war logs passed in 2010 to WikiLeaks, the offshore data was not structured or clean, but an unsorted collation of internal memos and instructions, official documents, emails, large and small databases and spreadsheets, scanned passports and accounting ledgers.
Analysing the immense quantity of information required "free text retrieval" software, which can work with huge volumes of unsorted data. Such high-end systems have been sold for more than a decade to intelligence agencies, law firms and commercial corporations. Journalism is just catching up.
The named people who administered offshore companies included shareholders, directors, secretaries, lawyers, accountants, nominees and trustees. But many of such structures were simply legal devices designed to conceal. The real beneficial owners proved often to be the so-called "settlors" or "protectors" of offshore trusts, and those holding legal powers of attorney which enable them to exert secret control over the bank accounts.
China, Hong Kong, Taiwan, the Russian Federation and former Soviet republics appeared to provide the majority of secret offshore owners. The British Virgin Islands are the second-largest source of capital investment in China – on paper at least. Cyprus, an offshore island currently in financial crisis as a result, is also identified in the data as a huge source of Russian investment.
ICIJ's collaborating journalists from 46 countries constituted one of the largest groups ever to have worked together on a data project.
Interestingly, the team's attempts to use encrypted email systems such as PGP ("Pretty Good Privacy") were abandoned because of complexity and unreliability that slowed them down.
Meanwhile, computer programmers in Germany, the UK and Costa Rica also designed sophisticated data mining and cleaning software for ICIJ. Manual analysis in New Zealand proved crucial in early decisions on what countries ICIJ needed reporters.
ICIJ's own search system – named Interdata – was developed by a British programmer as dozens of new journalists joined the expanding project. Interdata allowed them to download copies of those of the 2.5m offshore documents relevant to their countries.
ICIJ rebuilt some of the databases in an effort to run them in their original format. There were surprises. The databases were formatted to record who really lay behind each entity, as required by international regulations on money laundering and "due diligence". Journalists hoped the truth was just a click away.
In fact, entries for "beneficial owners" were often empty. The offshore agencies had frequently passed off their supposed legal responsibility to intermediaries in other countries. The lesson was that the empty fields were not an accident; it was the design.
Only occasionally would an alert screen pop up, giving contact details for the persons who really owned the assets. ICIJ's fundamental lesson therefore had to be patience and perseverance.
But persistently following leads through incomplete data yielded some great rewards: not just occasional and unexpected top names, but also the inside details of many nuanced and complex schemes for hiding wealth.
• Duncan Campbell was the data journalism manager for the ICIJ project

\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\



Secretos marinas: desentrañar un complejo paquete de datos

Cómo el Consorcio Internacional de Periodistas de Investigación sentido de los 260 gigabytes de información
Share226




inShare.6
Email


Duncan Campbell

The Guardian, el jueves 04 de abril 2013


Las Islas Vírgenes Británicas, la ubicación de muchas de las cuentas en el extranjero. Fotografía: Massimo Borchi / Corbis

La exploración de los secretos de ICIJ en alta mar comenzó cuando un disco duro lleno de datos corporativos llegó en el puesto. Gerard Ryle, director ICIJ, obtuvo el cuadro negro pequeño como resultado de su investigación de tres años de escándalo potencia de fuego de Australia, un caso que involucra a los paraísos fiscales y el fraude corporativo.
El disco duro contiene más de 260 gigabytes, el equivalente a medio millón de libros. Sus archivos incluidos 2 millones de emails, cuatro bases de datos de gran tamaño. No hubo detalles de más de 122.000 empresas extranjeras o fideicomisos, y cerca de 12.000 agentes o intermediarios ("introductores").
A diferencia de la caché más pequeño de los cables de los Estados Unidos y la guerra registra aprobada en 2010 a WikiLeaks, los datos en alta mar no estaba estructurado o limpia, pero sin ordenar una intercalación de notas e instrucciones internas, documentos oficiales, correos electrónicos, bases de datos grandes y pequeñas y hojas de cálculo, pasaportes escaneados y libros de contabilidad.
El análisis de la inmensa cantidad de información requerida "recuperación de texto libre" de software, que puede trabajar con grandes volúmenes de datos sin ordenar. Tales sistemas de gama alta se han vendido por más de una década para las agencias de inteligencia, bufetes de abogados y empresas comerciales. El periodismo es sólo ponerse al día.
Las personas nombradas que administraban las empresas extranjeras incluidos los accionistas, directores, secretarios, abogados, contadores, nominados y síndicos. Pero muchas de estas estructuras eran simples dispositivos legales destinadas a ocultar. Los propietarios beneficiarios reales demostrado a menudo ser los llamados "componedores" o "protectores" de los fideicomisos offshore, y los titulares de los poderes legales de representación que les permitan ejercer un control secreto sobre las cuentas bancarias.
China, Hong Kong, Taiwán, Rusia y las ex repúblicas soviéticas parecían proporcionar la mayoría de los propietarios de secretos extraterritoriales. Las Islas Vírgenes Británicas son la segunda mayor fuente de inversión de capital en China - al menos en teoría. Chipre, una isla en alta mar en crisis financiera como consecuencia de ello, también se identifica en los datos como una enorme fuente de inversión de Rusia.
Periodistas que colaboran ICIJ de 46 países constituyeron uno de los grupos más grandes que jamás haya trabajado juntos en un proyecto de datos.
Curiosamente, los intentos del equipo a utilizar sistemas de cifrado de correo electrónico como PGP ("Pretty Good Privacy") fueron abandonados debido a la complejidad y la falta de fiabilidad que les ralentizado.
Mientras tanto, los programadores de computadoras en Alemania, Reino Unido y Costa Rica también diseñó la minería de datos y sofisticado software de limpieza para ICIJ. El análisis manual en Nueva Zelanda fue crucial en las decisiones iniciales sobre lo que los países necesitan ICIJ periodistas.
Sistema de búsqueda propio ICIJ - llamado Interdata - fue desarrollado por un programador británico como decenas de nuevos periodistas se unieron al proyecto en expansión. Interdata les permitió descargar copias de los documentos de los 2,5 millones de marinos de interés para sus países.
ICIJ reconstruido algunas de las bases de datos en un esfuerzo por funcionar en su formato original. No hubo sorpresas. Las bases de datos fueron formateados para registrar quién realmente había detrás de cada entidad, según lo requerido por las normas internacionales en materia de lavado de dinero y la "diligencia debida". Los periodistas esperaban que la verdad era sólo un clic de distancia.
De hecho, las entradas de "beneficiarios" eran a menudo vacío. Los organismos marinos habían pasado con frecuencia de su supuesta responsabilidad legal a los intermediarios de otros países. La lección era que los campos vacíos no fue un accidente, sino que era el diseño.
Sólo de vez en cuando haría una pantalla emergente de alerta hacia arriba, con datos de contacto para las personas que realmente propiedad de los activos. Lección fundamental ICIJ por lo tanto tenía que ser la paciencia y la perseverancia.
Pero persistentemente a través de los siguientes cables de datos incompletos dado algunos grandes recompensas: los nombres de arriba no sólo ocasional e inesperada, sino también los detalles en el interior de muchos esquemas matizadas y complejas para ocultar la riqueza.
• Duncan Campbell era el gerente periodismo de datos para el proyecto ICIJ

 
 
オフショアの秘密解明データの複雑なパッケージ

調査ジャーナリスト国際コンソーシアムは、情報の260ギガバイト意味を成していた方法
Share226




inShare.6
メール


ダンカン·キャンベル

ガーディアン木曜日2013年4月4日
英領ヴァージン諸島、オフショア勘定の多くの場所。写真:マッシモBorchi /コービス

企業データが詰め込まコンピュータのハードドライブがポストに到着したときオフショア秘密のICIJの探査が始まった。ジェラール·ライル、ICIJのディレクターは、オーストラリアの火力スキャンダル、オフショアタックスヘイブンと企業の不正行為を伴う例彼の3年間の調査の結果、小さなブラックボックスを取得しました。
ハードディスクは260ギガバイトを超え、50万冊に相当するものを含んでいた。そのファイルには、2メートルのメール、4大規模なデータベースが含まれていた。以上122000オフショア会社または信託、ほぼ12000仲介者(エージェントまたは "紹介者")の詳細がありました。
米国のケーブルと戦争の小さいキャッシュは2010年にウィキリークスに渡されたログとは異なり、沖合のデータは、構造化されたか、クリーンではなかったが、内部メモや指示、公的文書、電子メール、大小さまざまなデータベースやスプレッドシートのソートされていない照合、スキャンしたパスポートや会計元帳。
ソートされていない大量のデータを扱うことができ、 "フリーテキスト検索"ソフトウェアを、必要な情報の巨大な量を分析する。このようなハイエンドシステムは、諜報機関、法律事務所、商業企業に10年以上前から販売されている。ジャーナリズムは、ちょうど追い上げている。
オフショア会社を投与という人は、株主、取締役、秘書、弁護士、会計士、候補者と受託者が含まれていた。しかし、このような構造の多くは、単に隠すために設計された法律上のデバイスでした。本当の実質所有者は彼らの銀行口座を通じて、秘密のコントロールを発揮できるようにする、いわゆる "受託者"あるいはオフショア信託の "プロテクター"と、弁護士のそれらの保持法的権限であることは、多くの場合が判明した。
中国、香港、台湾、ロシア、旧ソ連諸国では、秘密の沖合所有者の大半を提供するために登場しました。少なくとも紙の上で - 英領バージン諸島は、中国での設備投資の二番目に大きい源である。キプロス、結果として金融危機で現在バーミアンも、ロシアの投資の巨大なソースとしてデータで識別されます。
46カ国からICIJのコラボレーションジャーナリストはデータプロジェクトで一緒に働いていた史上最大規模のグループのいずれかを構成した。
興味深いことに、そのようなPGP( "プリティ·グッド·プライバシ")などの暗号化された電子メールシステムを使用するためにチームの試みがあるため、それらをスローダウンし、複雑さと信頼性の低さから断念した。
一方、ドイツ、イギリス、コスタリカのコンピュータープログラマーでも洗練されたデータマイニングやICIJ用のクリーニングソフトウェアを設計しました。ニュージーランドでの手動解析はICIJは記者を必要としたもの国の早期決定に決定的な証明された。
ICIJ独自の検索システム - Interdata名前 - 新しいジャーナリストの数十が拡大プロジェクトに参加しましたように英国のプログラマーによって開発されました。 Interdataは、彼らの国に関連した2.5メートル沖合の文書とのコピーをダウンロードすることができました。
ICIJは、元の形式でそれらを実行するための努力で一部のデータベースを再構築しました。驚きがありました。データベースは、マネーロンダリングや "デューデリジェンス"に関する国際的な規制の必要に応じて実際には、各エンティティの背後に横たわっていた誰が記録するように記述されていました。ジャーナリストは真実が離れてクリックするだけでした期待していた。
実際には、 "受益者"のエントリは、しばしば空でした。オフショア機関は頻繁に他の国の仲介者になって彼らの法的責任を切り過ぎていた。レッスンでは、空のフィールドは事故ではないということでした、それは設計であった。
たまにしかアラート画面は本当に資産を所有していた人のための連絡先の詳細を与えて、ポップアップ表示されます。 ICIJの基本的なレッスンは、したがって、忍耐と粘り強さでなければなりませんでした。
ただ時折、予期していない上の名前だけでなく、富を隠すための多くの微妙で複雑なスキームの内部の詳細:しかし、不完全なデータを介して永続的に次のリードは、いくつかの偉大な報酬が得られた。
•ダンカン·キャンベルがICIJプロジェクトのデータジャーナリズムマネージャーを務めていました

0 件のコメント:

コメントを投稿