https://blog.wssh.dev/tags/data/ Recent content in Data on Wong's Blog Hugo -- 0.146.6 en-us Wed, 01 Mar 2023 23:47:33 +0000 https://blog.wssh.dev/posts/python-pandas-million/ Wed, 01 Mar 2023 23:47:33 +0000 https://blog.wssh.dev/posts/python-pandas-million/ <blockquote> <p>声明，本文译自 <a href="https://datapythonista.me/blog/pandas-with-hundreds-of-millions-of-rows">pandas with hundreds of millions of rows</a>。 如果您的英语水平较好，可以阅读原文。为了译文更加流畅，译者补充了部分内容。</p></blockquote> <h2 id="问题">问题</h2> <p>我们希望获得国内航班平均延误最长的 5 个美国机场。</p> https://blog.wssh.dev/posts/eth-graph/ Wed, 22 Feb 2023 23:47:33 +0000 https://blog.wssh.dev/posts/eth-graph/ <h2 id="概述">概述</h2> <p>在之前的两篇文章中，我们讨论了对以太坊常规数据的导入和分析。文章链接如下:</p> <ol> <li><a href="https://blog.wssh.trade/posts/clickhouse-with-blockchain/">Clickhouse 以太坊分析:基础交易数据清洗</a></li> <li><a href="https://blog.wssh.trade/posts/clickhouse-eth-logs/">Clickhouse 以太坊分析:交易日志分析</a></li> </ol> <blockquote> <p>如果您未阅读过以上文章并不影响您继续阅读本篇文章，本文内所有数据集均提供下载链接。</p> https://blog.wssh.dev/posts/clickhouse-eth-logs/ Wed, 08 Feb 2023 13:47:33 +0000 https://blog.wssh.dev/posts/clickhouse-eth-logs/ <h2 id="概述">概述</h2> <p>在<a href="https://blog.wssh.dev/posts/clickhouse-with-blockchain/">上一篇</a>中，我们介绍了如何使用 <code>Clickhouse</code> 进行基础的信息提取，这些信息往往依赖于以太坊底层机制，我们只能获得如 ETH 转账、 gas 等信息，这些信息并没有涵盖以太坊中最重要的智能合约的相关数据。这使我们无法获得 ERC-20 代币转账或 NFT 转移等数据。</p> https://blog.wssh.dev/posts/clickhouse-with-blockchain/ Sat, 21 Jan 2023 11:47:33 +0000 https://blog.wssh.dev/posts/clickhouse-with-blockchain/ <h2 id="概述">概述</h2> <p>笔者最近遇到了许多关于数据分析的文章，大部分都使用了 <a href="https://dune.com/browse/dashboards">Dune</a> 等 <code>SaaS</code> 工具，这些工具往往提供了清洗后的区块链数据和数据库分析工具。对于大部分数据分析师而言，这些工具可以应对一系列复杂的数据分析问题，而且免去了搭建数据处理平台的苦恼。</p> https://blog.wssh.dev/posts/on-chain-data-basement/ Tue, 06 Dec 2022 19:47:33 +0000 https://blog.wssh.dev/posts/on-chain-data-basement/ <h2 id="概述">概述</h2> <p>本文主要介绍如何通过免费且高效的的基于GraphQL的<a href="https://basement.dev/">basement</a>进行部分链上数据分析实战。本文不要求读者具有<code>GraphQL</code>相关经验，但要求读者会使用<code>Python</code>中的<code>Pandas</code>库，这是本文主要使用的数据分析工具。换言之，本文适用于了解数据分析而不了解链上数据获取的读者。本文会涵盖以下内容:</p> <ol> <li><code>GraphQL</code>检索数据基础入门</li> <li><code>Basement</code>的基础API实战</li> </ol> <p>在阅读本文前，读者最好安装一个支持<code>GraphQL</code>请求方法的API调试工具，在此处，我个人使用的是<a href="https://www.postman.com/">Postman</a>软件，但读者选择其他软件亦可。本文使用了新兴 Web3 链上数据API提供商<a href="https://basement.dev/">basement</a>，此处我们使用的是免费版，无需 API Key 等配置，具体限制参考下图:</p> https://blog.wssh.dev/posts/crypto-derivatives-data/ Thu, 17 Nov 2022 11:47:33 +0000 https://blog.wssh.dev/posts/crypto-derivatives-data/ <h2 id="概述">概述</h2> <p>最近笔者在写一篇关于加密货币方面的金融小论文，由于在写作过程中涉及到了部分加密货币衍生品，如期货、期权等，所以笔者研究了加密货币衍生品的交易数据获取。本文主要涉及以下衍生品的数据获取:</p>