arXiv trend: August 28, 2024

最近のトレンドについて、いくつかの項目に分け、詳しく説明してください。
AIインフラストラクチャと最適化:
最近のトレンドでは、AIインフラストラクチャの改善と最適化が進んでいます。特に、Cerebrasのような企業がウェハースケールチップを使用して、AIの推論速度を大幅に向上させています。これにより、従来のGPUソリューションよりもはるかに高速でコスト効率の良いAIサービスが提供されています。
オープンソースAIモデル:
オープンソースAIモデルの開発が活発に行われており、多くの企業や研究機関が自由にアクセスし、改良することができるモデルが公開されています。例えば、CogVideoX-5Bはテキストからビデオを生成するモデルで、10GB未満のVRAMで動作します。
AI倫理と規制:
AIの倫理と規制に関する議論が加熱しています。特に、AIによるコンテンツ生成が増える中で、その透明性や公正性をどのように保証するかが問題となっています。また、AIの規制を支持することが必ずしもすべての提案された法案を支持することを意味しないという意見もあります。
AIによるアプリケーション開発:
AIを活用したアプリケーション開発が進んでおり、特にモバイルアプリやゲームの開発において、リアルタイムでのインタラクションが可能になっています。AnthropicのArtifactsは、iOSおよびAndroidで利用可能になり、簡単なゲームをリアルタイムで作成できます。
AIトレーニングとファインチューニング:
AIモデルのトレーニングとファインチューニングの技術が進化しており、分散トレーニングや継続的なプリトレーニングが可能になっています。これにより、モデルの学習効率が向上し、より複雑なタスクに対応可能なモデルが開発されています。

The Mamba in the Llama: Distilling and Accelerating Hybrid Models
1. 与えられた論文の目的:
与えられた論文は、主に自然言語処理、特に大規模な言語モデルやトランスフォーマーモデルの効率化、改善、および新しいアーキテクチャの提案に焦点を当てています。これには、モデルの推論速度の向上、長いシーケンスの効率的な処理、知識蒸留、および新しいベンチマークやデータセットの開発が含まれます。
2. 使用されたデータや情報:
多様なデータセットや実験設定が用いられています。例えば、大規模な言語理解タスク、コード理解と実行のためのベンチマーク、効率的なテキスト変換モデルのための長いシーケンスデータ、バイオメディカルリサーチのための質問応答データセットなどがあります。これらは、モデルの性能と汎用性を評価し、特定の課題に対するアプローチの有効性を検証するために使用されています。
3. 新規性および解決された問題:
新規性としては、トランスフォーマーモデルの計算効率を向上させるための新しい手法やアーキテクチャの開発、長いシーケンスを扱うための新しいモデルの提案、言語モデルの知識蒸留を通じた効率的な学習方法の開発などが挙げられます。解決された問題には、計算資源の制限下での大規模モデルの効率的な運用、長い依存関係を持つテキストデータの処理、複数のタスクにまたがる言語理解の向上などがあります。
4. 未解決の問題:
未解決の問題としては、さらなる計算効率の向上、より一般化されたモデルの開発、特定の少数言語や専門的なドメインにおける言語モデルの性能向上、説明可能性と透明性の向上、新しいモデルや手法の倫理的な側面の評価などが挙げられます。これらの課題に対処することで、言語モデルの応用範囲を広げ、より実用的で倫理的なAIシステムの構築が期待されます。
Entry ID:
http://arxiv.org/abs/2408.15237v1
Published:
August 27, 2024
Title:
The Mamba in the Llama: Distilling and Accelerating Hybrid Models
Authors:
Junxiong Wang, Daniele Paliotta, Avner May, Alexander M. Rush, Tri Dao

Writing in the Margins: Better Inference Pattern for Long Context Retrieval
1. 与えられた論文の目的:
この論文は、長いコンテキストウィンドウタスクのパフォーマンスを向上させる新しい推論パターン「Writing in the Margins（WiM）」を紹介し、実装することを目的としています。また、AI意思決定の透明性を高め、最初の応答遅延を減少させることを目指しています。
2. 使用されたデータや情報:
この研究では、具体的なデータセットの名前は記載されていませんが、長いコンテキストウィンドウを持つタスクでのパフォーマンスを評価するために、様々なモデルパラメータを持つLLM（Large Language Models）を使用しています。また、Hugging Face Transformersライブラリを使用してWiM推論パターンの実装が行われています。
3. 新規性および解決された問題:
WiMは、長いコンテキストの情報を効率的に処理し、中間の抽出要約を生成することで最終的な予測を改善します。これにより、従来のモデルよりもパフォーマンスが向上し、計算コストのわずかな増加で長いコンテキストウィンドウタスクにおけるパフォーマンスを向上させることができます。具体的には、WiMはLLMに比べてCWEベンチマークでのF1スコアを平均30%向上させ、RAGに比べて17%向上させる結果を示しています。
4. 未解決の問題:
WiM推論パターンは、特定のモデルサイズやファミリーによって結果が異なる可能性があるため、異なるモデル選択やコンテキスト長での再評価が必要です。また、実際のシナリオでは、使用されるLLMが大きすぎるとリトリバーとしての機能が期待ほどには機能しない可能性があるため、より現実的な設定での評価が求められます。
Entry ID:
http://arxiv.org/abs/2408.14906v1
Published:
August 27, 2024
Title:
Writing in the Margins: Better Inference Pattern for Long Context Retrieval
Authors:
Melisa Russak, Umar Jamil, Christopher Bryant, Kiran Kamble, Axel Magnuson, Mateusz Russak, Waseem AlShikh

A Law of Next-Token Prediction in Large Language Models
1. 与えられた論文の目的:
この研究の主な目的は、大規模言語モデル（LLM）の内部構造と学習プロセスを理解し、特定の事前学習タスクがモデルの学習法則の発現にどのように影響するかを調査することです。また、異なるアーキテクチャのLLMがどのように情報の流れを制御し、予測能力を高めるかを分析することも目的としています。
2. 使用されたデータや情報:
この研究では、異なる事前学習タスク（MLM、SCなど）を用いたBERT、RoBERTa、T5のモデルを用いて、それぞれの事前学習タスクがモデルの学習にどのように影響するかを調査しました。また、異なるレイヤーでの論文化トークン埋め込みの能力を評価するために、現在のトークンから未来のトークンまでの予測能力を分析しています。
3. 新規性および解決された問題:
この研究の新規性は、「等学習法則」の導入にあります。これは、LLMが最初のレイヤーから最後のレイヤーへと論文化トークン埋め込みがどのように進化するかを定量的に記述するものです。この法則は、トランスフォーマー、マンバ、RWKVなどのさまざまなアーキテクチャで一貫して観察され、LLMの訓練と解釈に重要な洞察を提供します。また、事前学習タスクの選択が学習法則の発現に重要であることを明らかにし、より自然なタスクが法則の現れを促進する可能性があることを示しました。
4. 残された未解決問題:
今後の課題として、モデルの深さや事前学習データなどの要因が等学習法則の減衰比率ρにどのように依存するかを理解することが挙げられます。この依存性を理解することで、より効率的なLLMの開発が可能になるかもしれません。また、モデルのプルーニングや微調整中に等学習法則を保持することが実用的な利点をもたらす可能性があります。さらに、異なる学習率をレイヤー間で設定することによる収束の加速も検討されるべきです。
Entry ID:
http://arxiv.org/abs/2408.13442v1
Published:
August 24, 2024
Title:
A Law of Next-Token Prediction in Large Language Models
Authors:
Hangfeng He, Weijie J. Su

Scaling Law with Learning Rate Annealing
1. 与えられた論文は、何を目的としていますか？:
この論文は、言語モデルの訓練におけるクロスエントロピー損失が学習率(LR)のアニーリングとともにどのように変化するかを正確に予測する新しいスケーリング法則を提案することを目的としています。この法則は、訓練の各ステップでの損失を記述し、LRスケジュール全体にわたって損失を予測できるようにします。
2. 与えられた論文では、どのようなデータや情報を用いましたか？:
論文では、言語モデルの訓練におけるクロスエントロピー損失データを使用しています。このデータは、異なる学習率スケジューラを用いた訓練から得られたもので、学習率のアニーリングが損失に与える影響を分析するのに用いられています。
3. 与えられた論文の新規性や、解決できた問題は何ですか？:
この研究の新規性は、学習率のアニーリングを考慮に入れた新しいスケーリング法則を提案したことにあります。従来のスケーリング法則では訓練の終点のみを予測していましたが、提案された法則は訓練の全過程を通じての損失を正確に予測できるようになります。これにより、学習率スケジュールを事前に適切に選択するための理論的な根拠が提供され、LRアニーリングの動的な影響を理解することが可能になりました。
4. 将来取り組むべき未解決問題として、何が残されていますか？:
将来的には、提案されたスケーリング法則をさまざまなタイプのモデルやより複雑な学習率スケジュールに適用してその汎用性を検証する必要があります。また、実際のアプリケーションでの有効性をさらに検証するために、より広範なデータセットや異なるドメインのタスクに対する適用研究も必要です。さらに、学習率アニーリング以外の要因が損失に与える影響を解析し、より包括的な訓練プロセスの最適化手法を開発することも重要な課題です。
Entry ID:
http://arxiv.org/abs/2408.11029v1
Published:
August 20, 2024
Title:
Scaling Law with Learning Rate Annealing
Authors:
Howe Tissue, Venus Wang, Lu Wang

Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context
1. 与えられた論文の目的:
Gemini 1.5は、数百万トークンにわたる多モーダルな理解を解き放つことを目的としています。これにより、複数の形式のデータを跨いで、より深い理解と情報の抽出が可能になることを目指しています。
2. 使用されたデータや情報:
この論文では、ビデオフレーム、音声セグメント、及び多言語テキストなど、多様なモーダルのデータが使用されています。これにより、モデルが異なるタイプの情報を統合し、それぞれの形式から最大限の情報を抽出する能力が試されています。
3. 新規性及び解決された問題:
Gemini 1.5の新規性は、特に大規模なコンテキストを扱う能力にあります。これにより、従来のモデルでは扱うことが難しかった大量のデータを効果的に処理し、解釈することが可能になりました。また、多モーダルデータを一貫して扱うことで、より複雑な問題の解決が可能になっています。
4. 未解決の問題:
未解決の問題としては、さらに多様なモーダルや言語に対応する能力の拡張、特に低リソース言語での性能向上が挙げられます。また、モデルの解釈可能性や倫理的な使用に関する問題も、今後の研究で取り組むべき重要な課題です。
Entry ID:
http://arxiv.org/abs/2403.05530v3
Published:
June 14, 2024
Title:
Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context
Authors:
Gemini Team, Petko Georgiev, Ving Ian Lei, Ryan Burnell, Libin Bai, Anmol Gulati, Garrett Tanzer, Damien Vincent, Zhufeng Pan, Shibo Wang, Soroosh Mariooryad, Yifan Ding, Xinyang Geng, Fred Alcober, Roy Frostig, Mark Omernick, Lexi Walker, Cosmin Paduraru, Christina Sorokin, Andrea Tacchetti, Colin Gaffney, Samira Daruki, Olcan Sercinoglu, Zach Gleicher, Juliette Love, Paul Voigtlaender, Rohan Jain, Gabriela Surita, Kareem Mohamed, Rory Blevins, Junwhan Ahn, Tao Zhu, Kornraphop Kawintiranon, Orhan Firat, Yiming Gu, Yujing Zhang, Matthew Rahtz, Manaal Faruqui, Natalie Clay, Justin Gilmer, JD Co-Reyes, Ivo Penchev, Rui Zhu, Nobuyuki Morioka, Kevin Hui, Krishna Haridasan, Victor Campos, Mahdis Mahdieh, Mandy Guo, Samer Hassan, Kevin Kilgour, Arpi Vezer, Heng-Tze Cheng, Raoul de Liedekerke, Siddharth Goyal, Paul Barham, DJ Strouse, Seb Noury, Jonas Adler, Mukund Sundararajan, Sharad Vikram, Dmitry Lepikhin, Michela Paganini, Xavier Garcia, Fan Yang, Dasha Valter, Maja Trebacz, Kiran Vodrahalli, Chulayuth Asawaroengchai, Roman Ring, Norbert Kalb, Livio Baldini Soares, Siddhartha Brahma, David Steiner, Tianhe Yu, Fabian Mentzer, Antoine He, Lucas Gonzalez, Bibo Xu, Raphael Lopez Kaufman, Laurent El Shafey, Junhyuk Oh, Tom Hennigan, George van den Driessche, Seth Odoom, Mario Lucic, Becca Roelofs, Sid Lall, Amit Marathe, Betty Chan, Santiago Ontanon, Luheng He, Denis Teplyashin, Jonathan Lai, Phil Crone, Bogdan Damoc, Lewis Ho, Sebastian Riedel, Karel Lenc, Chih-Kuan Yeh, Aakanksha Chowdhery, Yang Xu, Mehran Kazemi, Ehsan Amid, Anastasia Petrushkina, Kevin Swersky, Ali Khodaei, Gowoon Chen, Chris Larkin, Mario Pinto, Geng Yan, Adria Puigdomenech Badia, Piyush Patil, Steven Hansen, Dave Orr, Sebastien M. R. Arnold, Jordan Grimstad, Andrew Dai, Sholto Douglas, Rishika Sinha, Vikas Yadav, Xi Chen, Elena Gribovskaya, Jacob Austin, Jeffrey Zhao, Kaushal Patel, Paul Komarek, Sophia Austin, Sebastian Borgeaud, Linda Friso, Abhimanyu Goyal, Ben Caine, Kris Cao, Da-Woon Chung, Matthew Lamm, Gabe Barth-Maron, Thais Kagohara, Kate Olszewska, Mia Chen, Kaushik Shivakumar, Rishabh Agarwal, Harshal Godhia, Ravi Rajwar, Javier Snaider, Xerxes Dotiwalla, Yuan Liu, Aditya Barua, Victor Ungureanu, Yuan Zhang, Bat-Orgil Batsaikhan, Mateo Wirth, James Qin, Ivo Danihelka, Tulsee Doshi, Martin Chadwick, Jilin Chen, Sanil Jain, Quoc Le, Arjun Kar, Madhu Gurumurthy, Cheng Li, Ruoxin Sang, Fangyu Liu, Lampros Lamprou, Rich Munoz, Nathan Lintz, Harsh Mehta, Heidi Howard, Malcolm Reynolds, Lora Aroyo, Quan Wang, Lorenzo Blanco, Albin Cassirer, Jordan Griffith, Dipanjan Das, Stephan Lee, Jakub Sygnowski, Zach Fisher, James Besley, Richard Powell, Zafarali Ahmed, Dominik Paulus, David Reitter, Zalan Borsos, Rishabh Joshi, Aedan Pope, Steven Hand, Vittorio Selo, Vihan Jain, Nikhil Sethi, Megha Goel, Takaki Makino, Rhys May, Zhen Yang, Johan Schalkwyk, Christina Butterfield, Anja Hauth, Alex Goldin, Will Hawkins, Evan Senter, Sergey Brin, Oliver Woodman, Marvin Ritter, Eric Noland, Minh Giang, Vijay Bolina, Lisa Lee, Tim Blyth, Ian Mackinnon, Machel Reid, Obaid Sarvana, David Silver, Alexander Chen, Lily Wang, Loren Maggiore, Oscar Chang, Nithya Attaluri, Gregory Thornton, Chung-Cheng Chiu, Oskar Bunyan, Nir Levine, Timothy Chung, Evgenii Eltyshev, Xiance Si, Timothy Lillicrap, Demetra Brady, Vaibhav Aggarwal, Boxi Wu, Yuanzhong Xu, Ross McIlroy, Kartikeya Badola, Paramjit Sandhu, Erica Moreira, Wojciech Stokowiec, Ross Hemsley, Dong Li, Alex Tudor, Pranav Shyam, Elahe Rahimtoroghi, Salem Haykal, Pablo Sprechmann, Xiang Zhou, Diana Mincu, Yujia Li, Ravi Addanki, Kalpesh Krishna, Xiao Wu, Alexandre Frechette, Matan Eyal, Allan Dafoe, Dave Lacey, Jay Whang, Thi Avrahami, Ye Zhang, Emanuel Taropa, Hanzhao Lin, Daniel Toyama, Eliza Rutherford, Motoki Sano, HyunJeong Choe, Alex Tomala, Chalence Safranek-Shrader, Nora Kassner, Mantas Pajarskas, Matt Harvey, Sean Sechrist, Meire Fortunato, Christina Lyu, Gamaleldin Elsayed, Chenkai Kuang, James Lottes, Eric Chu, Chao Jia, Chih-Wei Chen, Peter Humphreys, Kate Baumli, Connie Tao, Rajkumar Samuel, Cicero Nogueira dos Santos, Anders Andreassen, Nemanja Rakićević, Dominik Grewe, Aviral Kumar, Stephanie Winkler, Jonathan Caton, Andrew Brock, Sid Dalmia, Hannah Sheahan, Iain Barr, Yingjie Miao, Paul Natsev, Jacob Devlin, Feryal Behbahani, Flavien Prost, Yanhua Sun, Artiom Myaskovsky, Thanumalayan Sankaranarayana Pillai, Dan Hurt, Angeliki Lazaridou, Xi Xiong, Ce Zheng, Fabio Pardo, Xiaowei Li, Dan Horgan, Joe Stanton, Moran Ambar, Fei Xia, Alejandro Lince, Mingqiu Wang, Basil Mustafa, Albert Webson, Hyo Lee, Rohan Anil, Martin Wicke, Timothy Dozat, Abhishek Sinha, Enrique Piqueras, Elahe Dabir, Shyam Upadhyay, Anudhyan Boral, Lisa Anne Hendricks, Corey Fry, Josip Djolonga, Yi Su, Jake Walker, Jane Labanowski, Ronny Huang, Vedant Misra, Jeremy Chen, RJ Skerry-Ryan, Avi Singh, Shruti Rijhwani, Dian Yu, Alex Castro-Ros, Beer Changpinyo, Romina Datta, Sumit Bagri, Arnar Mar Hrafnkelsson, Marcello Maggioni, Daniel Zheng, Yury Sulsky, Shaobo Hou, Tom Le Paine, Antoine Yang, Jason Riesa, Dominika Rogozinska, Dror Marcus, Dalia El Badawy, Qiao Zhang, Luyu Wang, Helen Miller, Jeremy Greer, Lars Lowe Sjos, Azade Nova, Heiga Zen, Rahma Chaabouni, Mihaela Rosca, Jiepu Jiang, Charlie Chen, Ruibo Liu, Tara Sainath, Maxim Krikun, Alex Polozov, Jean-Baptiste Lespiau, Josh Newlan, Zeyncep Cankara, Soo Kwak, Yunhan Xu, Phil Chen, Andy Coenen, Clemens Meyer, Katerina Tsihlas, Ada Ma, Juraj Gottweis, Jinwei Xing, Chenjie Gu, Jin Miao, Christian Frank, Zeynep Cankara, Sanjay Ganapathy, Ishita Dasgupta, Steph Hughes-Fitt, Heng Chen, David Reid, Keran Rong, Hongmin Fan, Joost van Amersfoort, Vincent Zhuang, Aaron Cohen, Shixiang Shane Gu, Anhad Mohananey, Anastasija Ilic, Taylor Tobin, John Wieting, Anna Bortsova, Phoebe Thacker, Emma Wang, Emily Caveness, Justin Chiu, Eren Sezener, Alex Kaskasoli, Steven Baker, Katie Millican, Mohamed Elhawaty, Kostas Aisopos, Carl Lebsack, Nathan Byrd, Hanjun Dai, Wenhao Jia, Matthew Wiethoff, Elnaz Davoodi, Albert Weston, Lakshman Yagati, Arun Ahuja, Isabel Gao, Golan Pundak, Susan Zhang, Michael Azzam, Khe Chai Sim, Sergi Caelles, James Keeling, Abhanshu Sharma, Andy Swing, YaGuang Li, Chenxi Liu, Carrie Grimes Bostock, Yamini Bansal, Zachary Nado, Ankesh Anand, Josh Lipschultz, Abhijit Karmarkar, Lev Proleev, Abe Ittycheriah, Soheil Hassas Yeganeh, George Polovets, Aleksandra Faust, Jiao Sun, Alban Rrustemi, Pen Li, Rakesh Shivanna, Jeremiah Liu, Chris Welty, Federico Lebron, Anirudh Baddepudi, Sebastian Krause, Emilio Parisotto, Radu Soricut, Zheng Xu, Dawn Bloxwich, Melvin Johnson, Behnam Neyshabur, Justin Mao-Jones, Renshen Wang, Vinay Ramasesh, Zaheer Abbas, Arthur Guez, Constant Segal, Duc Dung Nguyen, James Svensson, Le Hou, Sarah York, Kieran Milan, Sophie Bridgers, Wiktor Gworek, Marco Tagliasacchi, James Lee-Thorp, Michael Chang, Alexey Guseynov, Ale Jakse Hartman, Michael Kwong, Ruizhe Zhao, Sheleem Kashem, Elizabeth Cole, Antoine Miech, Richard Tanburn, Mary Phuong, Filip Pavetic, Sebastien Cevey, Ramona Comanescu, Richard Ives, Sherry Yang, Cosmo Du, Bo Li, Zizhao Zhang, Mariko Iinuma, Clara Huiyi Hu, Aurko Roy, Shaan Bijwadia, Zhenkai Zhu, Danilo Martins, Rachel Saputro, Anita Gergely, Steven Zheng, Dawei Jia, Ioannis Antonoglou, Adam Sadovsky, Shane Gu, Yingying Bi, Alek Andreev, Sina Samangooei, Mina Khan, Tomas Kocisky, Angelos Filos, Chintu Kumar, Colton Bishop, Adams Yu, Sarah Hodkinson, Sid Mittal, Premal Shah, Alexandre Moufarek, Yong Cheng, Adam Bloniarz, Jaehoon Lee, Pedram Pejman, Paul Michel, Stephen Spencer, Vladimir Feinberg, Xuehan Xiong, Nikolay Savinov, Charlotte Smith, Siamak Shakeri, Dustin Tran, Mary Chesus, Bernd Bohnet, George Tucker, Tamara von Glehn, Carrie Muir, Yiran Mao, Hideto Kazawa, Ambrose Slone, Kedar Soparkar, Disha Shrivastava, James Cobon-Kerr, Michael Sharman, Jay Pavagadhi, Carlos Araya, Karolis Misiunas, Nimesh Ghelani, Michael Laskin, David Barker, Qiujia Li, Anton Briukhov, Neil Houlsby, Mia Glaese, Balaji Lakshminarayanan, Nathan Schucher, Yunhao Tang, Eli Collins, Hyeontaek Lim, Fangxiaoyu Feng, Adria Recasens, Guangda Lai, Alberto Magni, Nicola De Cao, Aditya Siddhant, Zoe Ashwood, Jordi Orbay, Mostafa Dehghani, Jenny Brennan, Yifan He, Kelvin Xu, Yang Gao, Carl Saroufim, James Molloy, Xinyi Wu, Seb Arnold, Solomon Chang, Julian Schrittwieser, Elena Buchatskaya, Soroush Radpour, Martin Polacek, Skye Giordano, Ankur Bapna, Simon Tokumine, Vincent Hellendoorn, Thibault Sottiaux, Sarah Cogan, Aliaksei Severyn, Mohammad Saleh, Shantanu Thakoor, Laurent Shefey, Siyuan Qiao, Meenu Gaba, Shuo-yiin Chang, Craig Swanson, Biao Zhang, Benjamin Lee, Paul Kishan Rubenstein, Gan Song, Tom Kwiatkowski, Anna Koop, Ajay Kannan, David Kao, Parker Schuh, Axel Stjerngren, Golnaz Ghiasi, Gena Gibson, Luke Vilnis, Ye Yuan, Felipe Tiengo Ferreira, Aishwarya Kamath, Ted Klimenko, Ken Franko, Kefan Xiao, Indro Bhattacharya, Miteyan Patel, Rui Wang, Alex Morris, Robin Strudel, Vivek Sharma, Peter Choy, Sayed Hadi Hashemi, Jessica Landon, Mara Finkelstein, Priya Jhakra, Justin Frye, Megan Barnes, Matthew Mauger, Dennis Daun, Khuslen Baatarsukh, Matthew Tung, Wael Farhan, Henryk Michalewski, Fabio Viola, Felix de Chaumont Quitry, Charline Le Lan, Tom Hudson, Qingze Wang, Felix Fischer, Ivy Zheng, Elspeth White, Anca Dragan, Jean-baptiste Alayrac, Eric Ni, Alexander Pritzel, Adam Iwanicki, Michael Isard, Anna Bulanova, Lukas Zilka, Ethan Dyer, Devendra Sachan, Srivatsan Srinivasan, Hannah Muckenhirn, Honglong Cai, Amol Mandhane, Mukarram Tariq, Jack W. Rae, Gary Wang, Kareem Ayoub, Nicholas FitzGerald, Yao Zhao, Woohyun Han, Chris Alberti, Dan Garrette, Kashyap Krishnakumar, Mai Gimenez, Anselm Levskaya, Daniel Sohn, Josip Matak, Inaki Iturrate, Michael B. Chang, Jackie Xiang, Yuan Cao, Nishant Ranka, Geoff Brown, Adrian Hutter, Vahab Mirrokni, Nanxin Chen, Kaisheng Yao, Zoltan Egyed, Francois Galilee, Tyler Liechty, Praveen Kallakuri, Evan Palmer, Sanjay Ghemawat, Jasmine Liu, David Tao, Chloe Thornton, Tim Green, Mimi Jasarevic, Sharon Lin, Victor Cotruta, Yi-Xuan Tan, Noah Fiedel, Hongkun Yu, Ed Chi, Alexander Neitz, Jens Heitkaemper, Anu Sinha, Denny Zhou, Yi Sun, Charbel Kaed, Brice Hulse, Swaroop Mishra, Maria Georgaki, Sneha Kudugunta, Clement Farabet, Izhak Shafran, Daniel Vlasic, Anton Tsitsulin, Rajagopal Ananthanarayanan, Alen Carin, Guolong Su, Pei Sun, Shashank V, Gabriel Carvajal, Josef Broder, Iulia Comsa, Alena Repina, William Wong, Warren Weilun Chen, Peter Hawkins, Egor Filonov, Lucia Loher, Christoph Hirnschall, Weiyi Wang, Jingchen Ye, Andrea Burns, Hardie Cate, Diana Gage Wright, Federico Piccinini, Lei Zhang, Chu-Cheng Lin, Ionel Gog, Yana Kulizhskaya, Ashwin Sreevatsa, Shuang Song, Luis C. Cobo, Anand Iyer, Chetan Tekur, Guillermo Garrido, Zhuyun Xiao, Rupert Kemp, Huaixiu Steven Zheng, Hui Li, Ananth Agarwal, Christel Ngani, Kati Goshvadi, Rebeca Santamaria-Fernandez, Wojciech Fica, Xinyun Chen, Chris Gorgolewski, Sean Sun, Roopal Garg, Xinyu Ye, S. M. Ali Eslami, Nan Hua, Jon Simon, Pratik Joshi, Yelin Kim, Ian Tenney, Sahitya Potluri, Lam Nguyen Thiet, Quan Yuan, Florian Luisier, Alexandra Chronopoulou, Salvatore Scellato, Praveen Srinivasan, Minmin Chen, Vinod Koverkathu, Valentin Dalibard, Yaming Xu, Brennan Saeta, Keith Anderson, Thibault Sellam, Nick Fernando, Fantine Huot, Junehyuk Jung, Mani Varadarajan, Michael Quinn, Amit Raul, Maigo Le, Ruslan Habalov, Jon Clark, Komal Jalan, Kalesha Bullard, Achintya Singhal, Thang Luong, Boyu Wang, Sujeevan Rajayogam, Julian Eisenschlos, Johnson Jia, Daniel Finchelstein, Alex Yakubovich, Daniel Balle, Michael Fink, Sameer Agarwal, Jing Li, Dj Dvijotham, Shalini Pal, Kai Kang, Jaclyn Konzelmann, Jennifer Beattie, Olivier Dousse, Diane Wu, Remi Crocker, Chen Elkind, Siddhartha Reddy Jonnalagadda, Jong Lee, Dan Holtmann-Rice, Krystal Kallarackal, Rosanne Liu, Denis Vnukov, Neera Vats, Luca Invernizzi, Mohsen Jafari, Huanjie Zhou, Lilly Taylor, Jennifer Prendki, Marcus Wu, Tom Eccles, Tianqi Liu, Kavya Kopparapu, Francoise Beaufays, Christof Angermueller, Andreea Marzoca, Shourya Sarcar, Hilal Dib, Jeff Stanway, Frank Perbet, Nejc Trdin, Rachel Sterneck, Andrey Khorlin, Dinghua Li, Xihui Wu, Sonam Goenka, David Madras, Sasha Goldshtein, Willi Gierke, Tong Zhou, Yaxin Liu, Yannie Liang, Anais White, Yunjie Li, Shreya Singh, Sanaz Bahargam, Mark Epstein, Sujoy Basu, Li Lao, Adnan Ozturel, Carl Crous, Alex Zhai, Han Lu, Zora Tung, Neeraj Gaur, Alanna Walton, Lucas Dixon, Ming Zhang, Amir Globerson, Grant Uy, Andrew Bolt, Olivia Wiles, Milad Nasr, Ilia Shumailov, Marco Selvi, Francesco Piccinno, Ricardo Aguilar, Sara McCarthy, Misha Khalman, Mrinal Shukla, Vlado Galic, John Carpenter, Kevin Villela, Haibin Zhang, Harry Richardson, James Martens, Matko Bosnjak, Shreyas Rammohan Belle, Jeff Seibert, Mahmoud Alnahlawi, Brian McWilliams, Sankalp Singh, Annie Louis, Wen Ding, Dan Popovici, Lenin Simicich, Laura Knight, Pulkit Mehta, Nishesh Gupta, Chongyang Shi, Saaber Fatehi, Jovana Mitrovic, Alex Grills, Joseph Pagadora, Dessie Petrova, Danielle Eisenbud, Zhishuai Zhang, Damion Yates, Bhavishya Mittal, Nilesh Tripuraneni, Yannis Assael, Thomas Brovelli, Prateek Jain, Mihajlo Velimirovic, Canfer Akbulut, Jiaqi Mu, Wolfgang Macherey, Ravin Kumar, Jun Xu, Haroon Qureshi, Gheorghe Comanici, Jeremy Wiesner, Zhitao Gong, Anton Ruddock, Matthias Bauer, Nick Felt, Anirudh GP, Anurag Arnab, Dustin Zelle, Jonas Rothfuss, Bill Rosgen, Ashish Shenoy, Bryan Seybold, Xinjian Li, Jayaram Mudigonda, Goker Erdogan, Jiawei Xia, Jiri Simsa, Andrea Michi, Yi Yao, Christopher Yew, Steven Kan, Isaac Caswell, Carey Radebaugh, Andre Elisseeff, Pedro Valenzuela, Kay McKinney, Kim Paterson, Albert Cui, Eri Latorre-Chimoto, Solomon Kim, William Zeng, Ken Durden, Priya Ponnapalli, Tiberiu Sosea, Christopher A. Choquette-Choo, James Manyika, Brona Robenek, Harsha Vashisht, Sebastien Pereira, Hoi Lam, Marko Velic, Denese Owusu-Afriyie, Katherine Lee, Tolga Bolukbasi, Alicia Parrish, Shawn Lu, Jane Park, Balaji Venkatraman, Alice Talbert, Lambert Rosique, Yuchung Cheng, Andrei Sozanschi, Adam Paszke, Praveen Kumar, Jessica Austin, Lu Li, Khalid Salama, Wooyeol Kim, Nandita Dukkipati, Anthony Baryshnikov, Christos Kaplanis, XiangHai Sheng, Yuri Chervonyi, Caglar Unlu, Diego de Las Casas, Harry Askham, Kathryn Tunyasuvunakool, Felix Gimeno, Siim Poder, Chester Kwak, Matt Miecnikowski, Vahab Mirrokni, Alek Dimitriev, Aaron Parisi, Dangyi Liu, Tomy Tsai, Toby Shevlane, Christina Kouridi, Drew Garmon, Adrian Goedeckemeyer, Adam R. Brown, Anitha Vijayakumar, Ali Elqursh, Sadegh Jazayeri, Jin Huang, Sara Mc Carthy, Jay Hoover, Lucy Kim, Sandeep Kumar, Wei Chen, Courtney Biles, Garrett Bingham, Evan Rosen, Lisa Wang, Qijun Tan, David Engel, Francesco Pongetti, Dario de Cesare, Dongseong Hwang, Lily Yu, Jennifer Pullman, Srini Narayanan, Kyle Levin, Siddharth Gopal, Megan Li, Asaf Aharoni, Trieu Trinh, Jessica Lo, Norman Casagrande, Roopali Vij, Loic Matthey, Bramandia Ramadhana, Austin Matthews, CJ Carey, Matthew Johnson, Kremena Goranova, Rohin Shah, Shereen Ashraf, Kingshuk Dasgupta, Rasmus Larsen, Yicheng Wang, Manish Reddy Vuyyuru, Chong Jiang, Joana Ijazi, Kazuki Osawa, Celine Smith, Ramya Sree Boppana, Taylan Bilal, Yuma Koizumi, Ying Xu, Yasemin Altun, Nir Shabat, Ben Bariach, Alex Korchemniy, Kiam Choo, Olaf Ronneberger, Chimezie Iwuanyanwu, Shubin Zhao, David Soergel, Cho-Jui Hsieh, Irene Cai, Shariq Iqbal, Martin Sundermeyer, Zhe Chen, Elie Bursztein, Chaitanya Malaviya, Fadi Biadsy, Prakash Shroff, Inderjit Dhillon, Tejasi Latkar, Chris Dyer, Hannah Forbes, Massimo Nicosia, Vitaly Nikolaev, Somer Greene, Marin Georgiev, Pidong Wang, Nina Martin, Hanie Sedghi, John Zhang, Praseem Banzal, Doug Fritz, Vikram Rao, Xuezhi Wang, Jiageng Zhang, Viorica Patraucean, Dayou Du, Igor Mordatch, Ivan Jurin, Lewis Liu, Ayush Dubey, Abhi Mohan, Janek Nowakowski, Vlad-Doru Ion, Nan Wei, Reiko Tojo, Maria Abi Raad, Drew A. Hudson, Vaishakh Keshava, Shubham Agrawal, Kevin Ramirez, Zhichun Wu, Hoang Nguyen, Ji Liu, Madhavi Sewak, Bryce Petrini, DongHyun Choi, Ivan Philips, Ziyue Wang, Ioana Bica, Ankush Garg, Jarek Wilkiewicz, Priyanka Agrawal, Xiaowei Li, Danhao Guo, Emily Xue, Naseer Shaik, Andrew Leach, Sadh MNM Khan, Julia Wiesinger, Sammy Jerome, Abhishek Chakladar, Alek Wenjiao Wang, Tina Ornduff, Folake Abu, Alireza Ghaffarkhah, Marcus Wainwright, Mario Cortes, Frederick Liu, Joshua Maynez, Slav Petrov, Yonghui Wu, Demis Hassabis, Koray Kavukcuoglu, Jeffrey Dean, Oriol Vinyals

Latent Weights Do Not Exist: Rethinking Binarized Neural Network Optimization
1. 与えられた論文の目的:
この論文では、二値ニューラルネットワーク（BNN）のための新しいオプティマイザであるBopの導入と詳細な解析を目的としています。Bopは、重みの反転（フリップ）だけを行うことに特化しており、従来の方法に比べてハイパーパラメータを大幅に削減し、学習中のメモリ要求も低減しています。
2. 使用されたデータや情報:
Bopの評価と解析には、ImageNetデータセットを用いて、BinaryNet、XNOR-Net、BiReal-Netといった既知の二値化ネットワークをトレーニングしました。これらのネットワークは、異なるアーキテクチャを持つが、共通して二値化された重みを使用しています。また、ハイパーパラメータの影響を理解するために、様々な設定での学習精度と重みのフリップ比率を計測しています。
3. 新規性と解決できた問題:
Bopは、従来の二値ニューラルネットワークのオプティマイザとは異なり、重みの反転のみを行うという単純ながら効果的なアプローチを採用しています。このオプティマイザは、潜在的な重みや学習率、任意のクリッピングなどの概念を排除し、過去の勾配の重要性を細かく制御することにより、学習プロセスのノイズを減少させることができました。また、ハイパーパラメータの数を削減し、訓練中のメモリ要件を低減することも実現しています。
4. 未解決問題:
Bopのアプローチでは、勾配の逆転時に重みが急速に反転することを防ぐために非ゼロの閾値を設定していますが、これが弱い一貫した勾配圧力にもかかわらず重みが反転しない原因となる可能性があります。この問題の解決や、さらなるハイパーパラメータのスケジューリング、Bopの適応型バリアントの開発は、今後の研究の方向性として残されています。
Entry ID:
http://arxiv.org/abs/1906.02107v2
Published:
November 06, 2019
Title:
Latent Weights Do Not Exist: Rethinking Binarized Neural Network Optimization
Authors:
Koen Helwegen, James Widdicombe, Lukas Geiger, Zechun Liu, Kwang-Ting Cheng, Roeland Nusselder

An Empirical Model of Large-Batch Training
1. 与えられた論文の目的:
この研究の主な目的は、画像分類タスクにおける学習率のスケーリングルールを検証し、最適なバッチサイズと学習率の関係を明らかにすることです。また、テストセットとトレーニングセットの両方での結果を比較し、一般化の問題についても考察しています。
2. 使用されたデータや情報:
この研究では、MNIST、SVHN、CIFAR10、ImageNetといった画像分類データセットが使用されています。また、様々なバッチサイズと学習率でのグリッドサーチを行い、それに基づいてParetoフロントプロットを生成しています。さらに、SGD、モーメンタム付きSGD、Adamオプティマイザーが使用されています。
3. 新規性と解決された問題:
この研究の新規性は、学習率のスケーリングルールに関する従来の理解を拡張し、特にAdamオプティマイザーにおける学習率の適切なスケーリングを提案している点にあります。また、異なるバッチサイズでの最適化ステップ数と例の処理関係をモデル化し、学習の進行に応じて最適なバッチサイズを定量的に評価する方法を提供しています。これにより、学習プロセスの効率化と、モデルの一般化能力の向上が期待されます。
4. 未解決の問題:
将来の研究課題としては、異なるアーキテクチャやタスクにおける学習率スケーリングルールの適用性をさらに検証することが挙げられます。また、学習率とバッチサイズの最適な組み合わせを動的に調整するアルゴリズムの開発も重要な課題です。さらに、実世界の複雑なデータセットにおける一般化能力の向上と、トレーニングの高速化に向けた研究が必要です。
Entry ID:
http://arxiv.org/abs/1812.06162v1
Published:
December 14, 2018
Title:
An Empirical Model of Large-Batch Training
Authors:
Sam McCandlish, Jared Kaplan, Dario Amodei, OpenAI Dota Team